数据分析02 /pandas基础、股票分析案例
1. pandas简介
numpy能够帮助我们处理的是数值型的数据，当然在数据分析中除了数值型的数据还有好多其他类型的数据（字符串，时间序列），那么pandas就可以帮我们很好的处理除了数值型的其他数据！
pandas中的两个常用的类：Series/DataFrame
2. Series
定义：
Series是一种类似一维数组的对象，由下面两个部分组成：
values：一组数据（ndarray类型）
index：相关的数据索引标签
Series的创建
1.由列表或numpy数组创建
2.由字典创建
代码示例：
import pandas as pd from pandas import Series,DataFrame import numpy as np # 方式一： s1 = Series(data=[1,2,3,4,5]) # 方式二： s2 = Series(data=np.random.randint(0,100,size=(4,))) # 方式三： dic = { 'a':1, 'b':2, 'c':3 } # Series的索引可以为字符串 s3 = Series(data=dic) # Series这个数据结构中存储的数据一定得是一个维度Series的索引
1.隐式索引：数值型，默认是隐式索引
2.显式所用：自定义（字符串），提高数据的可读性
代码示例：
# index指定显式索引 s4 = Series(data=[1,2,3],index=['数学','英语','理综'])Series的索引和切片
1.索引操作
# 隐式索引操作 s4[0] # 显示索引操作 s4['数学'] s4.数学2.切片
s4[0:2]Series的常用属性
- shape：形状； 例：s4.shape
- size：大小； 例：s4.size
- index：行索引； 例：s4.index
- values：列索引； 例：s4.values
Series的常用方法
1.head(),tail()
s4.head(2) # 显式前n条数据 s4.tail(2) # 显式后n条数据2.unique()
s = Series(data=[1,1,2,2,3,4,5,6,6,6,6,6,6,7,8]) s.unique() # 对Series进行去重3.add() sub() mul() div() /Series的算术运算
s + s 相当于 s.add(s)算数运算的法则：索引与之匹配的值进行算数运算，否则补空
s1 = Series(data=[1,2,3,4]) s2 = Series(data=[5,6,7]) s1 + s2 # 结果： 0 6.0 1 8.0 2 10.0 3 NaN dtype: float644.isnull(),notnull()/应用：清洗Series中的空值
s1 = Series(data=[1,2,3,4],index=['a','b','c','e']) s2 = Series(data=[1,2,3,4],index=['a','d','c','f']) s = s1 + s2 s # 结果： a 2.0 b NaN c 6.0 d NaN e NaN f NaN dtype: float64 # 清洗结果的空值：boolean可以作为索引取值 s[s.notnull()]
3. DataFrame
DataFrame简介
DataFrame是一个【表格型】的数据结构。DataFrame由按一定顺序排列的多列数据组成。设计初衷是将Series的使用场景从一维拓展到多维。DataFrame既有行索引，也有列索引。
- 行索引：index
- 列索引：columns
- 值：values
DataFrame的创建
1.ndarray创建
2.字典创建
示例：
df = DataFrame(data=np.random.randint(0,100,size=(5,6))) df dic = { 'name':['zhangsan','lisi','wangwu'], 'salary':[10000,15000,10000] } df = DataFrame(data=dic,index=['a','b','c']) dfDataFrame的属性
- df.values：所有的值
- df.shape：形状
- df.index：行索引
- df.columns：列索引
DataFrame索引操作
1.对列进行索引
# 索引取单列 df['name'] # 索引取多列 df[['age','name']]2.对行进行索引
# 索引取单行 df.loc['a'] # 显示索引操作 df.iloc[0] # 隐式索引操作 # 索引取多行 df.loc[['a','c']] # 显示索引操作 df.iloc[[0,2]] # 隐式索引操作3.取单个元素
df.loc['b','salary'] # 显示索引操作 df.iloc[1,1] # 隐式索引操作4.取多个元素值
df.loc[['b','c'],'salary'] # 显示索引操作 df.iloc[[1,2],1] # 隐式索引操作DataFrame的切片操作
1.对行进行切片
# 切行 df[0:2]2.对列进行切片
# 切列 df.iloc[:,0:2]DataFrame的运算：和Series是一样
元素对应的行列索引保持一致，则元素间可以进行算数运算，否则补空
查看df的数据的数据类型
df.dtypes时间数据类型的转换：pd.to_datetime(col)
示例：
dic = { 'time':['2019-01-09','2011-11-11','2018-09-22'], 'salary':[1111,2222,3333] } df = DataFrame(data=dic) # 将time列转换成时间序列类型 df['time'] = pd.to_datetime(df['time']) # 转换前time的类型是：object # 转换后time的类型是：datetime64[ns] # 转换后可以进行datetime64[ns]类型相关的操作将某一列设置为行索引：df.set_index()
示例：
# 将time这一列作为原数据的行索引 df.set_index(df['time'],inplace=True) # inplace将原索引替换成time索引 # 将之前的time列删掉 df.drop(labels='time',axis=1,inplace=True) # drop函数中axis的0行，1列
4. 利用DataFrame对股票进行分析
- 需求：股票分析
- 使用tushare包获取某股票的历史行情数据。
- tushare:财经数据接口包
- pip install tushare
- 输出该股票所有收盘比开盘上涨3%以上的日期。
- 输出该股票所有开盘比前日收盘跌幅超过2%的日期。
- 假如我从2010年1月1日开始，每月第一个交易日买入1手股票，每年最后一个交易日卖出所有股票，到今天为止，我的收益如何？
- 使用tushare包获取某股票的历史行情数据。
代码实现：
1.使用tushare包获取某股票的历史行情数据
import tushare as ts import pandas as pd from pandas import Series,DataFrame # 使用tushare包获取某股票的历史行情数据 df = ts.get_k_data('600519',start='1988-01-01') # 将获取的数据写入到本地进行持久化存储 df.to_csv('./maotai.csv') # 将本地文本文件中的数据读取加载到DataFrame中 df = pd.read_csv('./maotai.csv') df.head(10) # 将Unnamed: 0为无用的列删除 df.drop(labels='Unnamed: 0',axis=1,inplace=True) df.head(5) # 显示前五条，不写5默认也是显示的前5条 # 将date列转成时间序列类型 df['date'] = pd.to_datetime(df['date']) # 将date列作为元数据的行索引 df.set_index(df['date'],inplace=True) # 删除原date列 df.drop(labels='date',axis=1,inplace=True) df.head()2.输出该股票所有收盘比开盘上涨3%以上的日期。
# 伪代码：（收盘-开盘）/开盘 > 0.03 (df['close'] - df['open'])/df['open'] > 0.03 # boolean可以作为df的行索引 df.loc[[True,False,True]] df.loc[(df['close'] - df['open'])/df['open'] > 0.03] df.loc[(df['close'] - df['open'])/df['open'] > 0.03].index3.输出该股票所有开盘比前日收盘跌幅超过2%的日期
#伪代码：(开盘-前日收盘)/前日收盘 < -0.02 # 将收盘/close列下移一位，这样可以将open和close作用到一行，方便比较 (df['open'] - df['close'].shift(1))/df['close'].shift(1) < -0.02 # boolean作为df的行索引 df.loc[(df['open'] - df['close'].shift(1))/df['close'].shift(1) < -0.02] df.loc[(df['open'] - df['close'].shift(1))/df['close'].shift(1) < -0.02].index # shift(1):可以让一个Series中的数据整体下移一位4.假如从2010年1月1日开始，每月第一个交易日买入1手股票，每年最后一个交易日卖出所有股票，到今天为止，收益如何？
分析：
买入:一个完整的年需要买12次股票，一次买入一手（100支），一个完整的年需要买入1200支股票
卖出：一个完整的年卖一次，一次卖出1200只股票
代码实现：
# 将2010-1-1 - 今天对应的交易数据取出 data = df['2010':'2019'] data.head() # 数据的重新取样，将每个月第一个交易日的数据拿到 data_monthly = data.resample('M').first() # 一共花了多少钱 cost_money = (data_monthly['open']*100).sum() # 卖出股票入手多少钱，将每年的最后一个交易日的数据拿到 data_yeasly = data.resample('A').last()[:-1] recv_money = (data_yeasly['open']*1200).sum() # 19年手里剩余股票的价值也要计算到收益中 last_money = 1200*data['close'][-1] # 最后总收益如下： last_monry + recv_money - cost_monry