版权声明：版权声明： 笔者博客文章主要用来作为学习笔记使用，内容大部分来自于自互联网，并加以归档整理或修改，以方便学习查询使用，只有少许原创，如有侵权，请联系博主删除！ https://blog.csdn.net/qq_42642945/article/details/88637844
数据离散化
什么是离散化？
连续数据：身高，年龄，工资
离散数据：矮，高，红，绿，好，坏
连续属性的离散化就是将连续属性的值域上，将值域划分为若干个离散的区间，最后用不同的符号或整数 值代表落在每个子区间中的属性值。
离散化有很多种方法，这使用一种最简单的方式去操作
- 原始的身高数据：165，174，160，180，159，163，192，184
- 假设按照身高分几个区间段：(150, 165], (165, 180], (180, 195]
这样我们将数据分到了三个区间段，我可以对应的标记为矮、中、高三个类别，最终要处理成一个“哑变量”矩阵。
为什么要离散化
连续属性离散化的目的是为了简化数据结构，数据离散化技术可以用来减少给定连续属性值的个数。离散化方法经常作为数据挖掘的工具。
如何实现数据的离散化
-
pd.qcut() 对Series做分组切开，生成的结果也是Series，长度与原数据一样，值变成所在区间的名字（分类名字）
-
pd.qcut()与pd.cut() 的区别？
pd.qcut()通过指定分组数量，自动确定切分点
pd.cut()手动指定切分点 -
对于离散化后的数据，可以做进一步的统计操作，比如说：
- 用s.value_counts()来对离散的结果做频率计算
- 用pd.get_dummies()对结果做one-hot编码
案例：股票的涨跌幅离散化
我们对股票每日的"p_change"进行离散化
读取股票的数据
先读取股票的数据，筛选出p_change数据
将股票涨跌幅数据进行分组
使用的工具：
- pd.qcut(data, bins)：
- 对数据进行分组将数据分组 一般会与value_counts搭配使用，统计每组的个数
- bins，指定要切分的组数
- series.value_counts()：统计分组次数
自行分组
做进一步的统计操作，这里是统计频率
自定义区间分组：
- pd.cut(data, bins) # 自己指定分组区间
股票涨跌幅分组数据变成one-hot编码
做进一步的统计操作，这里是创建one-hot编码
- pandas.get_dummies(data, prefix=None)
- data:array-like, Series, or DataFrame
- prefix:分组名字
得出one-hot编码矩阵
数据合并
如果你的数据由多张表组成，那么有时候需要将不同的内容合并在一起分析
pd.concat实现数据合并
pd.concat([data1, data2], axis=1)
按照行或列进行合并,axis=0为列索引，axis=1为行索引
按照行索引进行
pd.merge实现合并
可以基于一个列做合并，也可以基于多个列来合并，基于多个列合并时，相当于把作为key的多个列看成是一个大的列
pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None,left_index=False, right_index=False, sort=True,suffixes=('_x', '_y'), copy=True, indicator=False,validate=None)- 可以指定按照两组数据的共同键值对合并或者左右各自
- left: A DataFrame object
- right: Another DataFrame object
- on: Columns (names) to join on. Must be found in both the left and right DataFrame objects.
- left_on=None, right_on=None：指定左右键
pd.merge合并
-
准备数据
-
默认内连接：
-
外连接：
基于多列做合并操作 -
准备数据
-
默认内连接
-
外链接
-
左连接
result = pd.merge(left, right, how='left', on=['key1', 'key2'])
- 右连接
result = pd.merge(left, right, how='right', on=['key1', 'key2'])
版权声明：
笔者博客文章主要用来作为学习笔记使用，内容大部分整理自互联网，如有侵权，请联系博主删除！