连接
关系型连接
连接的基本理解
连接是将两个表整合成一个表，关系型数据常用的连接有四种：左连接，右连接，内连接，外连接，需要指定键值列，如上图所示。
需要注意的是当键值列存在重复值时，只需把握一个原则，即只要两边同时出现的值，就以笛卡尔积的方式加入，如果单边出现则根据连接形式进行处理。其中，关于笛卡尔积可用如下例子说明：设左表中键张三出现两次，右表中的张三也出现两次，那么逐个进行匹配，最后产生的表必然包含2*2个姓名为张三的行。
值连接merge
顾名思义，值连接就是两张表根据某一列的值或某几列的值的组合来连接。这种基于值的连接在pandas中可以由merge函数实现。
df1.merge(df2, on='', how='left')
如果两个表中想要连接的列不具备相同的列名，可以通过left_on和right_on指定：
如果两个表中的列出现了重复的列名，那么可以通过suffixes参数指定:
在进行基于唯一性的连接下，如果键不是唯一的，那么结果就会产生问题。如果想要保证唯一性，除了用duplicated检查是否重复外，merge中也提供了validate参数来检查连接的唯一性模式。这里共有三种模式，即一对一连接1:1，一对多连接1:m，多对一连接m:1连接，第一个是指左右表的键都是唯一的，后面两个分别指左表键唯一和右表键唯一。
【练一练】
索引连接
所谓索引连接，就是把索引当作键，因此这和值连接本质上没有区别，pandas中利用join函数来处理索引连接，它的参数选择要少于merge，除了必须的on和how之外，可以对重复的列指定左右后缀lsuffix和rsuffix。其中，on参数指索引名，单层索引时省略参数表示按照当前索引连接。
如果想要进行类似于merge中以多列为键的操作的时候，join需要使用多级索引：
df1 = pd.DataFrame({
'Age':[20,21]}, index=pd.MultiIndex.from_arrays([['San Zhang', 'San Zhang'],['one', 'two']], names=('Name','Class')))
df2 = pd.DataFrame({
'Gender':['F', 'M']}, index=pd.MultiIndex.from_arrays([['San Zhang', 'San Zhang'],['two', 'one']], names=('Name','Class')))
df1.join(df2)
方向连接
concat
方向拼接指把两个表或者多个表按照纵向或者横向拼接，不需要什么规则所以不需要键值列，多用于数据表的补充。
在concat中，最常用的有三个参数，它们是axis, join, keys，分别表示拼接方向，连接形式，以及在新表中指示来自于哪一张旧表的名字。这里需要特别注意，join和keys与之前提到的join函数和键的概念没有任何关系。
在默认状态下的axis=0，表示纵向拼接多个表，常常用于多个样本的拼接；而axis=1表示横向拼接多个表，常用于多个字段或特征的拼接。
虽然说concat是处理关系型合并的函数，但是它仍然是关于索引进行连接的。纵向拼接会根据列索引对齐，默认状态下join=outer，表示保留所有的列，并将不存在的值设为缺失；join=inner，表示保留两个表都出现过的列。横向拼接则根据行索引对齐，join参数可以类似设置。
因此，当确认要使用多表直接的方向合并时，尤其是横向的合并，可以先用reset_index方法恢复默认整数索引再进行合并，防止出现由索引的误对齐和重复索引的笛卡尔积带来的错误结果。
最后，keys参数的使用场景在于多个表合并后，用户仍然想要知道新表中的数据来自于哪个原表，这时可以通过keys参数产生多级索引进行标记。例如，第一个表中都是一班的同学，而第二个表中都是二班的同学，可以使用如下方式合并：
序列和表的合并
利用concat可以实现多个表之间的方向拼接，如果想要把一个序列追加到表的行末或者列末，则可以分别使用append和assign方法。
append
在append中，如果原表是默认整数序列的索引，那么可以使用ignore_index=True对新序列对应索引的自动标号，否则必须对Series指定name属性。
assign
对于assign而言，虽然可以利用其添加新的列，但一般通过df['new_col'] = ...的形式就可以等价地添加新列。同时，使用[]修改的缺点是它会直接在原表上进行改动，而assign返回的是一个临时副本：
类连接操作
比较compare
compare是在1.1.0后引入的新函数，它能够比较两个表或者序列的不同处并将其汇总展示：
结果中返回了不同值所在的行列，如果相同则会被填充为缺失值NaN，其中other和self分别指代传入的参数表和被调用的表自身。
如果想要完整显示表中所有元素的比较情况，可以设置keep_shape=True：
组合combine
combine函数能够让两张表按照一定的规则进行组合，在进行规则比较时会自动进行列索引的对齐。对于传入的函数而言，每一次操作中输入的参数是来自两个表的同名Series，依次传入的列是两个表列名的并集，例如下面这个例子会依次传入A,B,C,D四组序列，每组为左右表的两个序列。同时，进行A列比较的时候，s1指代的就是一个全空的序列，因为它在被调用的表中并不存在，并且来自第一个表的序列索引会被reindex成两个索引的并集。具体的过程可以通过在传入的函数中插入适当的print方法查看。
【练一练】
此外，设置overtwrite参数为False可以保留被调用表被调用表中未出现在传入的参数表中的列，而不会设置未缺失值：
【练一练】除了combine之外，pandas中还有一个combine_first方法，其功能是在对两张表组合时，若第二张表中的值在第一张表中对应索引位置的值不是缺失状态，那么就使用第一张表的值填充。下面给出一个例子，请用combine函数完成相同的功能。
实战
EX1
现有美国4月12日至11月16日的疫情报表，请将New York的Confirmed, Deaths, Recovered, Active合并为一张表，索引为按如下方法生成的日期字符串序列：
date = pd.date_range('20200412', '20201116').to_series()
date = date.dt.month.astype('string').str.zfill(2) +'-'+ date.dt.day.astype('string').str.zfill(2) +'-'+ '2020'
date = date.tolist()
date[:5]
EX2
请实现带有how参数的join函数
- 假设连接的两表无公共列
- 调用方式为
join(df1, df2, how="left")
09255048490)]
[外链图片转存中…(img-JQ5hdkys-1609255048490)]
EX2
请实现带有how参数的join函数
- 假设连接的两表无公共列
- 调用方式为
join(df1, df2, how="left") - 给出测试样例
def myjoin(df1, df2, how="left"):
df_new = pd.DataFrame(columns=df1.columns.to_list()+df2.columns.to_list())
index_inter = df1.index.intersection(df2.index)
for ind in index_inter:
new_inter = [list(i)+list(j) for i in df1.loc[ind,:].values for j in df2.loc[ind,:].values]
new_inter = pd.DataFrame(new_inter,
columns=df_new.columns,
index=list(ind)*len(new_inter))
print(new_inter)
df_new = df_new.append(new_inter)
if how=="inner":
return df_new
if how in ["left","outer"]:
df_new = pd.concat([df_new,df1.loc[df1.index.difference(index_inter),:]]) # Left
if how=="left":
return df_new
if how in ["right","outer"]:
df_new = pd.concat([df_new, df2.loc[df2.index.difference(index_inter),:]])
if how=="right":
return df_new
return df_new
df1 = pd.DataFrame({
'col1':list('01234')}, index=list('AABCD'))
df2 = pd.DataFrame({
'col2':list('opqrst')}, index=list('ABBCEE'))
join(df1, df2, how='outer')
目前应该只能实现单索引的情况，而且应该不能保证和原索引的顺序一致？
封装函数的时候当参数有多个选择时，应先考虑实现这些选择里共同的部分，然后考虑各自不同的部分。