pandas文本操作
1.常用文本操作
个人觉得文本操作有三种，匹配替换，匹配提取，分隔，拼接。下面依次分析。
1.1 文本替换
这里指将字符串某个模式的内容，替换为指定内容的过程。比如将字母替换为※号。在进行替换时，需要对python的正则表达式有一定了解。
- 定义：正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。re 模块使 Python 语言拥有全部的正则表达式功能。
正则表达式为一串字符串表示的，以精确匹配和模糊匹配相结合的表示形式，匹配字符串。精确匹配即用待匹配字母表达，如‘py’,模糊表达则借助转义字符‘\’加字母等符号表示，常见模糊匹配符号如下：
| \w | 匹配数字字母下划线 |
|---|---|
| \W | 匹配非数字字母下划线 |
| \s | 匹配任意空白字符，等价于 [\t\n\r\f]。 |
| \S | 匹配任意非空字符 |
| \d | 匹配任意数字，等价于 [0-9]。 |
| \D | 匹配任意非数字 |
| \A | 匹配字符串开始 |
| \Z | 匹配字符串结束，如果是存在换行，只匹配到换行前的结束字符串。 |
| \z | 匹配字符串结束 |
| \G | 匹配最后匹配完成的位置。 |
| \b | 匹配一个单词边界，也就是指单词和空格间的位置。例如， ‘er\b’ 可以匹配"never" 中的 ‘er’，但不能匹配 “verb” 中的 ‘er’ |
| \B | 匹配非单词边界。‘er\B’ 能匹配 “verb” 中的 ‘er’，但不能匹配 “never” 中的 ‘er’。 |
| \n, \t, 等 | 匹配一个换行符。匹配一个制表符, 等 |
好了，下面介绍常用方法：
- str.replace的常见用法
s = pd.Series(['A', 'B', 'C', 'Aaba', 'Baca','', np.nan,
'CABA', 'dog', 'cat'],dtype="string")
0 A
1 B
2 C
3 Aaba
4 Baca
5
6 <NA>
7 CABA
8 dog
9 cat
dtype: string
#使用***替换A或B,从头开始匹配
s.str.replace(r'^[AB]','***')
0 ***
1 ***
2 C
3 ***aba
4 ***aca
5
6 <NA>
7 CABA
8 dog
9 cat
dtype: string
参数详解：
s.str.replace(pat, repl, n=-1, case=None, flags=0, regex=True)
| pat | 匹配规则，一般为正则表达式（这里的re模块不用import导入） |
|---|---|
| repl | 替换内容，可以为lambda表达式 |
| n | 替换次数，默认为-1，表示全部匹配的内容都替换 |
| case | 确定替换是否区分大小写(如果为True，则区分大小写，此时“ pat”为字符串，不是正则表达式，False不区分大小写，但如果pat是已编译的正则表达式，则无法设置。) |
| flags | 正则表达式模块标志，例如IGNORECASE。如果pat是已编译的，则无法设置正则表达式。(一般不用管) |
| regex | bool，默认为True确定是否假设传入的模式是正则表达式：-如果为True，则假定传入的模式为正则表达式。-如果为False，则将模式视为文字字符串 |
将f.替换为ba，字符串一般表示精确匹配。
>>> pd.Series(['f.o', 'fuz', np.nan]).str.replace('f.', 'ba', regex=False)
0 bao
1 fuz
2 NaN
dtype: object
str.replace与replace
首先，要明确str.replace和replace并不是一个东西：
- str.replace针对的是object类型或string类型，默认是以正则表达式为操作，目前暂时不支持DataFrame上使用
- replace针对的是任意类型的序列或数据框，如果要以正则表达式替换，需要设置regex=True，该方法通过字典可支持多列替换。但现在由于string类型的初步引入，用法上出现了一些问题，这些issue有望在以后的版本中修复
其他注意事项
（a）str.replace赋值参数不得为pd.NA
这听上去非常不合理，例如对满足某些正则条件的字符串替换为缺失值，直接更改为缺失值在当下版本就会报错
扫描二维码关注公众号，回复：
11993829 查看本文章
In [28]:
#pd.Series(['A','B'],dtype='string').str.replace(r'[A]',pd.NA) #报错
#pd.Series(['A','B'],dtype='O').str.replace(r'[A]',pd.NA) #报错
此时，可以先转为object类型再转换回来，曲线救国：
In [29]:
pd.Series(['A','B'],dtype='string').astype('O').replace(r'[A]',pd.NA,regex=True).astype('string')
Out[29]:
0 <NA>
1 B
dtype: string
（b）对于string类型Series，在使用replace函数时不能使用正则表达式替换
该bug现在还未修复
In [30]:
pd.Series(['A','B'],dtype='string').replace(r'[A]','C',regex=True)
Out[30]:
0 A
1 B
dtype: string
In [31]:
pd.Series(['A','B'],dtype='O').replace(r'[A]','C',regex=True)
Out[31]:
0 C
1 B
dtype: object
（c）string类型序列如果存在缺失值，不能使用replace替换
In [32]:
#pd.Series(['A',np.nan],dtype='string').replace('A','B') #报错
In [33]:
pd.Series(['A',np.nan],dtype='string').str.replace('A','B')
Out[33]:
0 B
1 <NA>
dtype: string
总结，除非替换值为空值，那么请用str.replace来替换。
1.2 特定字符串提取
- （a） str.extract方法
pd.Series.str.extract(pat, flags=0, expand=True)
例子：
pd.Series(['10-87', '10-88', '10-89'],
dtype="string").str.extract(r'([\d]{2})-([\d]{2})')
Out[34]:
0 1
0 10 87
1 10 88
2 10 89
这里表示提取前两个数字为一组，后两个数字为另一个组。这里需要注意正则表达式中分组的概念。粗略的说就是以括号括起来的部分，就是单独一组。
参数详解：
| 参数 | 作用 |
|---|---|
| pat | 具有捕获组的正则表达式模式。（带分组的正则表达式） |
| flags | int, default 0 (no flags) 为正则表达式的一个申明，一般可以不用管，如 re.IGNORECASE |
| expand | bool, default True，True表示是否返回DataFrame,对于一个子组的Series，如果expand设置为False，则返回Series，但结果如果大于一个子组，则expand参数无效，全部返回。 |
- （b）str.extractall方法
与extract只匹配第一个符合条件的表达式不同，extractall会找出所有符合条件的字符串，并建立多级索引（即使只找到一个）
s = pd.Series(["a1a2", "b1", "c1"], index=["A", "B", "C"],dtype="string")
two_groups = '(?P<letter>[a-z])(?P<digit>[0-9])'
s.str.extract(two_groups, expand=True)
letter digit
A a 1
B b 1
C c 1
s.str.extractall(two_groups)
letter digit
match
A 0 a 1
1 a 2
B 0 b 1
C 0 c 1
如果想查看第i层匹配，可使用xs方法
s = pd.Series(["a1a2", "b1b2", "c1c2"],
index=["A", "B", "C"],dtype="string")
s.str.extractall(two_groups).xs(1,level='match')
Out[48]:
letter digit
A a 2
B b 2
C c 2
1.3 分割与拼接
- str.split方法
（a）分割符与str的切片
分割：
In [6]:
s = pd.Series(['a_b_c', 'c_d_e', np.nan, 'f_g_h'], dtype="string")
s
Out[6]:
0 a_b_c
1 c_d_e
2 <NA>
3 f_g_h
dtype: string
根据某一个元素分割，默认为空格
- 这里需要注意split后的类型是object，因为现在Series中的元素已经不是string，而包含了list，且string类型只能含有字符串
对于str方法可以进行元素的选择，如果该单元格元素是列表，那么str[i]表示取出第i个元素，如果是单个元素，则先把元素转为列表在取出。
In [8]:
s.str.split('_').str[1]
Out[8]:
0 b
1 d
2 <NA>
3 g
dtype: object
In [9]:
pd.Series(['a_b_c', ['a','b','c']], dtype="object").str[1]
#第一个元素先转为['a','_','b','_','c']
Out[9]:
0 _
1 b
dtype: object
（b）其他参数
expand参数控制了是否将列拆开，n参数代表最多分割多少次
s.str.split('_',expand=True)
0 1 2
0 a b c
1 c d e
2 <NA> <NA> <NA>
3 f g h
s.str.split('_',n=1)
0 [a, b_c]
1 [c, d_e]
2 <NA>
3 [f, g_h]
dtype: object
s.str.split('_',expand=True,n=1)
0 1
0 a b_c
1 c d_e
2 <NA> <NA>
3 f g_h
- str.cat方法
（a）不同对象的拼接模式
cat方法对于不同对象的作用结果并不相同，其中的对象包括：单列、双列、多列
① 对于单个Series而言，就是指所有的元素进行字符合并为一个字符串，及一列合并为一个字符串。
s = pd.Series(['ab',None,'d'],dtype='string')
s
0 ab
1 <NA>
2 d
dtype: string
s.str.cat()
'abd'
#其中可选sep分隔符参数，和缺失值替代字符na_rep参数
s.str.cat(sep=',')
'ab,d'
s.str.cat(sep=',',na_rep='*')
'ab,*,d'
② 对于两个Series合并而言，是对应索引的元素进行合并
In [17]:
s2 = pd.Series(['24',None,None],dtype='string')
s2
Out[17]:
0 24
1 <NA>
2 <NA>
dtype: string
In [18]:
s.str.cat(s2)
Out[18]:
0 ab24
1 <NA>
2 <NA>
dtype: string
同样也有相应参数，需要注意的是两个缺失值会被同时替换
In [19]:
s.str.cat(s2,sep=',',na_rep='*')
Out[19]:
0 ab,24
1 *,*
2 d,*
dtype: string
③ 多列拼接可以分为表的拼接和多Series拼接
表的拼接
In [20]:
s.str.cat(pd.DataFrame({
0:['1','3','5'],1:['5','b',None]},dtype='string'),na_rep='*')
Out[20]:
0 ab15
1 *3b
2 d5*
dtype: string
多个Series拼接
s.str.cat([s+'0',s*2])
0 abab0abab
1 <NA>
2 dd0dd
dtype: string
（b）cat中的索引对齐
当前版本中，如果两边合并的索引不相同且未指定join参数，默认为左连接，设置join=‘left’
In [22]:
s2 = pd.Series(list('abc'),index=[1,2,3],dtype='string')
s2
Out[22]:
1 a
2 b
3 c
dtype: string
In [23]:
s.str.cat(s2,na_rep='*')
Out[23]:
0 ab*
1 *a
2 db
dtype: string