Pandas复杂查询

0. 准备

import pandas as pd
# 准备数据
df = pd.read_excel('https://www.gairuo.com/file/data/dataset/team.xlsx').head()
df
name team Q1 Q2 Q3 Q4
0 Liver E 89 21 24 64
1 Arry C 36 37 37 57
2 Ack A 57 60 18 84
3 Eorge C 93 96 71 78
4 Oah D 65 49 61 86

1. 逻辑运算

# 1.单列逻辑,返回对应位置是否满足逻辑表达式
df['Q1'] > 30 
0    True
1    True
2    True
3    True
4    True
Name: Q1, dtype: bool
# 索引参与逻辑运算
df.index <= 5
array([ True,  True,  True,  True,  True])
# 2.多列逻辑,返回对应数据块中每个元素是否满足逻辑表达式
df.loc[:, 'Q1':'Q4'] > 60
Q1 Q2 Q3 Q4
0 True False False True
1 False False False False
2 False False False True
3 True True True True
4 True False True True
# 3.多条件组合
(df['Q1'] > 60) & (df['Q2'] > 60) & (df['Q3'] > 60) & (df['Q4'] > 60)
0    False
1    False
2    False
3     True
4    False
dtype: bool
# 上述结果利布尔序列拥有的all()方法实现,any()是只要有一个True则结果为True
(df.loc[:, 'Q1':'Q4'] > 60).all(axis=1)
0    False
1    False
2    False
3     True
4    False
dtype: bool
# 或(|)、与(&)、非(~)运算
~((df.loc[:, 'Q1':'Q4'] > 60).all(axis=1))
0     True
1     True
2     True
3    False
4     True
dtype: bool
### 逻辑运算中常用的几个字符串方法
# 1.name列是否包含A:.str.contains()
df['name'].str.contains('A')
0    False
1     True
2     True
3    False
4    False
Name: name, dtype: bool
# 2.name列是否出现在列表['Arry','Ack']中
df['name'].isin(['Arry','Ack'])
0    False
1     True
2     True
3    False
4    False
Name: name, dtype: bool

2. 基于上述逻辑筛选数据

# 1.df[]、df.loc[]、df.iloc[]的方括号内均支持上述逻辑表达式
df[df['name'].str.contains('ge')]  
name team Q1 Q2 Q3 Q4
3 Eorge C 93 96 71 78
# 2.[]内的逻辑表达式输出结果可以是"一个布尔序列"或者"符合格式要求的数据形式"
df[(df.loc[:, 'Q1':'Q4'] > 60).all(axis=1)]
name team Q1 Q2 Q3 Q4
3 Eorge C 93 96 71 78
# 第2行
df.iloc[1+1]
name    Ack
team      A
Q1       57
Q2       60
Q3       18
Q4       84
Name: 2, dtype: object
df.iloc[1+1:3]
name team Q1 Q2 Q3 Q4
2 Ack A 57 60 18 84
# 3.[]内的逻辑表达式输出结果也可以是"数据块"
df[df.loc[:, 'Q1':'Q4'] > 60]
name team Q1 Q2 Q3 Q4
0 NaN NaN 89.0 NaN NaN 64.0
1 NaN NaN NaN NaN NaN NaN
2 NaN NaN NaN NaN NaN 84.0
3 NaN NaN 93.0 96.0 71.0 78.0
4 NaN NaN 65.0 NaN 61.0 86.0

3. 函数筛选

### 1. 使用lambda函数
# 查询最大索引值对应的那一行,只显示'Q1'至'Q4'列
df.loc[lambda x: x.index == max(df.index), 'Q1':'Q4']
Q1 Q2 Q3 Q4
4 65 49 61 86
# 列筛选:列名中包含Q的列
df.loc[:, lambda x: x.columns.str.contains('Q')]
Q1 Q2 Q3 Q4
0 89 21 24 64
1 36 37 37 57
2 57 60 18 84
3 93 96 71 78
4 65 49 61 86

5. 数据查询 df.query()

# df.query()内传入的是字符串形式的逻辑表达式,类似SQL中where从句,因而不支持 df.query('df.name.str.contains('A')')
df.query('name!="Eorge" and Q1>60') 
name team Q1 Q2 Q3 Q4
0 Liver E 89 21 24 64
4 Oah D 65 49 61 86
# 还支持使用@符号引入变量
a = df.Q1.mean()
df.query('Q1>@a') # @千万不可省略
name team Q1 Q2 Q3 Q4
0 Liver E 89 21 24 64
3 Eorge C 93 96 71 78
# df.eval() 输出字符串内逻辑表达式的结果
df.eval('Q1>Q2')
0     True
1    False
2    False
3    False
4     True
dtype: bool

6. 筛选df.filter(),支持正则表达式、模糊匹配

# 传入行名、列名
df.filter(items=['name','Q4'])
name Q4
0 Liver 64
1 Arry 57
2 Ack 84
3 Eorge 78
4 Oah 86
# 正则表达式
df.filter(regex='Q', axis=1) #列名包含Q的列,axis=1传入的列名,regex='Q$'以Q结尾,regex='^Q'以Q开头
Q1 Q2 Q3 Q4
0 89 21 24 64
1 36 37 37 57
2 57 60 18 84
3 93 96 71 78
4 65 49 61 86
df.filter(regex='2', axis=0) #索引中含2的行,axis=0传入的索引
name team Q1 Q2 Q3 Q4
2 Ack A 57 60 18 84
# name中包含ge的行
df.set_index('name').filter(regex='ge', axis=0)  #.reset_index() 推荐2中的方法
team Q1 Q2 Q3 Q4
name
Eorge C 93 96 71 78

7. 按数据类型筛选

df.dtypes
name    object
team    object
Q1       int64
Q2       int64
Q3       int64
Q4       int64
dtype: object
# 只取数值型
df.select_dtypes(include='int64')
Q1 Q2 Q3 Q4
0 89 21 24 64
1 36 37 37 57
2 57 60 18 84
3 93 96 71 78
4 65 49 61 86
# 排除数值型
df.select_dtypes(exclude='int64')
name team
0 Liver E
1 Arry C
2 Ack A
3 Eorge C
4 Oah D

猜你喜欢

转载自blog.csdn.net/cxy17017068/article/details/121447889

相关文章