디렉토리
08 데이터 분석 / 데이터 분석 통합 프로젝트 - 사용자의 소비 행동 분석
부 : 데이터 형식 처리
로드
- 필드의 의미 :
- USER_ID : 사용자 ID
- order_dt : 구입 날짜
- order_product : 제품의 수량
- 주문 금액 : 구입 가격
- 필드의 의미 :
관측 데이터
데이터의 데이터 유형을 확인
데이터는 누락 값을 저장
시간 유형 order_dt로 변환
데이터의 통계적 설명보기
- 모든 사용자에 대한 구매의 평균 수를 계산
- 상품의 모든 구매자의 평균 비용을 계산
한달에 소스 데이터 추가 : astype를 ( 'datetime64 [M])
코드 구현 :
import pandas as pd import matplotlib.pyplot as plt데이터로드
df = pd.read_csv('./data/CDNOW_master.txt',header=None,sep='\s+',names=['user_id','order_dt','order_product','order_amount']) # \s+表示任意多个空串值 # names指定原数据的列索引데이터의 데이터 유형을 확인
df.info() # 1.原数据中没有空值 # 2.order_dt不是时间类型 """ <class 'pandas.core.frame.DataFrame'> RangeIndex: 69659 entries, 0 to 69658 Data columns (total 4 columns): user_id 69659 non-null int64 order_dt 69659 non-null int64 order_product 69659 non-null int64 order_amount 69659 non-null float64 dtypes: float64(1), int64(3) memory usage: 2.1 MB """시계열 유형은 order_dt 설정
df['order_dt'] = pd.to_datetime(df['order_dt'],format='%Y%m%d') df.info()원본 데이터를 설명하는 통계보기
df.describe()한 달에 데이터 소스를 추가
df['month'] = df['order_dt'].values.astype('datetime64[M]') df.head() # datetime64[M]表示的月份类型
파트 II : 월별 데이터의 분석
- 총 금액은 매월 사용자를 보냈다
- 쇼는 그래프
- 모든 사용자는 매월 제품 구매
- 모든 사용자 월간 소비의 총 수
월간 소비 통계의 수
코드 구현 :
총 금액은 매월 사용자를 보냈다
df.groupby(by='month')['order_amount'].sum() # 绘制线形图 df.groupby(by='month')['order_amount'].sum().plot() # 可以直接.plot生成线性图
모든 사용자는 매월 제품 구매
df.groupby(by='month')['order_product'].sum() # 绘制线性图 df.groupby(by='month')['order_product'].sum().plot()총계의 월별 사용량 (사용자 소비가 다시 원래의 데이터로 표현 나타남) 모든 사용자
df.groupby(by='month')['user_id'].count()월간 소비 통계의 수
# 方式一：通过nunique df.groupby(by='month')['user_id'].nunique() # nunique()统计去重之后的数量 # 方式2：分组的高级聚合 df.groupby(by='month')['user_id'].apply(lambda x:len(x.drop_duplicates()))
파트 III : 개별 사용자의 소비 데이터 분석
- 사용자 소비 통계는 전체 금액과 소비자의 총 수를 설명
- 분산 유저 소비량 및 소비 주파수
- 각각의 사용자 프로파일의 히스토그램의 소비량의 총량 (소비량 1000 배포)
각 사용자 소비 히스토그램 분포의 총 수 (2 위 소비재의 개수 분포 100)
코드 구현 :
총 구매 및 소비 통계의 총량은 사용자의 수를 설명
user_datas = df.groupby(by='user_id').sum() df.groupby(by='user_id').sum().describe()분산 유저 소비량 및 소비 주파수
plt.scatter(user_datas['order_product'],user_datas['order_amount']) plt.xlabel('order_product') plt.ylabel('order_amount')
각각의 사용자 프로파일의 히스토그램의 소비량의 총량 (소비량 1000 배포)
# 筛选各个用户消费总金额 df.groupby(by='user_id')['order_amount'].sum() # 筛选各个用户消费总金额在1000之内的 user_amount = df.groupby(by='user_id').sum().query('order_amount < 1000')['order_amount'] # 绘制直方分布图 plt.hist(user_amount,bins=20)
각 사용자의 총 소모량은 히스토그램 분포 (제 100 장소에서 소비재의 개수 분포)를 구입
user_product = df.groupby(by='user_id').sum().query('order_product < 100')['order_product'] plt.hist(user_product,bins=20)
파트 IV : 사용자의 소비자 행동 분석
- 수에 처음 A는 사용자의 월별 분포와 소비 통계
- 선 차트 그리기
- 마지막 통계 분포의 사용 시간과 소모 수가
- 선 차트 그리기
- 오래되고 새로운 고객의 비율
- 새로운 사용자를위한 소비자
- 기존 사용자를위한 소비 여러 번
- 마지막의 각 사용자의 소비와 소비자의 첫 번째 분석
- AGG ([ 'FUNC1', 'FUNC2']) : 그룹화 결과 지정된 중합
- 이전 및 새 고객의 소비 비율 분석
- 마지막의 각 사용자의 소비와 소비자의 첫 번째 분석
- 사용자 계층화
- 분석은 각 사용자의 총 구매 금액과 소비의 총량과 테이블 RFM 마지막의 소비에 도착
- RFM 모델 설계
- R은 고객에게 마지막 거래 간격을 나타냅니다.
- /np.timedelta64(1,'D')：去除days
- F表示客户购买商品的总数量,F值越大，表示客户交易越频繁，反之则表示客户交易不够活跃。
- M表示客户交易的金额。M值越大，表示客户价值越高，反之则表示客户价值越低。
- 将R，F，M作用到rfm表中
- R은 고객에게 마지막 거래 간격을 나타냅니다.
- 根据价值分层，将用户分为：
- 重要价值客户
- 重要保持客户
- 重要挽留客户
- 重要发展客户
- 一般价值客户
- 一般保持客户
- 一般挽留客户
- 一般发展客户
- 使用已有的分层模型即可rfm_func
分析
- 首购时间：将用户消费时间的最小值求出，这个值就是该用户第一次消费的时间
- 最后一次消费时间：将用户消费时间的最大值求出，这个值就是该用户最后一次消费的时间
代码实现：
用户第一次消费的月份分布和人数统计
df.groupby(by='user_id')['month'].min() # 用户第一次消费的月份分布 df.groupby(by='user_id')['month'].min().value_counts() # 统计每个月第一次消费用的人数 # 将首购对应的月份分布绘图 df.groupby(by='user_id')['month'].min().value_counts().plot()
用户最后一次消费的时间分布和人数统计
df.groupby(by='user_id')['month'].max() df.groupby(by='user_id')['month'].max().value_counts() # 绘图 df.groupby(by='user_id')['month'].max().value_counts().plot()
求出新老用户的占比
# 求出新老用户的占比 # 新用户：一次消费的用户 # 老用户：多次消费的用户 # 核心思路：将每一个用户的首购时间和最后一次消费时间求出，判断这两个时间是否一致 # 一致：新用户 # 不一致：老用户 # agg分组后进行多种不同形式的聚合操作 user_left = df.groupby(by='user_id')['order_dt'].agg(['min','max']) user_left['min'] == user_left['max'] # true：新用户，False：老用户 user = (user_left['min'] == user_left['max']).value_counts() # 求出true和false的个数 old = user[0] new = user[1] new/old分析得出每个用户的总购买量和总消费金额and最近一次消费的时间的表格rfm
rfm = df.pivot_table(index='user_id',aggfunc={'order_product':'sum','order_amount':'sum','order_dt':'max'}) rfm.head()
RFM模型设计
import numpy as np # R表示客户最近一次交易时间的间隔 rfm['R'] = -(rfm['order_dt'] - rfm['order_dt'].max())/np.timedelta64(1,'D') rfm.head() # /np.timedelta64(1,'D')为了去除days # 修改order_amount、order_product的列索引 rfm.rename(columns={'order_amount':"M",'order_product':'F'},inplace=True)
根据价值分层
def rfm_func(x): # 存储的是三个字符串形式的0或者1 level = x.map(lambda x :'1' if x >= 0 else '0') label = level.R + level.F + level.M d = { '111':'重要价值客户', '011':'重要保持客户', '101':'重要挽留客户', '001':'重要发展客户', '110':'一般价值客户', '010':'一般保持客户', '100':'一般挽留客户', '000':'一般发展客户' } result = d[label] return result # df.apply(func):可以对df中的行或者列进行某种（func）形式的运算 rfm['label'] = rfm[['R','F','M']].apply(lambda x : x - x.mean()).apply(rfm_func,axis = 1) rfm.head()
统计不同层次用户的个数
rfm.groupby(by='label').count()
第五部分：用户的生命周期
- 将用户划分为活跃用户和其他用户
- 统计每个用户每个月的消费次数
- 统计每个用户每个月是否消费，消费记录为1否则记录为0
- 知识点：DataFrame的apply和applymap的区别
- applymap:返回df
- 将函数做用于DataFrame中的所有元素(elements)
- apply:返回Series
- apply()将一个函数作用于DataFrame中的每个行或者列
- 知识点：DataFrame的apply和applymap的区别
- 将用户按照每一个月份分成：
- unreg:观望用户（前两月没买，第三个月才第一次买,则用户前两个月为观望用户）
- unactive:首月购买后，后序月份没有购买则在没有购买的月份中该用户的为非活跃用户
- new:当前月就进行首次购买的用户在当前月为新用户
- active:连续月份购买的用户在这些月中为活跃用户
- return:购买之后间隔n月再次购买的第一个月份为该月份的回头客
代码实现：
统计每个用户每个月的消费次数
user_order_count_df = df.pivot_table(index='user_id',values='order_dt',aggfunc='count',columns='month').fillna(0)统计每个用户每个月是否消费，消费记录为1否则记录为0
# 将上个需求返回的df中每一个元素（用户的消费次数）进行运算（如果元素值>=1说明消费记为1，否则记为0） df_purchase = user_order_count_df.applymap(lambda x:1 if x >= 1 else 0) df_purchase # 存储的就是用户每个月的是否消费的情况展示1과 0이 새로운 unactive ......, 새로운 DF가 df_purchase_new라고 돌려 수정 원본 데이터 df_purchase
# 固定算法 def active_status(data): status = [] # 某个用户每一个月的活跃度 for i in range(18): # 若本月没有消费 if data[i] == 0: if len(status) > 0: if status[i-1] == 'unreg': status.append('unreg') else: status.append('unactive') else: status.append('unreg') # 若本月消费 else: if len(status) == 0: status.append('new') else: if status[i-1] == 'unactive': status.append('return') elif status[i-1] == 'unreg': status.append('new') else: status.append('active') return status pivoted_status = df_purchase.apply(active_status,axis = 1) pivoted_status.head()
[다른] 월간 활성 사용자 수
pivoted_status.apply(lambda x:pd.value_counts(x),axis=0).fillna(0)
최종 결과는보기 트랜스
pivoted_status.apply(lambda x:pd.value_counts(x),axis=0).fillna(0).T