[Python数据挖掘]第7章、航空公司客户价值分析

 一、背景和挖掘目标

二、分析方法与过程

 客户价值识别最常用的是RFM模型（最近消费时间间隔Recency，消费频率Frequency，消费金额Monetary）

 

1、EDA（探索性数据分析）

#对数据进行基本的探索
import pandas as pd

data = pd.read_csv(\'data/air_data.csv\', encoding = \'utf-8\') #读取原始数据，指定UTF-8编码（需要用文本编辑器将数据装换为UTF-8编码）

explore = data.describe(percentiles = [], include = \'all\').T #包括对数据的基本描述，percentiles参数是指定计算多少的分位数表（如1/4分位数、中位数等）；T是转置，转置后更方便查阅
explore[\'null\'] = len(data)-explore[\'count\'] #describe()函数自动计算非空值数，需要手动计算空值数

explore = explore[[\'null\', \'max\', \'min\']]
explore.columns = [u\'空值数\', u\'最大值\', u\'最小值\'] #表头重命名
\'\'\'这里只选取部分探索结果。
describe()函数自动计算的字段有count（非空值数）、unique（唯一值数）、top（频数最高者）、freq（最高频数）、mean（平均值）、std（方差）、min（最小值）、50%（中位数）、max（最大值）\'\'\'

explore.to_excel(\'tmp/explore.xls\') #导出结果

2、数据预处理

1.数据清洗

data = data[data[\'SUM_YR_1\'].notnull()&data[\'SUM_YR_2\'].notnull()] #票价非空值才保留

#只保留票价非零的，或者平均折扣率与总飞行公里数同时为0的记录。
index1 = data[\'SUM_YR_1\'] != 0
index2 = data[\'SUM_YR_2\'] != 0
index3 = (data[\'SEG_KM_SUM\'] == 0) & (data[\'avg_discount\'] == 0) #该规则是“与”
data = data[index1 | index2 | index3] #该规则是“或”

票价为空表示该值缺失，票价为0表示飞这一趟没花钱，二者概念不同

2.属性规约

原始数据属性太多，根据之前提出的LRFMC模型，只保留6个与之相关的属性

 

3.数据变换

 

方法1：EXCEL手动操作(方便简单)

data_select.to_excel(\'tmp/data_select.xls\', index = False) #数据写入

方法2：代码操作（方便新增信息的抽取）

from datetime import datetime

#使用匿名函数将LOAD_TIME数据转换成datetime格式，然后才能进行日期加减（匿名函数比for循环效率高）
data_select[\'LOAD_TIME_convert\'] = data_select[\'LOAD_TIME\'].apply(lambda x: datetime.strptime(x, \'%Y/%m/%d\'))
data_select[\'FFP_DATE_convert\'] = data_select[\'FFP_DATE\'].apply(lambda x: datetime.strptime(x, \'%Y/%m/%d\'))

#构造一个Series序列接收  （LOAD_TIME-FFP_DATE）
data_select[\'L\']=pd.Series()

#（LOAD_TIME-FFP_DATE）得到两个日期之间的天数间隔，然后除以30得到月份间隔          这一步相当费时
for i in range(len(data_select)):
    data_select[\'L\'][i] =(data_select[\'LOAD_TIME_convert\'][i]-data_select[\'FFP_DATE_convert\'][i]).days/30

data_select = data_select.rename(columns = {\'LAST_TO_END\': \'R\',\'FLIGHT_COUNT\':\'F\',\'SEG_KM_SUM\':\'M\',\'avg_discount\':\'C\'})
data_selected=data_select[[\'L\',\'R\',\'F\',\'M\',\'C\']]
data_selected

接下来进行数据标准化

#标准差标准化
import pandas as pd

data = pd.read_excel(\'data/zscoredata.xls\', index = False) 
data = (data - data.mean(axis = 0))/(data.std(axis = 0)) #简洁的语句实现了标准化变换，类似地可以实现任何想要的变换。
data.columns=[\'Z\'+i for i in data.columns] #表头重命名。

data.to_excel(\'tmp/zscoreddata.xls\', index = False) #数据写入

3、模型构建

 1.客户聚类

#K-Means聚类算法
import pandas as pd
from sklearn.cluster import KMeans #导入K均值聚类算法

k = 5                       #需要进行的聚类类别数

#读取数据并进行聚类分析
data = pd.read_excel(\'data/zscoreddata.xls\') 

#调用k-means算法，进行聚类分析
kmodel = KMeans(n_clusters = k, n_jobs = 4) #n_jobs是并行数，一般等于CPU数较好
kmodel.fit(data) #训练模型

# kmodel.cluster_centers_ #查看聚类中心
# kmodel.labels_ #查看各样本对应的类别

#简单打印结果
s = pd.Series([\'客户群1\',\'客户群2\',\'客户群3\',\'客户群4\',\'客户群5\'], index=[0,1,2,3,4]) #创建一个序列s
r1 = pd.Series(kmodel.labels_).value_counts() #统计各个类别的数目
r2 = pd.DataFrame(kmodel.cluster_centers_) #找出聚类中心
r = pd.concat([s,r1,r2], axis = 1) #横向连接（0是纵向），得到聚类中心对应的类别下的数目
r.columns =[u\'聚类名称\'] +[u\'聚类个数\'] + list(data.columns) #重命名表头
print(r)

2.客户价值分析

#雷达图代码摘自  https://blog.csdn.net/Just_youHG/article/details/83904618
def plot_radar(data):
    \'\'\'
    the first column of the data is the cluster name;
    the second column is the number of each cluster;
    the last are those to describe the center of each cluster.
    \'\'\'
    kinds = data.iloc[:, 0]
    labels = data.iloc[:, 2:].columns
    centers = pd.concat([data.iloc[:, 2:], data.iloc[:,2]], axis=1)
    centers = np.array(centers)
    n = len(labels)
    angles = np.linspace(0, 2*np.pi, n, endpoint=False)
    angles = np.concatenate((angles, [angles[0]]))
    
    fig = plt.figure()
    ax = fig.add_subplot(111, polar=True) # 设置坐标为极坐标
    
    # 画若干个五边形
    floor = np.floor(centers.min())     # 大于最小值的最大整数
    ceil = np.ceil(centers.max())       # 小于最大值的最小整数
    for i in np.arange(floor, ceil + 0.5, 0.5):
        ax.plot(angles, [i] * (n + 1), \'--\', lw=0.5 , color=\'black\')
    
    # 画不同客户群的分割线
    for i in range(n):
        ax.plot([angles[i], angles[i]], [floor, ceil], \'--\', lw=0.5, color=\'black\')
    
    # 画不同的客户群所占的大小
    for i in range(len(kinds)):
        ax.plot(angles, centers[i], lw=2, label=kinds[i])
        #ax.fill(angles, centers[i])
    
    ax.set_thetagrids(angles * 180 / np.pi, labels) # 设置显示的角度，将弧度转换为角度
    plt.legend(loc=\'lower right\', bbox_to_anchor=(1.5, 0.0)) # 设置图例的位置，在画布外
    
    ax.set_theta_zero_location(\'N\')        # 设置极坐标的起点（即0°）在正北方向，即相当于坐标轴逆时针旋转90°
    ax.spines[\'polar\'].set_visible(False)  # 不显示极坐标最外圈的圆
    ax.grid(False)                         # 不显示默认的分割线
    ax.set_yticks([])                      # 不显示坐标间隔
    
    plt.show()

plot_radar(r)        #调用雷达图作图函数

4、决策支持

 

三、【拓展思考】客户流失分析

1、目标

2、数据预处理

参考自https://blog.csdn.net/zhouchen1998/article/details/85113535

import pandas as pd
from datetime import datetime

def clean(data):
    \'\'\'
    数据清洗，去除空记录
    \'\'\'
    data = data[data[\'SUM_YR_1\'].notnull() & data[\'SUM_YR_2\'].notnull()]  # 票价非空值才保留

    # 只保留票价非零的，或者平均折扣率与总飞行公里数同时为0的记录。
    index1 = data[\'SUM_YR_1\'] != 0
    index2 = data[\'SUM_YR_2\'] != 0
    index3 = (data[\'SEG_KM_SUM\'] == 0) & (data[\'avg_discount\'] == 0)  # 该规则是“与”
    data = data[index1 | index2 | index3]  # 该规则是“或”

    #取出需要的属性列
    data = data[[\'LOAD_TIME\', \'FFP_DATE\', \'LAST_TO_END\', \'FLIGHT_COUNT\', \'avg_discount\', \'SEG_KM_SUM\', \'LAST_TO_END\',
                 \'P1Y_Flight_Count\', \'L1Y_Flight_Count\']]
    return data

def LRFMCK(data):
    \'\'\'
    经过计算得到我的指标数据
    \'\'\'
    # 其中K为标签标示用户类型
    data2 = pd.DataFrame(columns=[\'L\', \'R\', \'F\', \'M\', \'C\', \'K\'])
    time_list = []
    for i in range(len(data[\'LOAD_TIME\'])):
        str1 = data[\'LOAD_TIME\'][i].split(\'/\')
        str2 = data[\'FFP_DATE\'][i].split(\'/\')
        temp = datetime(int(str1[0]), int(str1[1]), int(str1[2])) - datetime(int(str2[0]), int(str2[1]), int(str2[2]))
        time_list.append(temp.days)
    data2[\'L\'] = pd.Series(time_list)
    data2[\'R\'] = data[\'LAST_TO_END\']
    data2[\'F\'] = data[\'FLIGHT_COUNT\']
    data2[\'M\'] = data[\'SEG_KM_SUM\']
    data2[\'C\'] = data[\'avg_discount\']
    temp = data[\'L1Y_Flight_Count\'] / data[\'P1Y_Flight_Count\']
    for i in range(len(temp)):
        if temp[i] >=0.9:
            # 未流失客户
            temp[i] = \'A\'
        elif 0.5 < temp[i] < 0.9:
            # 准流失客户
            temp[i] = \'B\'
        else:
            temp[i] = \'C\'
    data2[\'K\'] = temp
    data2.to_csv(\'data/data_changed.csv\', encoding=\'utf-8\')

def standard():
    \'\'\'
    标准差标准化
    \'\'\'
    data = pd.read_csv(\'data/data_changed.csv\', encoding=\'utf-8\').iloc[:, 1:6]
    # 简洁的语句实现了标准化变换，类似地可以实现任何想要的变换
    data = (data - data.mean(axis=0)) / (data.std(axis=0))
    data.columns = [\'Z\' + i for i in data.columns]
    data2 = pd.read_csv(\'data/data_changed.csv\', encoding=\'utf-8\')
    data[\'K\'] = data2[\'K\']
    data.to_csv(\'data/data_standard.csv\', index=False)

if __name__ == \'__main__\':
    data = pd.read_csv(\'data/air.csv\', encoding=\'utf-8\', engine=\'python\')
    data=clean(data)
    data.to_csv(\'data/data_filter.csv\', index = False, encoding=\'utf-8\')
    data = pd.read_csv(\'data/data_filter.csv\', encoding=\'utf-8\')   #不重新读取的话，调用LRFMCK会报错，我也不知道为什么
    LRFMCK(data)
    standard()

不知道为什么，总是要反复写入文件和读取文件，不然会莫名其妙的报错。猜测可能是csv文件与xls文件不同导致

 

3、模型构建

import pandas as pd
from sklearn import tree
from sklearn.model_selection import train_test_split
from sklearn.metrics import confusion_matrix #导入混淆矩阵函数
import pydotplus

# 读取数据
def getDataSet(fileName):
    data = pd.read_csv(fileName)
    dataSet = []
    for item in data.values:
        dataSet.append(list(item[:5]))
    label = list(data[\'K\'])
    return dataSet, label
    
# 作图评估
def cm_plot(y, yp):
  cm = confusion_matrix(y, yp) #混淆矩阵
  plt.matshow(cm, cmap=plt.cm.Greens) #画混淆矩阵图，配色风格使用cm.Greens，更多风格请参考官网。
  plt.colorbar() #颜色标签
  for x in range(len(cm)): #数据标签
    for y in range(len(cm)):
      plt.annotate(cm[x,y], xy=(x, y), horizontalalignment=\'center\', verticalalignment=\'center\')  
  plt.ylabel(\'True label\') #坐标轴标签
  plt.xlabel(\'Predicted label\') #坐标轴标签
  return plt

data, label = getDataSet(\'data/data_standard.csv\')
train_data, test_data, train_label, test_label = train_test_split(data, label, test_size=0.2)

#使用决策树
clf = tree.DecisionTreeClassifier(max_depth=5)
clf = clf.fit(train_data, train_label)

# 可视化
dataLabels = [\'ZL\', \'ZR\', \'ZF\', \'ZM\', \'ZC\', ]
data_list = []
data_dict = {}
for each_label in dataLabels:
    for each in data:
        data_list.append(each[dataLabels.index(each_label)])
    data_dict[each_label] = data_list
    data_list = []
lenses_pd = pd.DataFrame(data_dict)
#print(lenses_pd.keys())

#画决策树的决策流程
dot_data = StringIO()
tree.export_graphviz(clf, out_file=dot_data, feature_names=lenses_pd.keys(),
                         class_names=clf.classes_, filled=True, rounded=True, special_characters=True)
graph = pydotplus.graph_from_dot_data(dot_data.getvalue())
graph.write_pdf("tree.pdf")

cm_plot(test_label, clf.predict(test_data)).show()