模型介绍：在前面所使用的逻辑斯蒂回归和支持向量机模型，都在某种程度上要求被学习的数据特征和目标之间遵照线性假设。
然而，在许多现实场景下，这种假设是不存在的。
比如，如果要借由一个人的年龄来预测患流感的死亡率。如果采用线性模型假设，那么只有两种情况：年龄越大死亡率越高；
或者年龄越小死亡率越高。然而，根据常识判断，青壮年因为更加健全的免疫系统，相较于儿童和老年人不容易因患流感死亡。
因此，年龄与因流感而死亡之间不存在线性关系。如果要用数学表达式描述这种非线性关系，使用分段函数最为合理；而在机器
学习模型中，决策树就是描述这种非线性关系的不二之选。
再比如，信用卡申请的审核涉及申请人的多项特征，也是典型的决策树模型。决策树节点代表数据特征，如年龄、身份是否是学
生、信用评级等；每个节点下的分支代表对应特征值的分类，如年龄包括年轻人、中年人以及老年人，身份区分是否是学生，等
等；而决策树的所有叶子节点则显示模型的决策结果。对于是否通过信用卡申请而言，这是二分类决策任务，因此只有yes和no
两种分类结果。 这类使用多种不同特征组合搭建多层决策树的情况，模型在学习的时候就需要考虑特征节点的选取顺序。
常用的度量方式包括信息熵和基尼不纯性。
#－－泰坦尼克号乘客数据查验
#导入pandas用于数据分析
import pandas as pd
#利用pandas的read_csv模块直接从互联网收集泰坦尼克号乘客数据
titanic=pd.read_csv(r'http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt')
#观察前几行数据，可以发现，数据种类各异，数值型、类别型，甚至还有缺失数据
titanic.head()
#使用pandas,数据都转入pandas独有的dataframe格式（二维数据表格），直接使用info(),查看数据的统计特性
titanic.info()
该数据共有1313条乘客信息，并且有些特征数据是完整的，有些则是缺失的；有些是数值类型的，有些则是字符串。
#－－使用决策树模型预测泰坦尼克号乘客的生还情况
'''机器学习有一个不太被初学者重视并且耗时但是十分重要的一环－－－特征的选择，这个需要基于一些背景知识。根据我们对这场
事故的了解，sex,age,pclass这些特征都很有可能是决定幸免与否的关键因素。'''
x=titanic[['pclass','age','sex']]
y=titanic['survived']
#对当前选择的特征进行探查
x.info()
'''
借由上面的留尾巴，我们设计如下几个数据处理的任务：
age这个数据列，只有633个，需要补完。
sex与pclass两个数据列的值都是类别型的，需要转化为数值特征，用0或1代替策略。
'''
#首先我们补充age里的数据，使用平均数或者中位数都是对模型偏离造成最小影响的策略
x['age'].fillna(x['age'].mean(),inplace=True)
#对补完的数据重新探查
x.info()
#由此得知，age特征得到了补完。
#数据分割
from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.25,random_state=33)
#使用scikit-learn.featurn_extraction中的特征转换器
from sklearn.feature_extraction import DictVectorizer
vec=DictVectorizer(sparse=False)
#转换特征后，我们发现凡是类别型的特征都单独剥离出来，独成一列特征，数值型的则保持不变
x_train=vec.fit_transform(x_train.to_dict(orient='record'))
print(vec.feature_names_)
#同样需要对测试数据的特征进行转换
x_test=vec.transform(x_test.to_dict(orient='record'))
#从sklearn.tree导入决策树分类器
from sklearn.tree import DecisionTreeClassifier
#使用默认配置初始化决策树分类器
dtc=DecisionTreeClassifier()
#使用分割到的训练数据进行模型学习
dtc.fit(x_train,y_train)
#用训练好的决策树模型对测试特征数据进行预测
y_predict=dtc.predict(x_test)
#---决策树模型对泰坦尼克号乘客是否生还的预测性能
#从sklearn.metrics导入classification_report
from sklearn.metrics import classification_report
#输出预测准确性
print(dtc.score(x_test,y_test))
#输出更加详细的分类性能
print(classification_report(y_predict,y_test,target_names=['died','survived']))
代码的输出表明：决策树模型总体在测试集上的预测准确性约为78.12%.详细的性能指标进一步说明，该模型在预测遇难者方面性能较好；却需要在识别生还者的精确率方面下功夫。
特点分析：相比于其它学习模型，决策树在模型描述上有着巨大的优势。决策树的推断逻辑非常直观，具有清晰的可解释性，也方便了模型的可视化。这些特性同时也保证在使用决策树模型时，是无须考虑对数据的量化甚至标准化的。并且，与前一节K近邻模型不同，决策树仍然属于有参数模型，需要花费更加的时间在训练数据上。