【机器学习】特征工程 - 字典特征提取

「作者主页」:士别三日wyx
「作者简介」:CSDN top100、阿里云博客专家、华为云享专家、网络安全领域优质创作者
「推荐专栏」:对网络安全感兴趣的小伙伴可以关注专栏《网络安全入门到精通》

特征工程就是从「原始数据」中提取「特征」,以供「算法」「模型」使用。

简单来说就是将任意数据(比如文本和图像)转换为可用于机器学习的数字特征。

一、特征提取API

sklearn.feature_extraction 是用来提取特征的 API

sklearn.feature_extraction.DictVectorizer(sparse=True)

  • DictVectorizer.fit_transform( data ):接收字典类型的原始数据,返回提取的数字特征(sparse矩阵)
  • DictVectorizer.inverse_transform( data ):将提取的数字特征,转回原始数据。
  • DictVectorizer.get_feature_names_out():返回特征名字

一、提取数字特征

我们准备一个字典类型的数据,然后「提取」数字特征。

from sklearn import feature_extraction

# 原始数据(字典)
old_data = [
    {
    
    'name': "张三", 'age': 18},
    {
    
    'name': "李四", 'age': 20}]

# 初始化
vector = feature_extraction.DictVectorizer(sparse=False)

# 转换数据
new_data = vector.fit_transform(old_data)
print(new_data)

输出:

[[18.  1.  0.]
 [20.  0.  1.]]

二、特征名字

如果想知道提取的数字特征是什么意思,可以用 get_feature_names_out() 获取「特征名字」,也就是特征和原始数据的对应关系。

from sklearn import feature_extraction

# 原始数据(字典)
old_data = [
    {
    
    'name': "张三", 'age': 18},
    {
    
    'name': "李四", 'age': 20},
    {
    
    'name': "王五", 'age': 22}]

# 初始化
vector = feature_extraction.DictVectorizer(sparse=False)

# 转换数据
new_data = vector.fit_transform(old_data)
print(new_data)
# 特征名字
print(vector.get_feature_names_out())

输出:

[[18.  1.  0.  0.]
 [20.  0.  1.  0.]
 [22.  0.  0.  1.]]
['age' 'name=张三' 'name=李四' 'name=王五']

接下来,解释一下提取的数字特征是什么意思。提取的数字特征是个二维数组,里面包含了三个数组。

一个数组即一行,代表一个样本;而一列,就代表一个特征。比如上面这个特征:

每个数组的第一列是age特征,age本来就是数字,所以就没必要转换了;
第二列是张三特征,用0和1表示,1表示name是张三,0表示name不是张三;
第三列是李四特征,1表示name是李四,0表示name不是李四;
第四列十王五特征,1表示name是王五,0表示name不是王五。

如果没看懂,可以自己修改原始数据,然后查看输出的结果。

这个提取的数字特征数组,其位置和特征类型有关,比如这里有 age、张三、李四、王五 四种特征类型,那么数字特征数组就有4个位置。如果特征类型有五种,那么数字特征数组就会变成5个位置,以此类推。这种提取方式也叫 one-hot编码,


三、返回原始数据

将提取的数字特征,转换会原始数据,可以使用 inverse_transform()。

from sklearn import feature_extraction

# 原始数据(字典)
old_data = [
    {
    
    'name': "张三", 'age': 18},
    {
    
    'name': "李四", 'age': 20},
    {
    
    'name': "王五", 'age': 22}]

# 初始化
vector = feature_extraction.DictVectorizer(sparse=False)

# 转换数据
new_data = vector.fit_transform(old_data)
print(new_data)
# 转回原始数据
print(vector.inverse_transform(new_data))

输出:

[[18.  1.  0.  0.]
 [20.  0.  1.  0.]
 [22.  0.  0.  1.]]
[{
    
    'age': 18.0, 'name=张三': 1.0}, {
    
    'age': 20.0, 'name=李四': 1.0}, {
    
    'age': 22.0, 'name=王五': 1.0}]

猜你喜欢

转载自blog.csdn.net/wangyuxiang946/article/details/131356321