独热编码(One-Hot)的理解

https://www.imooc.com/article/35900

参考上面大神的原文,说的非常透彻。非常便于理解。感谢 感谢

自己做个小笔记,便于自己学习

特征值是离散的,无序的。

如:

  • 性别特征:["男","女"]

  • 祖国特征:["中国","美国,"法国"]

  • 运动特征:["足球","篮球","羽毛球","乒乓球"]

假如某个样本(某个人),他的特征是这样的["男","中国","乒乓球"],我们完全可以用 [0,0,4] 来表示。
但是这样的特征处理并不能直接放入机器学习算法中。因为类别之间是无序的(运动数据就是任意排序的)。不理解没关系。

怎么转化成独热码呢?

用独热码来表示就是

男  =>  10

女  =>  01

祖国特征:["中国","美国,"法国"](这里N=3):

中国  =>  100

美国  =>  010

法国  =>  001

运动特征:["足球","篮球","羽毛球","乒乓球"](这里N=4):

足球  =>  1000

篮球  =>  0100

羽毛球  =>  0010

乒乓球  =>  0001

所以,当一个样本为["男","中国","乒乓球"]的时候,完整的特征数字化的结果为:

[1,0,1,0,0,0,0,0,1]

下图可能会更好理解:

https://img.mukewang.com/5b20f1b90001cc2202550045.jpg

这样做的优势 是什么呢?

对于祖国特征:["中国","美国,"法国"]

重点 重点 重点!

如果按照  中国 0 ,美国 1,法国2  普通编码的话

那么  中国和法国之间的距离是2,中国和美国的距离是1,美国和法国的距离是1,但是实际上,这种距离是因为我们编码的顺序导致的。中国和法国并不是真的 距离是2

而在机器学习中需要计算两者之间的距离(欧氏距离)。这种普通的编码方式并不能表示清楚距离。

而如果用独热码来编码

中国 1 0 0

美国 0 1 0

法国 0 0 1

相当于我搭建了一个三维的空间

那么 任意两国的距离都是 sqrt(2),距离都是相等的!      这才是关键 关键!

相当于 中国在 x+点处,美国 在y+点处,法国在 z+点处。那么三者之间的距离是不是相等呢?

最后再次感谢 NateHuang

猜你喜欢

转载自www.cnblogs.com/duoba/p/11359654.html