1、概念
稀疏向量和密集向量都是向量的表示方法 密集向量和稀疏向量的区别： 密集向量的值就是一个普通的Double数组 而稀疏向量由两个并列的 数组indices和values组成 例如：向量(1.0,0.0,1.0,3.0)用密集格式表示为[1.0,0.0,1.0,3.0]， 用稀疏格式表示为(4,[0,2,3],[1.0,1.0,3.0]) 第一个4表示向量的长度(元素个数)，[0,2,3]就是indices数组，[1.0,1.0,3.0]是values数组 表示向量0的位置的值是1.0，2的位置的值是1.0,而3的位置的值是3.0,其他的位置都是0
2、创建
import org.apache.spark.mllib.linalg.{Vector, Vectors}
// Create a dense vector (1.0, 0.0, 3.0).
val dv: Vector = Vectors.dense(1.0, 0.0, 3.0)
// Create a sparse vector (1.0, 0.0, 3.0) by specifying its indices and values corresponding to nonzero entries.
val sv1: Vector = Vectors.sparse(3, Array(0, 2), Array(1.0, 3.0))
// Create a sparse vector (1.0, 0.0, 3.0) by specifying its nonzero entries.
val sv2: Vector = Vectors.sparse(3, Seq((0, 1.0), (2, 3.0)))
3、代码段，通过HashingTF将单词转成稀疏向量，向量值是单词命中的次数。参考地址：https://github.com/asker124143222/spark-demo
val training: DataFrame = lineRDD.map(line => {
val strings: Array[String] = line.split(",")
if (strings.length == 3) {
(strings(0), strings(1), strings(2).toDouble)
}
else {
("-1", strings.mkString(" "), 0.0)
}
}).filter(s => !s._1.equals("-1"))
.toDF("id", "text", "label")
//Transformer，转换器，字符解析，转换输入文本，以空格分隔，转成小写词
val tokenizer: Tokenizer = new Tokenizer()
.setInputCol("text")
.setOutputCol("words")
//Transformer,转换器，哈希转换，以哈希方式将词转换成词频，转成特征向量
val hashTF: HashingTF = new HashingTF()
.setNumFeatures(1000) //缺省是2^18
.setInputCol(tokenizer.getOutputCol).setOutputCol("features")
//打印hashingTF生成的稀疏向量长什么样
val wordsData = tokenizer.transform(training)
val hashData = hashTF.transform(wordsData)
hashData.collect().foreach(println)
//[0,why hello world JAVA,1.0,WrappedArray(why, hello, world, java),(1000,[48,150,967,973],[1.0,1.0,1.0,1.0])]
//向量长度1000，即使hash桶的数量，和setNumFeatures的值一致，然后索引是[48,150,967,973]，即是hash桶的索引,值都是1.0，即是命中hash桶的次数
