Spark MLib 每日一算法 —— VectorIndexer

2018-02-14

VectorIndexer

VectorIndexer是一个Estimator，用来将某个一组数字类型的属性值转化成数字编码index，以便后续其他适用于数字编码的算法使用。多个属性值被组合成一个Vector字段作为输入。
在fit期间如果某一个属性中出现的属性值<=最大分组阈值，则该属性会被认为是离散属性(categorical feature)并进行编码，编码规则是对该属性每个出现的离散数值给出从0～离散数值数量-1的数字，属性数值越小，给出的编码数字就越小(和StringIndexer算法类似，但编码规则不同)；属性值>分组阈值的属性被认为是连续属性(continuous feature)，输出中将保留原数值。
在transform阶段，VectorIndexer并不像StringIndexer那样具备处理fit时没有碰到过的离散属性值(连续值不影响)或者Null值的能力，如果出现就会抛出 java.util.NoSuchElementException: key not found: xx异常，后续spark应该会加上处理这些未知值的选项。

参数

inputCol: 需要给出编码的属性组合后的向量属性名称
outputCol: 编码后的属性名称 (默认值: vecIdx_######_output)
maxCategories: 最大分组阈值 (默认值: 20)

model方法

categoryMaps: 返回一个类型为Map[Int, Map[Double, Int]]的Map，最顶层的key是被编码的离散属性在整个输入属性向量中的编号，value也是一个Map，其中key为该属性中的属性值，value为该值被最终映射成的编码。

例子

val data = Array(
  Vectors.dense(2.0, 0.0, 3.1, 7.0),
  Vectors.dense(2.0, 0.0, 3.0, 7.0),
  Vectors.dense(4.0, 0.0, 1.0, 5.0)
)
val df = spark.createDataFrame(data.map(Tuple1.apply)).toDF("features")
df.show(false)
//    +-----------------+
//    |features         |
//    +-----------------+
//    |[2.0,0.0,3.1,7.0]|
//    |[2.0,0.0,3.0,7.0]|
//    |[4.0,0.0,1.0,5.0]|
//    +-----------------+

val indexer = new VectorIndexer()
  .setInputCol("features")
  .setOutputCol("indexed")
  .setMaxCategories(2)

val indexerModel = indexer.fit(df)
println(indexerModel.categoryMaps)
// Map(0 -> Map(2.0 -> 0, 4.0 -> 1), 1 -> Map(0.0 -> 0), 3 -> Map(5.0 -> 0, 7.0 -> 1))

var test = Array(
  Vectors.dense(2.0, 0.0, 3.1, 6.0)
)
var testDf = spark.createDataFrame(test.map(Tuple1.apply)).toDF("features")
try {
  indexerModel.transform(testDf).show(false)
} catch {  //error from 6.0 value of last column(3).
  case ex: SparkException => println(ex)
}

test = Array(
  Vectors.dense(2.0, 0.0, 3.3, 7.0)
)
testDf = spark.createDataFrame(test.map(Tuple1.apply)).toDF("features")
indexerModel.transform(testDf).show(false)
//    +-----------------+-----------------+
//    |features         |indexed          |
//    +-----------------+-----------------+
//    |[2.0,0.0,3.3,7.0]|[0.0,0.0,3.3,1.0]|
//    +-----------------+-----------------+
//    column(2)被认为是连续值属性，所以即使里出现的3.3在训练集中从未出现，也不影响transform