Spark MLib 每日一算法 —— VectorAssembler

VectorAssembler

VectorAssembler是一个Transformer，用来将数据集中多个属性按次序组合成一个类型为向量vector的属性，以便后续其他适用于向量数据的算法(逻辑回归，决策树，主成分等等)使用。被组合的属性类型可以是数字(numeric)，布尔(boolean)以及向量(vector)。

参数

• inputCols: 需要组合的属性名称数组
• outputCol: 组合后的向量属性名称 (默认值: vecAssembler_######_output)

例子

val dataset = spark.createDataFrame(
  Seq((0, 18, 1.0, Vectors.dense(0.0, 10.0, 0.5), 1.0))
).toDF("id", "hour", "mobile", "userFeatures", "clicked")
dataset.show()
//    +---+----+------+--------------+-------+
//    | id|hour|mobile|  userFeatures|clicked|
//    +---+----+------+--------------+-------+
//    |  0|  18|   1.0|[0.0,10.0,0.5]|    1.0|
//    +---+----+------+--------------+-------+


val assembler = new VectorAssembler()
  .setInputCols(Array("hour", "mobile", "userFeatures"))
  .setOutputCol("features")

val output = assembler.transform(dataset)
output.show(false)
//    +---+----+------+--------------+-------+-----------------------+
//    |id |hour|mobile|userFeatures  |clicked|features               |
//    +---+----+------+--------------+-------+-----------------------+
//    |0  |18  |1.0   |[0.0,10.0,0.5]|1.0    |[18.0,1.0,0.0,10.0,0.5]|
//    +---+----+------+--------------+-------+-----------------------+