Pregunta Concatenar conjuntos de datos de diferentes RDD en Apache chispa utilizando scala


¿Hay alguna manera de concatenar conjuntos de datos de dos diferentes RDDs en chispa?

El requisito es: creo dos RDD intermedios usando scala que tiene los mismos nombres de columna, necesito combinar estos resultados de ambos RDD y almacenar en caché el resultado para acceder a la IU. ¿Cómo combino los datasets aquí?

Los RDD son de tipo spark.sql.SchemaRDD


32
2017-12-10 07:27


origen


Respuestas:


Creo que estás buscando RDD.union

val rddPart1 = ???
val rddPart2 = ???
val rddAll = rddPart1.union(rddPart2)

Ejemplo (en Spark-shell)

val rdd1 = sc.parallelize(Seq((1, "Aug", 30),(1, "Sep", 31),(2, "Aug", 15),(2, "Sep", 10)))
val rdd2 = sc.parallelize(Seq((1, "Oct", 10),(1, "Nov", 12),(2, "Oct", 5),(2, "Nov", 15)))
rdd1.union(rdd2).collect

res0: Array[(Int, String, Int)] = Array((1,Aug,30), (1,Sep,31), (2,Aug,15), (2,Sep,10), (1,Oct,10), (1,Nov,12), (2,Oct,5), (2,Nov,15))

43
2017-12-10 10:21



Yo tuve el mismo problema. Para combinar por fila en lugar de columna use unionAll:

val rddPart1= ???
val rddPart2= ???
val rddAll = rddPart1.unionAll(rddPart2)

Lo encontré después de leer el resumen del método para el marco de datos. Mas información en: https://spark.apache.org/docs/latest/api/java/org/apache/spark/sql/DataFrame.html


2
2018-05-30 05:58