spar core 05

spar core 05"/>

spar core 05

• sequenceFile

  val seqRDD = sc.sequenceFile[BytesWritable,String]("path")
  

  泛型主要采用BytesWritable

• 序列化

  • Java serialization
    速度慢，支持所有序列化类型
  • Kyro serialization
    速度快，不是支持所有的序列化类型

     val conf = new SparkConf().setMaster("local[2]").setAppName("SerializationApp").set("spark.serializer", "org.apache.spark.serializer.KryoSerializer").registerKryoClasses(Array(classOf[Student])) // 这个必须加入，如果不加的话，cache的数据会占用比java serialization更多内存
    

    spark.serializer不要写到代码中，最好写在spark-submit中的–conf

• 序列化应用场景
  引入外部变量，cache，shuffle