spark技巧

测试积点老人

1. 设置消息尺寸最大值

1. def main(args: Array[String]) {
   
2.     System.setProperty("spark.akka.frameSize", "1024")
   
3. }

复制代码

2.与yarn结合时设置队列

1. val conf=new SparkConf().setAppName("WriteParquet")
   
2. conf.set("spark.yarn.queue","wz111")
   
3. val sc=new SparkContext(conf)
   

复制代码

3.运行时使用yarn分配资源，并设置--num-executors参数

1. nohup /home/SASadm/spark-1.4.1-bin-hadoop2.4/bin/spark-submit
   
2. --name mergePartition
   
3. --class main.scala.week2.mergePartition
   
4. --num-executors 30
   
5. --master yarn
   
6. mergePartition.jar >server.log 2>&1 &

复制代码

4.读取impala的parquet，对String串的处理

1. sqlContext.setConf("spark.sql.parquet.binaryAsString","true")

复制代码

5.parquetfile的写

1. case class ParquetFormat(usr_id:BigInt , install_ids:String )
   
2. val appRdd=sc.textFile("hdfs://").map(_.split("\t")).map(r=>ParquetFormat(r(0).toLong,r(1)))
   
3. sqlContext.createDataFrame(appRdd).repartition(1).write.parquet("hdfs://")

复制代码

6.parquetfile的读

1. val parquetFile=sqlContext.read.parquet("hdfs://")
   
2. parquetFile.registerTempTable("install_running")
   
3. val data=sqlContext.sql("select user_id,install_ids from install_running")
   
4. data.map(t=>"user_id:"+t(0)+" install_ids:"+t(1)).collect().foreach(println)

复制代码

7.写文件时，将所有结果汇集到一个文件

1. repartition(1)

复制代码

8.如果重复使用的rdd，使用cache缓存

1. cache()

复制代码

9.spark-shell 添加依赖包

1. spark-1.4.1-bin-hadoop2.4/bin/spark-shell local[4] --jars code.jar
   

复制代码

10.spark-shell使用yarn模式，并使用队列

1. spark-1.4.1-bin-hadoop2.4/bin/spark-shell --master yarn-client --queue wz111
   

复制代码

Miss_love

支持分享