51Testing软件测试论坛

标题: spark技巧 [打印本页]

---

作者: 测试积点老人    时间: 2019-1-9 15:39
标题: spark技巧
1. 设置消息尺寸最大值

1. def main(args: Array[String]) {
   
2.     System.setProperty("spark.akka.frameSize", "1024")
   
3. }

复制代码

2.与yarn结合时设置队列

1. val conf=new SparkConf().setAppName("WriteParquet")
   
2. conf.set("spark.yarn.queue","wz111")
   
3. val sc=new SparkContext(conf)
   

复制代码

3.运行时使用yarn分配资源，并设置--num-executors参数

1. nohup /home/SASadm/spark-1.4.1-bin-hadoop2.4/bin/spark-submit
   
2. --name mergePartition
   
3. --class main.scala.week2.mergePartition
   
4. --num-executors 30
   
5. --master yarn
   
6. mergePartition.jar >server.log 2>&1 &

复制代码

4.读取impala的parquet，对String串的处理

1. sqlContext.setConf("spark.sql.parquet.binaryAsString","true")

复制代码

5.parquetfile的写

1. case class ParquetFormat(usr_id:BigInt , install_ids:String )
   
2. val appRdd=sc.textFile("hdfs://").map(_.split("\t")).map(r=>ParquetFormat(r(0).toLong,r(1)))
   
3. sqlContext.createDataFrame(appRdd).repartition(1).write.parquet("hdfs://")

复制代码

6.parquetfile的读

1. val parquetFile=sqlContext.read.parquet("hdfs://")
   
2. parquetFile.registerTempTable("install_running")
   
3. val data=sqlContext.sql("select user_id,install_ids from install_running")
   
4. data.map(t=>"user_id:"+t(0)+" install_ids:"+t(1)).collect().foreach(println)

复制代码

7.写文件时，将所有结果汇集到一个文件

1. repartition(1)

复制代码

8.如果重复使用的rdd，使用cache缓存

1. cache()

复制代码

9.spark-shell 添加依赖包

1. spark-1.4.1-bin-hadoop2.4/bin/spark-shell local[4] --jars code.jar
   

复制代码

10.spark-shell使用yarn模式，并使用队列

1. spark-1.4.1-bin-hadoop2.4/bin/spark-shell --master yarn-client --queue wz111
   

复制代码

---

作者: Miss_love    时间: 2021-1-5 13:44
支持分享

---

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)

Powered by Discuz! X3.2