51Testing软件测试论坛

标题: Pyspark 的运行原理是啥，能简单说说吗？ [打印本页]

作者: My_JIE 时间: 2018-1-31 16:06
标题: Pyspark 的运行原理是啥，能简单说说吗？

Pyspark 的运行原理是啥，能简单说说吗？

作者: 小文0111 时间: 2018-1-31 16:18
在python driver端，SparkContext利用Py4J启动一个JVM并产生一个JavaSparkContext。Py4J只使用在driver端，用于本地python与java SparkContext objects的通信。大量数据的传输使用RDD在python下的转换会被映射成java环境下PythonRDD。在远端worker机器上，PythonRDD对象启动一些子进程并通过pipes与这些子进程通信，以此发送用户的代码和数据。

作者: jingzizx 时间: 2018-1-31 22:21

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)