Pyspark 的运行原理是啥，能简单说说吗？

My_JIE · 发表于 2018-1-31 16:06:51

小文0111 · 发表于 2018-1-31 16:18:08

在python driver端，SparkContext利用Py4J启动一个JVM并产生一个JavaSparkContext。Py4J只使用在driver端，用于本地python与java SparkContext objects的通信。大量数据的传输使用RDD在python下的转换会被映射成java环境下PythonRDD。在远端worker机器上，PythonRDD对象启动一些子进程并通过pipes与这些子进程通信，以此发送用户的代码和数据。

jingzizx · 发表于 2018-1-31 22:21:18

		自动登录	找回密码
密码			(注-册)加入51Testing

Pyspark 的运行原理是啥，能简单说说吗？

站长推荐 /1