当使用pyspark的管道执行bash脚本时,会因权限不足导致错误
发布时间
阅读量：
阅读量
在CDH的yarn集群中使用pyspark执行任务时，若通过pipe管道方式调用bash脚本，可能会遭遇以下问题
"/usr/lib64/python2.7/subprocess.py", line 1234, in _execute_child raise child_exception OSError:
[Errno 13] Permission denied
at org.apache.spark.api.python.PythonRunner$$anon$1.read(PythonRDD.scala:166)
at org.apache.spark.api.python.PythonRunner$$anon$1.<init>(PythonRDD.scala:207)
at org.apache.spark.api.python.PythonRunner.compute(PythonRDD.scala:125)
at org.apache.spark.api.python.PythonRDD.compute(PythonRDD.scala:70)
at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:306)
at org.apac全部评论 (0)
还没有任何评论哟~