- 59
- 0
问题描述
Hi, 我在公司线上运行pyspark时调用jieba分词, 发现可以成功import, 但是在RDD中调用分词函数时却提示没有 module jieba, 在本地虚拟机时没有这些问题
问题出现的环境背景及自己尝试过哪些方法
尝试更换了root安装jieba的
相关代码
// 请把代码文本粘贴到下方(请勿用图片代替代码)
>>>import jieba
>>>[x for x in jieba.cut('这是一段测试文本')]
Building prefix dict from the default dictionary ...
Loading model from cache /tmp/jieba.cache
Loading model cost 0.448 seconds.
Prefix dict has been built succesfully.
[u'u8fd9u662f', u'u4e00u6bb5', u'u6d4bu8bd5', u'u6587u672c']
//以上是普通调用jieba 能够成功分词
>>> cut = name.map(lambda x: [y for y in jieba.cut(x)])
>>> cut.count()
//以上代码在本地虚拟机中运行不会报错,但是在线上堡垒机运行会报错。
你期待的结果是什么?实际看到的错误信息又是什么?
18/07/13 10:16:17 WARN scheduler.TaskSetManager: Lost task 6.0 in stage 1.0 (TID 16, hadoop13, executor 17): org.apache.spark.api.python.PythonException: Traceback (most recent call last):
File "/opt/cloudera/parcels/CDH-5.11.0-1.cdh5.11.0.p0.34/lib/spark/python/pyspark/worker.py", line 98, in main
command = pickleSer._read_with_length(infile)
File "/opt/cloudera/parcels/CDH-5.11.0-1.cdh5.11.0.p0.34/lib/spark/python/pyspark/serializers.py", line 164, in _read_with_length
return self.loads(obj)
File "/opt/cloudera/parcels/CDH-5.11.0-1.cdh5.11.0.p0.34/lib/spark/python/pyspark/serializers.py", line 422, in loads
return pickle.loads(obj)
File "/opt/cloudera/parcels/CDH-5.11.0-1.cdh5.11.0.p0.34/lib/spark/python/pyspark/cloudpickle.py", line 664, in subimport
__import__(name)
ImportError: ('No module named jieba', <function subimport at 0x27a9488>, ('jieba',))
at org.apache.spark.api.python.PythonRunner$$anon$1.read(PythonRDD.scala:166)
at org.apache.spark.api.python.PythonRunner$$anon$1.<init>(PythonRDD.scala:207)
at org.apache.spark.api.python.PythonRunner.compute(PythonRDD.scala:125)
at org.apache.spark.api.python.PythonRDD.compute(PythonRDD.scala:70)
at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:306)
at org.apache.spark.rdd.RDD.iterator(RDD.scala:270)
at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
at org.apache.spark.scheduler.Task.run(Task.scala:89)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:242)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745) - 共 0 条
- 全部回答
-
韩明玄 普通会员 1楼
在PySpark中调用Python第三方库失败可能有以下几个原因:
- 模块不存在:首先,确保你在Python代码中正确地引用了第三方库。你可以使用
importlib模块来导入模块,然后使用as关键字将导入后的模块名称转换为Python类名。例如:
python importlib.import_module('module_name') module_name = module_name as module_class_name- 模块不在加载路径中:Python库可能存在于你的Python代码的外部目录中,但它们可能没有被添加到你的Python环境的路径中。你可以通过
sys.path来获取Python环境的路径,并检查模块是否在路径中。例如:
python sys.path.append('module_path')- 库不存在:如果第三方库在Python代码中被导入,但实际在运行时不存在,那么在PySpark中调用它就会失败。你可以使用
assert语句来检查库是否存在,或者使用importlib.reload方法来加载库。例如:
python importlib.assert_path.exists('module_name') importlib.reload('module_name')- 库版本问题:如果第三方库在Python代码中被导入,但其版本与你的PySpark版本不兼容,那么在PySpark中调用它就会失败。你可以使用
pip命令来安装库,并确保版本与PySpark的版本兼容。例如:
bash pip install --upgrade module_name- 依赖问题:如果你正在使用依赖于第三方库的其他Python代码,而这些代码没有正确地导入库,那么在PySpark中调用库就会失败。你可以使用
pip命令来安装依赖库,并确保它们在你的Python环境中已经安装。例如:
bash pip install dependency_name - 模块不存在:首先,确保你在Python代码中正确地引用了第三方库。你可以使用
- 扫一扫访问手机版
回答动态

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器更新之后。服务器里面有部分玩家要重新创建角色是怎么回事啊?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题函数计算不同地域的是不能用内网吧?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题ARMS可以创建多个应用嘛?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题在ARMS如何申请加入公测呀?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题前端小程序接入这个arms具体是如何接入监控的,这个init方法在哪里进行添加?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器刚到期,是不是就不能再导出存档了呢?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器的游戏版本不兼容 尝试更新怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器服务器升级以后 就链接不上了,怎么办?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器转移以后服务器进不去了,怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器修改参数后游戏进入不了,是什么情况?预计能赚取 0积分收益
- 回到顶部
- 回到顶部

