51工具盒子

依楼听风雨
笑看云卷云舒,淡观潮起潮落

python3.8执行报错joblib.externals.loky.process_executor.TerminatedWorkerError

因项目需要在notebook服务python环境中拉取模型数据,在执行相关的python语句时存在如下报错:

joblib.externals.loky.process_executor.TerminatedWorkerError: A worker process managed by the executor was unexpectedly terminated. This could be caused by a segmentation fault while calling the function or by an excessive memory usage causing the Operating System to kill the worker.

这个错误是由于内存不足,导致操作系统杀死工作进程引起。

解决办法

n_jobs参数控制joblib管理的并行度数量(进程或线程取决于joblib后端)

  • 减少数据集大小或使用更小的模型来减少内存使用量。
  • 增加可用运行内存来缓解。
  • 通过调整joblib中n_jobs参数,尝试将n_jobs设置为1或原有配置数-1。

参考文档:
https://stackoverflow.com/questions/71763118/what-is-causing-my-random-joblib-externals-loky-process-executor-terminatedwor

赞(1)
未经允许不得转载:工具盒子 » python3.8执行报错joblib.externals.loky.process_executor.TerminatedWorkerError