Crawlee如何并行运行多个爬虫？我得到一些错误

编程入门行业动态更新时间:2024-10-05 09:22:00

Crawlee如何并行运行<a href=https://www.elefans.com/category/jswz/34/1771377.html style= 多个爬虫？我得到一些错误"/>

我在我的项目中使用Crawlee

我想通过这种方式并行运行2个爬虫：

await Promise.all([
  crawler1.run(),
  crawler2.run(),
]);

但是我得到这个错误：

ENOENT: no such file or directory, open 'D:\project-crawler\storage\request_queues\default\iMCIUbrRaOsVice.json']

如果我评论其中一个爬虫，它可以正常工作：

await Promise.all([
  crawler1.run(),
  // crawler2.run(),
]);

回答如下：

更多推荐

Crawlee如何并行运行多个爬虫？我得到一些错误

本文发布于:2024-05-30 07:39:53，感谢您对本站的认可！

多个爬虫错误 Crawlee

评论列表（有 0 条评论）