Node,js Web Scrape

js Web Scrape"/>

Node,js Web Scrape

我有一个可用的网络抓取工具，但是当我在大量 url 上运行它时，我最终会定期收到以下错误。

"FetchError: request to "URL"  failed, reason: socket hang up"

假设在 3000 个 url 中，我会发现其中大约 4-6 个错误。

我已经对此进行了广泛的故障排除，但似乎无法使其顺利运行。 URL 有效，我收到

ECONNRESET

超时，这让我相信，由于对服务器的请求量很大，这是网络响应缓慢的结果。如果我返回并仅在这 4-6 个 URL 上运行它，我会正确地抓取它们。

我已经做了一些调整，但我的主要方法在下面和我的获取中：

{signal: AbortSignal.timeout(3000)}

And:

{
    retries: 3,
    retryDelay: 1000
  }

下面是相关的代码块。我可以发布更多脚本，但由于它有点工作，我希望这就是所需要的。

                try {
                    await fetch(line)

                        .then(res => {
                            if (res.ok && res.status === 200) {
                                const dest = fs.createWriteStream(OUTPUT_DIR + parent_path + updated_filename)
                                if (!fs.existsSync(OUTPUT_DIR + parent_path + updated_filename)) {
                                    res.body.pipe(dest);
                                } else {
                                    console.log("File Already Exists");
                                }

                            } else {
                                console.log("There was an issue with the URL");
                            }
                        });

                } catch (error) {
                    console.log(error);
                    errors.write(line + "\r\n");
                }

任何帮助或见解都会很棒。也许我正在考虑或使用 AbortSignal 或错误地重试，或者我可能需要对传递给获取的 url 做一些事情。 同样，这总是适用于小批量，这是我遇到这个麻烦的大批量。我也看到这是一个常见的问题，但我还没有找到适用于我的案例的解决方案。

回答如下：