报错总结"/>
这种情况是服务器同时返回200与404的状态码，抓包可以看到有404与200。浏览器访问时，有200不会影响访问，而爬虫程序获取该url的回执状态码404与200，遇到有404，则抛出了HTTP Error 404: Not Found
网上解答：抓包将状态码200的cookie值贴到代码的headers里，然后urlopen(req)过去就ok
我的方法：判断是404错误码的同时也判断页面含有关键词。
更多推荐
常见爬取网页报错总结
>www.elefans.com
编程频道|电子爱好者 - 技术资讯及电子产品介绍！
从源“http://localhost:5173”访问“...”处的 XMLHttpRequest 已被 CORS 策略阻止 
币安API错误代码1102，未发送强制参数“时间戳” 
如果我在bot telegram nodejs中使用editMessageMedia，我如何制作标题 
在 Node.js 中从网络流创建 blob 
使用 Node.js / ES6 如何设置 dotenv 文件的自定义路径？ 
使用 NODE.JS 和 html5 实现低延迟（50 毫秒）视频流 
如何从nodejs连接laravel>laravel 
使用nodejs观看目录 
如果文件包含特定字符串，如何跳过 GitHub 工作流程步骤？ 
FirebaseError：无法从.env加载环境变量
发布评论