＜爬虫＞ requests和selenium的区别 / 为什么有的网站数据requests爬不下来

爬虫＞ requests和selenium的区别 / 为什么有的网站数据requests爬不下来"/>

＜爬虫＞ requests和selenium的区别 / 为什么有的网站数据requests爬不下来

​​​​​​​有的网页中的信息需要执行js才能显现

• 通过requests只能爬取原网页代码
• 通过selenium才可以爬取执行 js 后的网页数据，实现“所见即所得”

注意：要等网页加载完selenium才能爬取成功 否则也无法爬出数据

Selenium 的缺点：

1. 速度慢。每次运行爬虫都打开一个浏览器，如果没有设置，还会加载图片、JS等等一大堆东西。
2. 占用资源太多。
3. 对网络的要求会更高。 Selenium 加载了很多可能对您没有价值的补充文件（如css，js和图像文件）。 与仅仅请求您真正需要的资源（使用单独的HTTP请求）相比，这可能会产生更多的流量。
4. 爬取规模不能太大。