使用pyppeteer爬取被识别为webdriver的网站

网站"/>

使用pyppeteer爬取被识别为webdriver的网站

需求：爬取一些网站的最新资讯，每日查阅一遍存入数据库即可，而不是暴力爬取，即使没有这个爬虫， 每天也会通过手动去点击查阅相关资讯

尝试办法

1. 直接上来肯定采用简单暴力的方式， requests

直接使用requests.get(url)的方式返回 412错误，
打开F12（浏览器控制台工具）通过查看请求列表可以发现， 第一次发送的请求被服务器拒绝 返回码为412 并且直接跳转到JS ，第三次请求才会正常访问到html内容，

上图为第一次访问请求与返回信息

上图为第二次正式请求html的请求头与返回头
我们发现这第二次的请求头中多了Cookie信息
猜想第一次返回412肯定与没有携带cookie有关， 然后使用requests携带cookie（从浏览器控制台中复制的cookie）的方式进行访问，果然能正常获取到html，但是过了一会 我再运行一样的代码， 发现无法继续获取到html了。这个cookie是有时效性的。

2. 使用selenium进行抓取

使用大名鼎鼎的selenium+chrome的方式进行爬取， 发现每次打开浏览器都是一片空白，估计是监听到了selenium打开了浏览器， 这个网站的反扒做的还不错啊！
检测 Selenium 的 JavaScript 代码

webdriver = window.navigator.webdriver;
if (webdriver) {console.log('模拟浏览器')
} else {console.log('正常浏览器')
}

使用selenium我也放弃了

3. 使用pyppeteer进行抓取

pyppepteer相对selenium来说对用户更加友好，环境一件部署，会自动下载chromium程序，不好的就是支持浏览器单一（或许是我没有研究透彻）
刚开始发现也是返回白色页面，查阅相关文章发现 使用pyppeteer不使用enable-automation可以反侦察， 那么我一劳永逸 直接在site-packages/pyppeteer/launcher.py中进行参数屏蔽

这里就不放代码了， 有兴趣wechat

大功告成，能成功爬取！