爬虫（八十一）用requests和xpath爬取豆瓣电影评论

爬虫（八十一）用requests和xpath爬取豆瓣电影评论"/>

爬虫（八十一）用requests和xpath爬取豆瓣电影评论

这篇文章，我们继续利用 requests 和 xpath 爬取豆瓣电影的短评，下面还是先贴上效果图：

1、网页分析

（1）翻页

我们还是使用 Chrome 浏览器打开豆瓣电影中某一部电影的评论进行分析，这里示例为《一出好戏》

和之前一样，我们可以通过构造 URL 获取全部网页的内容，但是这次我们尝试使用一种新的方法 —— 翻页

使用快捷键 Ctrl+Shift+I 打开开发者工具，然后使用快捷键 Ctrl+Shift+C 打开元素选择工具

此时用鼠标点击网页中的 后页，就会在源代码中自动定位到相应的位置

接下来我们用 xpath 匹配下一页的链接地址：

html.xpath('//div[@id="paginator"]/a[@class="next"]/@href')

这样一来，我们只要在每一页中通过循环不断获取下一页的内容即可

核心代码如下：