爬取猫眼排行榜100电影

猫眼排行榜100电影"/>

爬取猫眼排行榜100电影

爬取猫眼电影排行

利用requests库和正则表达式来抓取猫眼电影TOP100的相关内容。requests比urllib使用更加方便，而且目前我们还没有系统学习HTML解析库，所以这里就选用正则表达式来作为解析工具。

1. 本节目标：

   • 提取出猫眼电影TOP100的电影名称、时间、评分、图片等信息
   • 提取的站点URL为
   • 提取的结果以文件形式保存下来

2. 准备工作：

   • 确定正确安装好requests库

3. 抓取分析：

   1. 打开抓取的站点：，可以发现榜单信息。

   2. 页面中显示的有效信息包括：影片名称、主演、上映时间、评分、图片等信息

   3. 将页面滚动到最下方，直接点击第2页，观察页面的URL和内容发生的变化。

   4. URL变成，比之前的URL多了一个参数，即offset=10，而目前显示的结果是排行11~20名的电影，再点击下一页，发现页面的URL变成了，参数 offset 变成了20，而显示的结果是排行21~30的电影。

   5. 规律：offset代表偏移量值，如果偏移量为n，则显示的电影序号就是n+1到n+10，每页显示10个。所以，如果想获取TOP100电影，只需要分开请求10次，而10次的offset参数分别设置为0、10、20…90即可，这样获取不同的页面之后，再用正则表达式提取出相关信息，就可以得到 TOP100 的所有电影信息了。

4. 抓取首页：

   import requestsdef get_one_page(url):"""抓取第一页的内容，返回抓取的页面结果"""headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ''Chrome/88.0.4324.104 Safari/537.36 '}response = requests.get(url, headers=headers)if response.status_code == 200:return response.textreturn Nonedef main():url = ''html = get_one_page(url)<