爬虫之手刃豆瓣Top250电影排行并保存为csv格式

爬虫之手刃豆瓣Top250电影排行并保存为csv格式"/>

爬虫之手刃豆瓣Top250电影排行并保存为csv格式

直接上手刃豆瓣Top250电影排行榜

# 拿到页面源代码 request
# 通过re来提取想要的有效信息 re
import requests
import re
import csvurl = ""
'''
输入此网址可以爬取前25电影：
输入此网址可以爬取26-50电影：=25&filter=
输入此网址可以爬取51-75电影: =50&filter=
想获取更多自己试试
'''
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400"
}
resp = requests.get(url, headers=headers)
page_content = resp.text# 解析数据
obj = repile(r'<li>.*?<div class="item">.*?<span class="title">(?P<name>.*?)'r'</span>.*?<p class="">.*?<br>(?P<year>.*?)'r'&nbsp.*?<span class="rating_num" property="v:average">(?P<evaluate>.*?)'r'</span>.*?<span>(?P<numbers>.*?)人评价</span>', re.S)
# 开始匹配
result = obj.finditer(page_content)
f = open("data.csv", mode="w", encoding='utf-8') # 创建要保存的csv文件
csvwriter = csv.writer(f)
for it in result:# print(it.group("name"))# print(it.group("year").strip())# print(it.group("evaluate"))# print(it.group("numbers"))dic = it.groupdict()dic['year'] = dic['year'].strip() # 因为year采取的时候有需要的空格所以需要进行strip处理csvwriter.writerow(dic.values())f.close() # 养成好习惯，使用完文件之后要关闭文件
print("over!")

csv的实验结果如下图所示