day11初次接触爬虫,从猫眼电影网获取数据

编程入门 行业动态 更新时间:2024-10-10 17:27:18

day11初次接触<a href=https://www.elefans.com/category/jswz/34/1770264.html style=爬虫,从猫眼电影网获取数据"/>

day11初次接触爬虫,从猫眼电影网获取数据

# 从内建模块 urllib 导入 request
from urllib import request
# 要访问https 协议的网站 要用到SSL
import ssl
ssl._create_default_https_context = ssl._create_unverified_context# 导入正则表达式模块
import re# 正则表达式规则:
#    * 代表 0~无限个字符
#    . 可以匹配 1个字符('\n'除外)
#    ? 惰性匹配
r = repile(r'<div class="movie-item-info">.*?title="(.*?)".*?<p class="star">(.*?)</p>.*?<p class="releasetime">(.*?)</p>', re.S)headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36"
}url = "=10"
# 向 url 指定的地址发送请求, 先用 request.Request 创建一个 Request 对象
req = request.Request(url=url, headers=headers)# 用 request 模块的 urlopen 函数象url 地址发送请求
resp = request.urlopen(req)# 通过 resp 对象得到 url 返回来的html
html = resp.read().decode()
print(html)  # 打印获取到的html
req_list = r.findall(html)# 包爬取的数据,存入CSV 文件
with open("maoyan.csv", "a") as file:for a, b, c in req_list:file.write(a)file.write(',"')file.write(b.strip())file.write('",')file.write(c.strip())file.write('\n')

更多推荐

day11初次接触爬虫,从猫眼电影网获取数据

本文发布于:2024-02-07 06:51:58,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/34/1753733.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:爬虫   猫眼   电影网   数据

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!