系列文章目录
python爬虫实战——爬取淘宝商品信息并导入EXCEL表格(超详细).
python多线程爬取壁纸 妈妈再也不担心我没壁纸了!.
python爬虫爬取虎牙数据(简单利用requests库以及Beautifulsoup).
python爬虫之爬取壁纸(新手入门级).
文章目录
- 系列文章目录
- 前言
- 一、解析URL组成
- 二、利用正则表达式获取所需的数据
- 2.数据的优化
- 三、使用selenium模拟网页刷新
- 四、总体的函数和代码编写
- 1.获取html内容
- 2.正则表达式获取信息
- 3.获取每页的网页链接
- 4.将信息写入excel表
- 5.主函数及开头的编写
- 总结
前言
上一篇博客具体写了正则表达式的基本操作。
所以本文使用re正则库对猫眼电影前100名的电影数据(电影排名,电影名称,电影主演以及电影评分)进行爬取,使用selenium库刷新页面(防止获取页面html失败),最后将数据导入Excel表格。大致思路与上一篇爬取淘宝数据类似
ps:代码只用于学习不用于任何商业用途
最后效果如图所示
提示:以下是本篇文章正文内容
一、解析URL组成
第一页URL组成为:https://maoyan/board/4?offset=0
第二页URL组成为:https://maoyan/board/4?offset=10
由此可以得出页面变动的规则在于后面offset的参数
二、利用正则表达式获取所需的数据
打开开发者工具可见下图
可以得到正则表达式如下(示例):
rank = re.findall(r'<dd>.*?board-index.*?>(.*?)</i>', html, re.S)
title = re.findall(r'<p.*?name.*?title="(.*?)".*?</p>', html, re.S)
star = re.findall(r'<p.*?star">(.*?)</p>', html, re.S)
score = re.findall(r'p.*?score.*?integer">(.*?)</i>.*?fraction.*?(\d).*?</p>', html, re.S)
对于正则表达式不明白的可以参考我的上一篇博客:
python爬虫入门必会的操作—正则表达式(详解).
2.数据的优化
我们得到的star和score数据中,star里有很多空格和换行,所以我们用strip()方法去掉,并用replace()方法将匹配到的主演转为空
同时score得到的数据需要两项加起来
代码如下:
star[i].strip().replace('主演:', ''),
score[i][0] + score[i][1])
三、使用selenium模拟网页刷新
在爬取的途中我发现网站需要刷新才能获得我们所需要的html内容所以我们需要selenium代替我们人工刷新(或者自己手动刷新)
刷新网页代码如下:
from selenium import webdriver
driver = webdriver.Chrome()
driver.maximize_window()
driver.get('https://maoyan/board/4?offset=0')
driver.refresh()
四、总体的函数和代码编写
1.获取html内容
def Get_html(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko',
}
r = requests.get(url, headers=headers)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
2.正则表达式获取信息
def Get_Xx(html):
x = []
rank = re.findall(r'<dd>.*?board-index.*?>(.*?)</i>', html, re.S)
title = re.findall(r'<p.*?name.*?title="(.*?)".*?</p>', html, re.S)
star = re.findall(r'<p.*?star">(.*?)</p>', html, re.S)
score = re.findall(r'p.*?score.*?integer">(.*?)</i>.*?fraction.*?(\d).*?</p>', html, re.S)
for i in range(0, 10):
x.append((rank[i], title[i], star[i].strip().replace('主演:', ''), score[i][0] + score[i][1]))
return x
3.获取每页的网页链接
def Url_list():
urls = ['https://maoyan/board/4?offset=0']
for i in range(10, 91, 10):
url = 'https://maoyan/board/4?offset=' + str(i)
urls.append(url)
return urls
4.将信息写入excel表
def Write_intoExcel(x):
global count
for i in range(len(x)):
worksheet.write(count + i + 1, 0, x[i][0])
worksheet.write(count + i + 1, 1, x[i][1])
worksheet.write(count + i + 1, 2, x[i][2])
worksheet.write(count + i + 1, 3, x[i][3])
print(x)
count = count + len(x)
5.主函数及开头的编写
开头:
import re
import time
import requests
import xlsxwriter
from selenium import webdriver
workbook = xlsxwriter.Workbook('电影.xlsx')
worksheet = workbook.add_worksheet()
worksheet.set_column('A:A', 20)
worksheet.set_column('B:B', 20)
worksheet.set_column('C:C', 70)
worksheet.set_column('D:D', 20)
worksheet.write('A1', '排名')
worksheet.write('B1', '名字')
worksheet.write('C1', '主演')
worksheet.write('D1', '评分')
主函数:
if __name__ == "__main__":
driver = webdriver.Chrome()
driver.maximize_window()
driver.get('https://maoyan/board/4?offset=0')
x = []
count = 0
urls = Url_list()
for url in urls:
html = Get_html(url)
x = Get_Xx(html)
Write_intoExcel(x)
time.sleep(5) # 这里设置了每5s进行一次页面刷新
driver.refresh()
workbook.close()
最后完整代码:
# -*- coding: utf-8 -*-
# @Time : 2020/11/17 17:00
# @Author : cc
# @E-mail : 1215177216@qq
# @Site :
# @File : 猫眼电影.py
# @Software: PyCharm
# 本代码只用于学习!
import re
import time
import requests
import xlsxwriter
from selenium import webdriver
workbook = xlsxwriter.Workbook('电影.xlsx')
worksheet = workbook.add_worksheet()
worksheet.set_column('A:A', 20)
worksheet.set_column('B:B', 20)
worksheet.set_column('C:C', 70)
worksheet.set_column('D:D', 20)
worksheet.write('A1', '排名')
worksheet.write('B1', '名字')
worksheet.write('C1', '主演')
worksheet.write('D1', '评分')
def Get_html(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko',
}
r = requests.get(url, headers=headers)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
def Get_Xx(html):
x = []
rank = re.findall(r'<dd>.*?board-index.*?>(.*?)</i>', html, re.S)
title = re.findall(r'<p.*?name.*?title="(.*?)".*?</p>', html, re.S)
star = re.findall(r'<p.*?star">(.*?)</p>', html, re.S)
score = re.findall(r'p.*?score.*?integer">(.*?)</i>.*?fraction.*?(\d).*?</p>', html, re.S)
for i in range(0, 10):
x.append((rank[i], title[i], star[i].strip().replace('主演:', ''), score[i][0] + score[i][1]))
return x
def Write_intoExcel(x):
global count
for i in range(len(x)):
worksheet.write(count + i + 1, 0, x[i][0])
worksheet.write(count + i + 1, 1, x[i][1])
worksheet.write(count + i + 1, 2, x[i][2])
worksheet.write(count + i + 1, 3, x[i][3])
print(x)
count = count + len(x)
def Url_list():
urls = ['https://maoyan/board/4?offset=0']
for i in range(10, 91, 10):
url = 'https://maoyan/board/4?offset=' + str(i)
urls.append(url)
return urls
if __name__ == "__main__":
driver = webdriver.Chrome()
driver.maximize_window()
driver.get('https://maoyan/board/4?offset=0')
x = []
count = 0
urls = Url_list()
for url in urls:
html = Get_html(url)
x = Get_Xx(html)
Write_intoExcel(x)
time.sleep(5)
driver.refresh()
workbook.close()
总结
最后觉得写的好的
更多推荐
python爬虫实战——爬取猫眼电影TOP100并导入excel表
发布评论