admin管理员组文章数量:1564691
如果安装python第三方模块:
- win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
- 在pycharm中点击Terminal(终端) 输入安装命令
基本实现流程:
<通用模板> 采集视频<小电影> 采集图片<美女小姐姐> 采集小说
一. 数据来源分析
确定了自己想要采集数据是什么?
通过开发者工具抓包分析 <不知道 1 知道 2>
通过F12开发者工具里面的搜索关键字, 找到相应的数据
二. 代码实现步骤过程
爬虫模拟浏览器对于url地址发送请求, 获取服务器返回响应数据
- 发送请求 发送get请求
- 获取数据, 获取服务器返回响应数据 response<开发者工具里面看到的>
- 解析数据, 提取我们想要数据内容 xpath css re 这些方法去提取
- 保存数据, 保存表格里面
代码
采集书籍数据
import requests # 数据请求模块 <工具>
import parsel # 数据解析模块 <工具>
import csv # csv数据表格
# mode='a' mode是什么意思 保存方式 a 是什么意思 追加保存
f = open('data\_1.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
'标题',
'评论',
'推荐',
'作者',
'日期',
'出版社',
'售价',
'原价',
'折扣',
'电子书',
'详情页',
])
csv_writer.writeheader() # 写表头
"""
发送请求
爬虫模拟浏览器对于url地址发送请求, 获取服务器返回响应数据
变量规则:
不能使用数字开头
不推荐使用关键字作为变量名 <import def del ...>
"""
# 确定网址
for page in range(1, 26): # 包含头, 不包含尾巴
print(f'=======================正在采集{page}页数据内容=======================')
url = f'http://bang.dangdang/books/bestsellers/01.00.00.00.00.00-recent7-0-0-1-{page}'
# headers 请求头 用来伪装模拟python代码 字典的数据类型
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36'
}
# 调用requests这个模块里面get请求方法, 对于url地址发送请求, 并且携带上headers请求伪装, 最后用自定义response变量接受返回数据
response = requests.get(url=url, headers=headers)
# print(response) # 打印发送请求得到的内容 <Response [200]> 响应对象 200状态码表示请求成功
# print(response.text) # 获取响应对象的文本数据
"""
解析数据, 提取我们想要数据内容
css选择器: 根据标签属性内容提取数据 完全掌握你在系统课程学2.5个小时
解析方法: css xpath re 那种好用用那种 如果你xpath没解析出来,换一下
"""
selector = parsel.Selector(response.text) # 把获取下来html字符串数据转成selector对象 <css选择器没有办法直接取字符串数据>
lis = selector.css('ul.bang\_list li') # 调用css方法解析数据 第一次提取 获取所有li标签内容
# print(lis)
for li in lis:
title = li.css('.name a::attr(title)').get() # 获取书名
# 同理可得 p:nth-child(1) 组合选择表示取第几个P标签
comment = li.css('.star a::text').get().replace('条评论', '') # 评论
recommend = li.css('.tuijian::text').get().replace('推荐', '') # 推荐
author = li.css('.publisher\_info a::attr(title)').get() # 作者
date = li.css('.publisher\_info span::text').get() # 日期
press = li.css('div:nth-child(6) a::text').get() # 出版社
price = li.css('.price p:nth-child(1) .price\_n::text').get() # 售价
price_r = li.css('.price p:nth-child(1) .price\_r::text').get() # 原价
price_s = li.css('.price p:nth-child(1) .price\_s::text').get().replace('折', '') # 折扣
price_e = li.css('.price\_e .price\_n::text').get() # 电子书
href = li.css('.name a::attr(href)').get() # 详情页
dit = {
教程、资料、解答可加Q：903971231
'标题': title,
'评论': comment,
'推荐': recommend,
'作者': author,
'日期': date,
'出版社': press,
'售价': price,
'原价': price_r,
'折扣': price_s,
'电子书': price_e,
'详情页': href,
}
csv_writer.writerow(dit)
print(title, comment, recommend, author, date, press, price, price_r, price_s, price_e, href)
如何采集评论:
<相当于一个新的爬虫案例> 目的就为了让你们巩固一下前面案例内容
爬虫基本流程是什么? 分为两个大步骤…
一. 数据来源分析
- 确定采集数据
- 通过开发者工具搜索关键字查询数据包 <当这个方法不灵>
二. 代码实现的过程 基本是哪四个?
- 发送请求
- 获取数据
- 解析数据
- 保存数据
方法一
import requests
import pprint
import re
import time
### 最后
不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~
给大家准备的学习资料包括但不限于：
Python 环境、pycharm编辑器/永久激活/翻译插件
python 零基础视频教程
Python 界面开发实战教程
Python 爬虫实战教程
Python 数据分析实战教程
python 游戏开发实战教程
Python 电子书100本
Python 学习路线规划
**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**
**[需要这份系统化学习资料的朋友，可以戳这里无偿获取](https://bbs.csdn/topics/618317507)**
**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
版权声明：本文标题：还在看《生死疲劳》？Python采集某平台书籍和评论数据 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dongtai/1725442180a1023706.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论