既然是标准化作业,就必须要有一个标准化的模板。
依照此本文的模板可以做到无脑复制到Scrapy项目中,将每个spider文件修改 spider 目录下的每一个项目 py 文件即可。
只需要修改列表业页和详情页中需要每个页面抓取的部分,确定他们的标签和属性在模板中进行替换,即可实现单一网站整体快速的数据抓取和采集。
不过在这之前还是要确认好标准化作业中处理的爬虫抓取目标,精准定位。不仅抓取的数据可以便于项目中的应用,也方便后期的爬虫脚本的维护。
文章目录
- Scrapy 模板操作流程
-
- 项目创建操作
- 项目文件配置
- Spider 内容列表获取模板
- Spider 内容详情获取模板
- 执行抓取作业
- 特别说明
Scrapy 模板操作流程
项目创建操作
创建项目
新建一个文件夹存放所有的 Scrapy 项目,打开命令行创建项目。
更多推荐
舆情监控数据采集 Scrapy 标准化爬虫数据抓取通用代码编写模板
发布评论