把网站装进爬虫里,分为几步:
新建项目 (Project):新建一个新的爬虫项目
明确目标(Items):明确你想要抓取的目标
制作爬虫(Spider):制作爬虫开始爬取网页
存储内容(Pipeline):设计管道存储爬取内容
1.新建项目(Project)
在空目录下按住Shift键右击,选择“在此处打开命令窗口”,输入一下命令:
>scrapy startproject douban
创建project完成后,生成如下目录:
用pycharm打开该项目,具体看一下:
各个文件的作用:
scrapy.cfg:项目的配置文件
douban/:项目的Python模块,将会从这里引用代码
douban/items.py:项目的items文件(items是用来加载抓取内容的容器)
douban/pipelines.py:项目的pipelines文件
douban/settings.py:项目的设置文件
douban/spiders/:存储爬虫的目录
2.明确目标(Item)
item可以用scrapy.item.Item类来创建,并且用scrapy.item.Field对象来定义属性。
接下来,我们开始来构建item模型(model)。本例中,构建items.py如下:
首先,我们想要的内容有:
电影名称(name)
电影描述(movieInfo)
电影评分(star)
格言(quote)
对应地,修改douban目录下的items.py文件,在原本的class后面添加我们自己的class。因为要抓豆瓣网站的内容,所以我们可以将其命名为DoubanItem:
【attention】:
爬取元素并不是必须声明一个model,也可以直接在爬虫代码中,将爬取的元素直接通过这种方式来展现
根据官方文档介绍,Item是保存结构数据的地方,Scrapy可以将解析结果以字典形式返回,但是Python中字典缺少结构,在大型爬虫系统中很不方便,Item提供了类字典的API,并且可以很方便的声明字段,很多Scrapy组件可以利用Item的其他信息。后面也可以方便pipelines对爬到的数据进行处理。
3.制作爬虫(Spider)
制作爬虫,总体分两步:爬——取
也就是说,首先你要获取整个网页的所有内容,然后再取出其中对你有用的部分。
3.1爬
Spider是用户自己编写的类,用来从一个域(或域组)中抓取信息。定义了用于下载的URL列表、跟踪链接的方案、解析网页内容的方式,以此来提取items。
要建立一个Spider,你必须用scrapy.spider.BaseSpider创建一个子类,并确定三个强制的属性:
name:爬虫的识别名称,必须是唯一的,不同的爬虫中必须定义不同的名字
start_urls:爬取的URL列表。爬虫从这里开始抓取数据,所以,第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成
parse():解析的方法,调用的时候传入从每一个URL传回的Response对象作为唯一参数,负责解析并匹配抓取的数据(解析为item),跟踪更多的URL。
下面我们来写第一只爬虫,命名为doubanspider.py,保存在douban\spiders目录下。
在douban目录下按住shift右击,在此处打开命令窗口,输入:
>scrapy crawl douban
3.1.1 创建main.py,保存在douban目录下
3.1.2 为免于被封,需要伪装一下,在settings.py里加上USER_AGENT
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.54 Safari/536.5'
3.2取
使用Xpath来解析,相关知识可以看Xpath那一节,这里不细说,只是讲一下大概思路:
F12审查元素,我们看一下页面代码,查看页面显示特征,如待抓取的页面内容是否需要组合,替换空格等,同时,存在分页情形要能自动抓取下一页
查看代码特征后,发现几个问题:
(1) title分在两行,需要用for循环遍历的方式把它组合起来;
(2) 部分电影没有quote,需要考虑为空值情况;
(3) 分页的url不完整,需要把它抓出来补成完整的URL(要引入Request, fromscrapy.http importRequest
),就可以循环抓取了。
# -*- coding: utf-8 -*-
from scrapy.spiders import CrawlSpider
from scrapy.selector import Selector
from douban.items import DoubanItem
from scrapy.http import Request
class Douban(CrawlSpider):
name = "douban"
start_urls = ['http://movie.douban/top250']
url = 'http://movie.douban/top250'
def parse(self,response):
#print response.body
item = DoubanItem()
selector = Selector(response)
#print selector
Movies = selector.xpath('//div[@class="info"]')
#print Movies
for eachMoive in Movies:
title = eachMoive.xpath('div[@class="hd"]/a/span/text()').extract()
# 把两个名称合起来
fullTitle = ''
for each in title:
fullTitle += each
movieInfo = eachMoive.xpath('div[@class="bd"]/p/text()').extract()
star = eachMoive.xpath('div[@class="bd"]/div[@class="star"]/span[@class="rating_num"]/text()').extract()[0]
quote = eachMoive.xpath('div[@class="bd"]/p[@class="quote"]/span/text()').extract()
# quote可能为空,因此需要先进行判断
if quote:
quote = quote[0]
else:
quote = ''
#print fullTitle
#print movieInfo
#print star
#print quote
item['title'] = fullTitle
item['movieInfo'] = ';'.join(movieInfo)
item['star'] = star
item['quote'] = quote
yield item
nextLink = selector.xpath('//span[@class="next"]/link/@href').extract()
# 第10页是最后一页,没有下一页的链接
if nextLink:
nextLink = nextLink[0]
print nextLink
yield Request(self.url + nextLink, callback=self.parse) ## 递归将下一页的地址传给这个函数自己,在进行爬取注意寒老师提供的栗子中对此处二次解析的解读 callback=self.parse
4.存储内容(Pipeline)
保存信息的最简单的方法是通过Feed exports,主要有四种:JSON,JSON lines,CSV,XML。将结果用最常用的JSON导出,命令如下:
>scrapy crawl douban -o items.json -t json #-o 后面是导出文件名,-t 后面是导出类型。导出的结果,用文本编辑器打开json文件即可
尝试导出csv格式:
>scrapy crawl douban -o items.csv -t csv
4.1 设置默认存储
可以直接在settings.py文件中设置输出的位置和文件类型,如下:
FEED_URI = u'file:///E:/douban/douban.csv'
FEED_FORMAT = 'CSV'
5.运行爬虫(main.py)
不同于简单单线程爬虫程序直接运行,这里我们还需要通过一个main.py来运行,需要自己手动生成,main.py代码如下:
运行结果:
如果你想用抓取的items做更复杂的事情,你可以写一个 Item Pipeline(条目管道)。
更多推荐
python用scrapy爬虫豆瓣_python爬虫入门笔记:scrapy爬豆瓣
发布评论