Scrapy框架图片爬取之Imagespipeline

取之Imagespipeline"/>

Scrapy框架图片爬取之Imagespipeline

Imagespipeline的介绍：imagespipeline是Scrapy框架中一种特殊的pipeline(管道)，作用于图片的下载，图片和文本的数据类型不同，图片是二进制数据，一般的管道实现下载比较复杂，所以imagespipeline就诞生了，它很大方面简化的图片下载的复杂程度。下面让我们一起看看imagespipeline的使用吧！

首先了解字符串和图片的区别：

         字符串：只需基于xpath进行解析并且提交给管道进行存储。

         图片：利用xpath解析出图片的src的属性值，单独对图片地址发起请求，获取图片的二进制类型数据。

imagespipeline的使用流程：

1.解析出图片的地址。

2.将图片地址交给定义的imagespipeline管道类。

3.在管道类中定义三个方法：分别是get_media_request , file_path , item_completed。

4.在配置文件中开启管道和自定义存储目录。

在定义imagespipeline管道时，需要导入ImagesPipeline模块，如下图：