scrapy框架与爬虫（参考黑马视频）

爬虫（参考黑马视频）"/>

scrapy框架与爬虫（参考黑马视频）

本

Scrapy 入门

1.创建一个scrapy项目 ：
scrapy startproject mySpider（mySpider为项目名，可任意更改）
2.生成一个爬虫 ：
scrapy genspider itcast itcast(itcast为爬虫文件的名字，必须唯一，且不能和项目名重复，后边itcast为我们将要爬取的网址，防止爬取其他地址）
3.提取数据 ：
scrapy crawl itcast#进行爬取
完善spider，使用xpath等方法
填写parse方法，并且不能对parse方法修改名字，只能为parse()

def parse(self,response):#处理start_url地址对应的响应ret1=response.xpath("//div[@class='tea_con']//h3/text()").extract()print