爬虫(参考黑马视频)"/>
scrapy框架与爬虫(参考黑马视频)
本
Scrapy 入门
1.创建一个scrapy项目 :
scrapy startproject mySpider(mySpider为项目名,可任意更改)
2.生成一个爬虫 :
scrapy genspider itcast itcast(itcast为爬虫文件的名字,必须唯一,且不能和项目名重复,后边itcast为我们将要爬取的网址,防止爬取其他地址)
3.提取数据 :
scrapy crawl itcast#进行爬取
完善spider,使用xpath等方法
填写parse方法,并且不能对parse方法修改名字,只能为parse()
def parse(self,response):#处理start_url地址对应的响应ret1=response.xpath("//div[@class='tea_con']//h3/text()").extract()print
更多推荐
scrapy框架与爬虫(参考黑马视频)
发布评论