《scrapy爬虫抓取赶集网二手房信息并用matplotlib展示》

爬虫抓取赶集网二手房信息并用matplotlib展示》"/>

《scrapy爬虫抓取赶集网二手房信息并用matplotlib展示》

写在文首：头一次写csdn写博客呢，简介一下这个小demo

数据挖掘的课后作业，用到的技术要点：python，scrapy，pymysql，numpy，matplotlib。

步骤就是先用scrapy爬取房屋信息，然后入mysql库，接着从库里到处数据，最后用numpy处理数据并用matplotlib画图。

1、scrapy爬取赶集网：

①、spider里用xpath解析标签的内容；

# 房子名字
house_name = response.xpath("//dd[@class='dd-item title']/a/text()").extract()
# 房子户型
house_type = response.xpath("//dd[@class='dd-item size']/span[1]/text()").extract()
# 房子面积
house_area = response.xpath("//dd[@class='dd-item size']/span[3]/text()").extract()
# 房子总共价格
house_cost = response.xpath("//dd[@class='dd-item info']/div[@class='price']/span[@class='num']/text()").extract()
# 房子单价
house_price = response.xpath("//dd[@class='dd-item info']/div[@class='time']/