python爬取房源数据

房源数据"/>

python爬取房源数据

之前没课的时候写过安居客的爬虫，但那也是小打小闹，那这次呢，

还是小打小闹

哈哈，现在开始正式进行爬虫书写

首先，需要分析一下要爬取的网站的结构：

作为一名河南的学生，那就看看郑州的二手房信息吧！

在上面这个页面中，我们可以看到一条条的房源信息，从中我们发现了什么，发现了连郑州的二手房都是这么的贵，作为即将毕业的学生狗惹不起啊惹不起

还是正文吧！！！

由上可以看到网页一条条的房源信息，点击进去后就会发现：

房源的详细信息。

OK！那么我们要干嘛呢，就是把郑州这个地区的二手房房源信息都能拿到手，可以保存到数据库中，用来干嘛呢，作为一个地理人，还是有点用处的，这次就不说了

好，正式开始，首先我采用python3.6 中的requests，BeautifulSoup模块来进行爬取页面，

首先由requests模块进行请求：

# 网页的请求头

header = {

'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'

}

# url链接

url = '/'

response = requests.get(url, headers=header)

print(response.text)

执行后就会得到这个网站的html代码了

通过分析可以得到每个房源都在class="list-item"的 li 标签中，那么我们就可以根据BeautifulSoup包进行提取

# 通过BeautifulSoup进行解析出每个房源详细列表并进行打印

soup = BeautifulSoup(response.text, 'html.parser')

result_li = soup.find_all('li', {'class': 'list-item'})

for i in result_li:

print(i)

通过打印就能进一步减少了code量，好，继续提取