爬取全国各个城市的最低气温

最低气温"/>

爬取全国各个城市的最低气温

爬取全国各个城市的最低气温

• 思路分析
• 完整代码
• 结果展示

思路分析

分别爬取八大地区的城市最低气温，再合起来即可得到全国各个城市的最低气温。
由于每一个地区的页面布局基本一致，因此，我们只要完成其中一个地区的数据提取，并写一个函数封装起来，对于其他地区，传入相应参数循环调用此函数即可。
本文数据提取使用的是BeautifulSoup，用XPath定位也可以。具体操作比较简单，就是请求对应页面，提取想要的数据，然后保存数据。完整的代码如下所示。

完整代码

# ！/usr/bin/env python
# —*— coding: utf-8 —*—
# @Time:    2020/2/3 9:56
# @Author:  Martin
# @File:    weather.py
# @Software:PyCharm
import requests
import pandas as pd
from bs4 import BeautifulSoupdef main():urls = {'.shtml','.shtml','.shtml','.shtml','.shtml','.shtml','.shtml','.shtml'}weather_data = []for url in urls:weather_data += parse_page(url)save(weather_data)def save(data):pd.DataFrame(data).to_csv('./result/weather.csv', index=False, encoding='utf_8_sig')def parse_page(url):headers = {'Referer': '.shtml','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}data = []response = requests.get(url, headers=headers)text = response.content.decode('utf-8')soup = BeautifulSoup(text, 'html5lib')divs = soup.find_all('div', class_='conMidtab2')for div in divs:tbodys = div.find_all('tbody')for tbody in tbodys:trs = tbody.find_all('tr')[2:]for index, tr in enumerate(trs):tds = tr.find_all('td')if index == 0:city_name = list(tds[1].stripped_strings)[0]else:city_name = list(tds[0].stripped_strings)[0]min_temperature = int(list(tds[-2])[0])print({'city_name': city_name, 'min_temperature': min_temperature})data.append({'city_name': city_name, 'min_temperature': min_temperature})return dataif __name__ == '__main__':main()

结果展示