使用python爬取研招网调剂信息

研招网调剂信息"/>

使用python爬取研招网调剂信息

一志愿考研失败了，找调剂太麻烦了，直接爬取研招网的调剂信息保存到数据库。

# -*- coding: utf-8 -*-
import requests
import json
import pymysqlcount = 0
url = '.action'headers = {'Accept': '*/*','Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8','Origin': '','Referer': '.html','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36','Cookie':''
}
type_dict = {}
type_dict['1'] = "全日制"
type_dict['2'] = "非全日制"def parse_one_page(content):for item in content:yield {'学校名称': item['dwmc'],'所属学院': item['yxsmc'],'专业名称': item['zymc'],'研究方向': item['yjfxmc'],'培养类型': type_dict[str(item['xxfs'])],'计划人数': item['qers'],'最后更新时间已过小时': round(item['gxsj']/60,2),'余额状态': item['zt'],'省份': item['ssdm'],'是否符合调剂要求': item['sfmzyq'],'发布时间': item['fbsjStr'],'调剂特殊要求': item['bz']}for i in range(50):if count == 0:para = {'pageSize': 20,'start': '','orderBy': '','mhcx': 1,'ssdm2': '','xxfs2': '','dwmc2': '计算机科学与技术','data_type': 'json','agent_from': 'wab','pageid': ''}else:para = {'pageSize': 20,'start': count * 20,'orderBy': '','mhcx': 1,'ssdm2': '','xxfs2': '','dwmc2': '计算机科学与技术','data_type': 'json','agent_from': 'wab','pageid': 'tj_qe_list'}try:print("正在收集第{}页\n".format(i+1))r = requests.post(url, headers=headers, timeout=30, data=para)count += 1r.raise_for_status()r.encoding = 'utf-8'# print (r.text)text = json.loads(r.text)content = text['data']['vo_list']['vos']for item in parse_one_page(content):# print(item)db = pymysql.connect(host="Localhost", user="root", password="123456", db="yz01", charset="utf8")cursor =  db.cursor()学校名称 = item['学校名称']所属学院 = item['所属学院']专业名称 = item['专业名称']研究方向 = item['研究方向']培养类型 = str(item['培养类型'])计划人数 = item['计划人数']最后更新时间已过小时 = item['最后更新时间已过小时']余额状态 = item['余额状态']省份 = item['省份']是否符合调剂要求 = item['是否符合调剂要求']发布时间 = item['发布时间']调剂特殊要求 = item['调剂特殊要求']cursor.execute('INSERT INTO y01(学校名称,所属学院,专业名称,研究方向,培养类型,计划人数,最后更新时间已过小时,余额状态,省份,是否符合调剂要求,发布时间,调剂特殊要求) VALUES(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)',(学校名称,所属学院,专业名称,研究方向,培养类型,计划人数,最后更新时间已过小时,余额状态,省份,是否符合调剂要求,发布时间,调剂特殊要求))dbmit()cursor.close()db.close()except:count += 1