网贷平台数据分析爬取并存入mysql,生成csv

数据分析爬取并存入mysql,生成csv"/>

网贷平台数据分析爬取并存入mysql,生成csv

学了python怎么使用mysql就应该实际操作起来用用呀。
爬取某网站上的数据并存入mysql，当然也包括存入csv文件。
因为一开始我是存csv，然后今晚学了连接数据库（学习进度有点慢呀）…

上主代码

import requests
import re
import MySQLdb
import csv
import time
import pandas as pd
from bs4 import BeautifulSoup
from requests import RequestException#连接数据库
conn= MySQLdb.connect(host='localhost',port = 3306,user='root',passwd='a',db ='wangdai',  #数据库表 如果没有这个表则注释 使用执行语句建立一数据库charset='utf8',#设置编码集   如果没有则会报错UnicodeEncodeError: 'latin-1' codec can't encode characters in position 0-2: ordinal not in range(256))
cur = conn.cursor() #要想使用数据库则还需要创建游标#创建表
cur.execute("create table wdtest(wid int primary key auto_increment,name varchar(10),total int,rate varchar(10),pnum int,cycle varchar(10),p1num int,fuload varchar(10),alltotal varchar(10),capital varchar(10))")#抓取页面
def get_page(url):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari / 537.11','Accept':'text/html;q=0.9,*/*;q=0.8','Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3','Connection': 'close','Referer': '/'}try:response = requests.get(url,headers=headers)if response.status_code == 200:return response.textreturn Noneexcept RequestException:print('请求错误')return None#解析页面  并写入数据
def parse_page(html):soup = BeautifulSoup(html,'lxml')tr = soup.find_all(name='tr',attrs={'class':'bd'})# tr = str(tr)for i in tr:# print(i)i = str(i)num = re.findall('<td class="num">(.*?)</td>',i)name = re.findall('.*?<a.*?title="(.*?)">',i)total = re.findall('<td class="total">(.*?)万</td>',i)rate = re.findall('<td class="rate">(.*?)%</td>',i)pnum = re.findall('<td class="pnum">(\d+)人</td>',i)cycle = re.findall('<td class="cycle">(.*?)月</td>',i)p1num = re.findall('<td class="p1num">(.*?)人</td>',i)fuload = re.findall('<td class="fuload">(.*?)分钟</td>',i)alltotal = re.findall('<td class="alltotal">(.*?)万</td>',i)capital = re.findall('<td class="capital">(.*?)万</td>',i)print(num,name,total,rate,pnum,cycle,p1num,fuload,alltotal,capital)# 写入csv数据write_csv(num,name,total,rate,pnum,cycle,p1num,fuload,alltotal,capital)#写入数据库  因为是没获取一天数据插入数据库，这样操作太耗时！可以mysql的考虑批处理！save_msg_toMySql(name,total,rate,pnum,cycle,p1num,fuload,alltotal,capital)# print( tr)#写入csv数据
def write_csv(num,name,total,rate,pnum,cycle,p1num,fuload,alltotal,capital):columns = ['平台名称', '成交额(万)', '综合利率', '投资人(人)', '借款周期(月)', '借款人(人)', '满标速度(分钟)', '累计贷款余额(万)','净资金流入(万)']table = pd.DataFrame({'平台名称': name,'成交额(万)': total,'综合利率': rate,'投资人(人)': pnum,'借款周期(月)': cycle,'借款人(人)': p1num,'满标速度(分钟)': fuload,'累计贷款余额(万)': alltotal,'净资金流入(万)': capital},columns=columns)table.to_csv('wangdai.csv',mode='a',index=False,header=False) #不要索引 不要列头#生成csv文件列头
def write_csv_lietou():columns = ['平台名称', '成交额(万)', '综合利率', '投资人(人)', '借款周期(月)', '借款人(人)', '满标速度(分钟)', '累计贷款余额(万)','净资金流入(万)']table = pd.DataFrame(columns=columns)table.to_csv('wangdai.csv',mode='a',index=False) #不要索引  是在第一行和第一列留一行#保存数据到MySql
def save_msg_toMySql(name,total,rate,pnum,cycle,p1num,fuload,alltotal,capital):sql = 'insert into wdtest(name,total,rate,pnum,cycle,p1num,fuload,alltotal,capital) values(%s,%s,%s,%s,%s,%s,%s,%s,%s)'cur.execute(sql,(name,total,rate,pnum,cycle,p1num,fuload,alltotal,capital))#提交  记得commit一下，否则你的数据都没有到数据库哦connmit()#主函数
if __name__ == '__main__':url = '/'html = get_page(url)#生成含有csv的列头write_csv_lietou()parse_page(html)

有一个疑问：就是生成一个csv文件，怎样不重复生成列头…代码中的方法虽然可行，但我感觉还有其他更好的方法，但是没搜到。如果你知道，望请教！

数据到手，下一步？