python搜论文

论文"/>

python搜论文

搜索结果在CNKI几乎一样。在此基础上,我只是读一些web页面的结构,可以很容易地编写爬行代码(这是最基本的,不完美的,你可以自己添加其他功能)。web页面的结构仍然是非常明确的。我通过pymysql使用数据库连接。效率也可以直接发布以下代码:# - * -编码:utf - 8 - *进口timeimport再输入randomimport requestsfrom bs4进口BeautifulSoupimport pymysqlconnection =(主机= ' ',用户= = \文件名= RLGY201806014&dbname = CJFDLAST2018 ' #必须包含这个头信息,否则该网站会将你的请求重定向到其他页面标题={\u201C接受\u201D:\u201C、图像\/ webp * \/ *\u201D,\u201C接受编码\u201D:\u201Cgzip、缩小,sdch\u201D,\u201C接收语言\u201D:\u201D,\u201C连接\u201D:\u201C维生\u201D,\u201C主机\u201D:\u201C,\u201C推荐人\u201D:\u201D?

WOW64) (KHTML,像壁虎)\u201D)headers1 =(\u201C用户代理\u201D:\u201C(Windows NT;Win64;x64) (KHTML,像壁虎)\u201D)def get_url_list (start_url):深度= 20 url_list =[]我的范围(深度):试题:url = start_url + \汤= BeautifulSoup(\u201D)艺术_all (div, class_ = wz_tab):打印((a) (\u201Chref\u201D))如果(a) (\u201Chref\u201D)不是url_list: url_ ((a) (\u201Chref\u201D))打印(\u201C爬第一\u201D+ str(我)+\u201C页面成功!

get_text () .split(\u201C-\u201D)[0] = \找到(\u201Cp\u201D)。find_all (a, class_ = KnowledgeNetLink):作者+ = (_text() +\u201D)文摘=(\u201C跨越\u201D,id =\u201CChDivSummary\u201D) .get_text() #关键字,存在与否关键字:除了打印(\u201C部分收购失败\u201D)passtry:关键= \find_all (a, class_ = KnowledgeNetLink):关键+ = (_text() +\u201D):除了passprint(\u201C第\u201D+ str (i) +个url)打印(\u201C[标题]:\u201D+标题)打印(\u201C(作者):\u201D+作者)打印(\u201C[摘要]:\u201D+抽象)打印(\u201C(例子):\u201C+键)#执行SQL语句(\u201C插入cnki值(% s, NULL, % s % s, % s, % s)\u201D, (wordType、标题、作者、摘要、关键))#提交到数据库执行()打印()打印(\u201C爬行完成\u201D)最后:打印()if __name__ = =\u201C__main__\u201D:试题:{\u201CE wordType。