爬虫新宠requests

编程入门行业动态更新时间:2024-10-15 06:14:07

爬虫新宠requests

文章目录

- - - - 知识有价
      - 今天说说requests-plus模块
      - python模块学习建议
      - requests-html学习
      - 安装
        官网介绍
        举几个毛栗子
      - requests-html示例
      - The End

知识有价

公众号从5月31号开始第一次发文，到现在快一个月了。27天的时间里，更新了26篇文章。因为感觉每天更新身体有些扛不住，所以从上周开始，每周五给自己放个假，找朋友撸撸串，和同学怀念下10年前的dota1。

今天很开心，公司内部博客网站中，一个项目举办了相关的活动，具体活动的细节我也是今天才知道。大概评奖规则以作者文章获取赞赏或者推荐次数进行排名。之前写的flask制作美观的网页日历，获得了赞赏第一名，奖品为200块的京东卡。
登陆系统看了下，除了这篇文章还有好几篇获得了同事们的打赏鼓励，加起来差不多20多块吧。
其实打赏这个东西，作者关注的的不是金额，你给一分也是爱。他们更在意的是获得大家的肯定与鼓励，所以在这里感谢那些陌生的朋友们对我文章的肯定。

今天说说requests-plus模块

requests模块为urllib(urllib3)的封装模块，它的存在使得网络请求变得so easy！那么requests-plus模块又是个什么鬼？朋友们要说了，你个大忽悠，我百度搜了哪里有这个模块。是的，没这个模块，开局一个词，其他全靠编，哈哈。
有接触爬虫的朋友们应该都知道，requests配合beautifulsoup，简直是双剑合璧。一个用于访问网站并获取html内容，另一个用来解析html。可今天plus选手将它们的功能合二为一了，模块名为requests_html。

python模块学习建议

学习python模块，给大家个我自己不专业的建议：

养成习惯，遇到一个模块，先去github上看看开发者们关于它的说明，而不是直接百度看别人写了什么东西。也许后者可以让你很快入门，可那样你更多的是在吃别人剩下的。而访问Github，你可以在里面获取到更多作者想告诉你的内容和相关的链接地址。怎么评估一个模块好不好，最简单的办法就是看star，requests_html的star：9794，已经算很高的了。
requests_html的Git地址：。作者提供了官网/，用于更详细的使用描述。
python模块下载，多数情况大家使用pip install xxxx轻松搞定。但请记住这个网址：/。在你下载模块前，先去搜索下它，看看pypi给你什么提示与要求。
就比如requests_html，官方明确说明了，最新版本的requests-html 0.10.0 Requires: Python >=3.6.0。而支持3.5的最后一个版本是pip install requests-html==0.6.6

requests-html学习

安装

python3.6+ pip install requests-html
python3.5 pip install requests-html==0.6.6
再强调一次，requests_html仅支持3.5+，且最新版本的requests_html仅支持3.6+ ，3.5的最后一个版本为0.6.6。
安装时，你会发现，requests-html依赖了很多其他模块，统一封装后，让开发变得更加无脑：

Successfully installed appdirs-1.4.3 bs4-0.0.1 certifi-2019.3.9 chardet-3.0.4
cssselect-1.0.3 fake-useragent-0.1.11 idna-2.8 lxml-4.3.3 parse-1.12.0
pyee-6.0.0 pyppeteer-0.0.25 pyquery-1.4.0 requests-2.22.0 requests-html-0.10.0
six-1.12.0 tqdm-4.32.1 w3lib-1.20.0 websockets-7.0

官网介绍

全面支持解析JavaScript!
CSS 选择器 (jQuery风格, 感谢PyQuery).
XPath 选择器, for the faint at heart.
自定义user-agent (就像一个真正的web浏览器).
自动追踪重定向.
连接池与cookie持久化.
令人欣喜的请求体验，魔法般的解析页面.

举几个毛栗子

下面举几个官网的栗子，内容来自：/

from requests_html import HTMLSession
session = HTMLSession()
r = session.get('/')

获取网页内容
print(r.html.html)
获取链接
print(r.html.links)
print(r.html.absolute_links)
links和absolute_links两个属性分别返回HTML对象所包含的所有链接和绝对链接（均不包含锚点）
通过CSS选择器获取元素
r.html.find([selector],[first=True])
selector选择器，使用jQuery风格。如果不熟悉，给你个jQuery的官网传送门：/
添加first=True则为find ，不添加则为findAll，简洁明了…
但需要注意，如果没有添加first=True，即便返回一个元素，结果也将是list类型
通过xpath获取元素
r.html.xpath(’//*[@id=“su”]’, first=True) # 获取百度一下按钮地址…
元素具体内容

# 获取网站html内容
r.html.html
# 获取网站文本内容
r.html.text
# 上面俩内容太多就不打印了...
# 获取元素的属性
print(r.html.xpath('//*[@id="su"]', first=True).attrs)
output:
{'class': ('bg', 's_btn'), 'id': 'su', 'type': 'submit', 'value': '百度一下'}

JavaScript支持
requests_html的js执行是亮点，但是毁在了默认安装上…
r.html.render() 首次执行该方法是，模块会检查依赖，并下载chromium，chromium是什么鬼，看起来很像chrome？
搞过selenium的应该知道，这里简单对比下chrome和chromium：

Chromium是谷歌的开源项目，开发者们可以共同去改进它，然后谷歌会收集改进后的Chromium并发布改进后安装包。Chrome不是开源项目，谷歌会把Chromium的东西更新到Chrome中。你也可以这么理解Chromium是体验版，Chrome是正式版；
Chromium不用安装，下载下来的是压缩包，解压后直接就可以使用。Chrome需要安装；
Chromium功能比Chrome多，因为新功能都是先在Chromium中使用，等完善后才添加到Chrome中。相对的Chrome就要比Chromium稳定很多不容易出错；
Chromium不开放自动更新功能，所以用户需手动下载更新，而Chrome则可自动连上Google的服务器更新，但新版的推出很慢。

但是，模块在安装的时候由于SSLCertVerificationError问题，没办法进行自动化安装：

urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host=‘storage.googleapis’, port=443): Max retries exceeded with url: /chromium-browser-snapshots/Win_x64/575458/chrome-win32.zip (Caused by SSLError(SSLCertVerificationError(1, ‘[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1056)’)))

好在模块给出了地址，拼接host和uri即可进行下载：
//chromium-browser-snapshots/Win_x64/575458/chrome-win32.zip
我家里下载好慢，这点就不演示了，大家对这官网扭一扭吧…

requests-html示例

到了今天今天的重点了，使用requests-html获取2019中国虚假大学！

“虚假大学”是未在教育部备案，不具备招生资格、没有办学资质、涉嫌非法招生和网络诈骗的“虚假大学”。

这些虚假大学数据统计，来源于人民日报。其中还闹过一个笑话，一个网站转载人民日报的这条新闻时，误将中国邮电大学写成了北京邮电大学,结果北邮发飙要求该媒体即刻修改并致歉！然后，人民日报表示躺着也中枪.为人民日报献上一首白智英的***像中枪一样***。
好了不发散回正题，为了演示requests-html示例，找到了这个网站：
高三网：.html
网站以文本的格式，列出了392所虚假大学名单！那么，我们就用requests-html，获取一下它的数据，让你们看看requests-html有多简单！

分析下下网站结构，清楚明白，数据包裹在<div id="data249708">内部，从第三个p标签开始为我们所需要的数据。

代码实现：

# -*- coding: utf-8 -*-
# @Author   : 王翔
# @JianShu  : 清风Python
# @Date     : 2019/6/27 1:28
# @Software : PyCharm
# @version  ：Python 3.7.3
# @File     : PseudoCollege.pyfrom requests_html import HTMLSession
import jsonclass PseudoCollege:def __init__(self, url):self.url = urlself.headers = {"User-Agent": ("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 ""(KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36")}def get_response(self):session = HTMLSession()return session.get(self.url, headers=self.headers)def filter_info(self):html_data = self.get_response()# 从第三个P标签开始，获取虚假大学数据return html_data.html.find('div#data249708 p')[2:]@staticmethoddef get_json(data):info = {}city = Nonefor line in data:# 每个城市会显示为 <p><strong>北京：151所</strong></p>if 'strong' in line.html:# 拆分城市与虚假大学数量city, total_college = line.text.split('：')# 构造字典info[city] = dict(total=total_college, data=[])continueinfo[city]['data'].append(line.text)with open('colleges.json', 'w+', encoding='utf-8') as f:# ensure_ascii默认为True,json.dump后会被转码...f.write(json.dumps(info, ensure_ascii=False))def run():url = '.html'main = PseudoCollege(url)data = main.filter_info()main.get_json(data)if __name__ == '__main__':run()

叫College感觉有点讽刺…最终将这些学校保存至colleges.json的文本中，我看看结果片段：

  ... ... ,"陕西": {"total": "16所","data": ["西安电子信息学院","西安理工学院","西安工商学院","西安科技师范大学","西安信息技术学院","西安工商管理学院","西安工业科技技术学院","西安工业科技学院","陕西国防工业技术学院","陕西瀚林医科学院","西安工业工程学院","陕西工贸职业学院","西安科技职业学院","西安经济技术学院","西安机电工程学院","陕西科技管理学院"]},"福建": {"total": "5所","data": ["厦门师范学院","福建海峡经贸技术学院","福建经济贸易大学","福建科技学院","福建省轻工业学院"]},... ...