admin管理员组文章数量:1586728
1.2 请求库的安装
爬虫可以简单分为几步:抓取页面、分析页面和存储数据。
在抓取页面的过程中,我们需要模拟浏览器向服务器发出请求,所以需要用到一些 Python 库来实现 HTTP 请求操作。在本书中,我们用到的第三方库有 requests、Selenium 和 aiohttp 等。
在本节中,我们介绍一下这些请求库的安装方法。
1.2.1 requests 的安装
由于 requests 属于第三方库,也就是 Python 默认不会自带这个库,所以需要我们手动安装。下面我们首先看一下它的安装过程。
1. 相关链接
2. pip 安装
无论是 Windows、Linux 还是 Mac,都可以通过 pip 这个包管理工具来安装。
在命令行界面中运行如下命令,即可完成 requests 库的安装:
pip3 install requests
这是最简单的安装方式,推荐使用这种方法安装。
3. wheel 安装
wheel 是 Python 的一种安装包,其后缀为 .whl,在网速较差的情况下可以选择下载 wheel 文件再安装,然后直接用 pip3 命令加文件名安装即可。
不过在这之前需要先安装 wheel 库,安装命令如下:
pip3 install wheel
然后到 PyPI 上下载对应的 wheel 文件,如最新版本为 2.17.3,则打开:https://pypi.python/pypi/requests/2.17.3#downloads,下载 requests-2.17.3-py2.py3-none-any.whl 到本地。
随后在命令行界面进入 wheel 文件目录,利用 pip 安装即可:
pip3 install requests-2.17.3-py2.py3-none-any.whl
这样我们也可以完成 requests 的安装。
4. 源码安装
如果你不想用 pip 来安装,或者想获取某一特定版本,可以选择下载源码安装。
此种方式需要先找到此库的源码地址,然后下载下来再用命令安装。
可以通过 Git 来下载源代码:
git clone git://github/kennethreitz/requests.git
或通过 curl 下载:
curl -OL https://github/kennethreitz/requests/tarball/master
下载下来之后,进入目录,执行如下命令即可安装:
cd requests
python3 setup.py install
命令执行结束后即可完成 requests 的安装。由于这种安装方式比较烦琐,后面不再赘述。
5. 验证安装
为了验证库是否已经安装成功,可以在命令行模式测试一下:
$ python3
>>> import requests
首先输入 python3,进入命令行模式,然后输入上述内容,如果什么错误提示也没有,就证明已经成功安装了 requests。
1.2.2 Selenium 的安装
Selenium 是一个自动化测试工具,利用它我们可以驱动浏览器执行特定的动作,如点击、下拉等操作。对于一些 JavaScript 渲染的页面来说,这种抓取方式非常有效。下面我们来看看 Selenium 的安装过程。
1. 相关链接
2. pip 安装
这里推荐直接使用 p
本文标签: 程序下载PythonSpiderPython3WebSpider
版权声明:本文标题:python的spider程序下载安装_Python3WebSpider 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://www.elefans.com/dianzi/1726370176a1067535.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论