爬虫（二）一个简单的爬虫程序与Robots协议

爬虫（二）一个简单的爬虫程序与Robots协议"/>

爬虫（二）一个简单的爬虫程序与Robots协议

一个简单的爬虫

• 一个简单的爬虫
• • 库的安装
  • get请求、请求头与状态码
  • BeautifulSoup
  • 爬取指定内容
• Robots协议

一个简单的爬虫

库的安装

写程序之前，我们需要安装第三方库（使用的是Python 3.7）
这里需要安装的是requests库
操作流程：win + R - > 输入cmd -> Enter -> pip install requests，然后耐心等待

由于我已经安装好了requests库，就不再重新安装了。
测试一下：

进入Python环境，import requests，如果没有报错就说明已经完成了安装。
如果是网络问题导致的安装失败，可以去下载.whl文件进行安装。
如果安装了Pycharm，也可以通过Pycharm来安装requests库。
其他具体操作请自行搜索，不再赘述。

get请求、请求头与状态码

废话不多说，开始吧

#导入requests，如果安装成功了就不会报错
import requests
#设置请求头，这里不用打，在浏览器里复制就好了