2.爬取搜狗指定词条对应的搜索结果页面（简易网页采集器）

词条对应的搜索结果页面（简易网页采集器）"/>

2.爬取搜狗指定词条对应的搜索结果页面（简易网页采集器）

爬取搜狗指定词条对应的搜索结果页面（简易网页采集器）

# 爬取搜狗指定词条对应的搜索结果页面（简易网页采集器）
# UA:User-Agent(请求载体的身份标识)
# - UA检测：门户网站的服务器会检测请求发起载体的身份标识，如果检测到身份标识为某一款浏览器，则说明该请求是一个正常的请求。
#      但是如果检测到发起请求的载体的身份标识不是某一款浏览器，那么则标识为不正常的请求(爬虫),服务器端很有可能会拒绝这次请求
# - UA伪装：让爬虫把请求伪装成是某一款浏览器发出的
import requests
if __name__ == '__main__':# step1 指定urlurl = ''kw = input('请输入要搜索的内容：')param = {'query': kw}# UA伪装headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'}# step2 发送请求response = requests.get(url=url, params=param, headers=headers)# step3 获取响应数据response_txt = response.text# step4 数据持久化fileName = kw+'.html'with open(fileName, 'w', encoding='utf-8') as fp:fp.write(response_txt)print('爬取结束')