python爬虫 爬取今日头条信息

爬虫 爬取今日头条信息"/>

python爬虫 爬取今日头条信息

""""

进入头条首页，在右边输入关键字，进入搜索页面，主要爬取搜索的到的图片以及图片的标题

""""

""""

python版本：python3.6.5

""""

#手动输入搜索关键字和要爬取的页数，默认从第一页开始爬取

end_page = int(input('请输入结束页面：'))
keyword = input('请输入查找关键字：')

#获取网页url

def get_url(): url = '/?'# 定义url的参数params = {'offset': '1','format': 'json','keyword': keyword,'autoload': 'true','count': '20','cur_tab': '1','from': 'search_tab'}#定义请求头headers = {'referer': '/?keywor