最近跟着老师学习,写了几个爬虫。写爬虫不可能只爬取一个页面,往往涉及到分页爬取。本文对自己在写爬虫的过程中关于分页爬取做一次小小的总结。
一、静态加载
如糗事百科,美股吧。这种网页url一般都带有页码信息,翻页的时候url会发生变化,页面内容全部刷新,分页爬取比较容易实现。
糗事百科
美股吧
方法一: 取得页码总数,根据url的结构来构造一个url列表,然后遍历列表中的url分别爬取信息即可。参考代码(来自Python爬虫—糗事百科@loading_miracle)如下:
#总页码
def totalUrl(self):
urls = [self.url+'page/{}/?s=4985075'.format(i) for i in range(1,36)]
for url in urls:
print u'正在获取:'+url.split('/')[-2]+u'页'
self.getInfo(url)
获取页码数
HTML页面中直接提取(页面中有最大页码数/共22页这些信息(如图图糗事百科、美股吧),或者提取``末页/>>`的标签的href属性(如BT蚂蚁))
更多推荐
python爬虫抓取分页论文_关于爬虫分页问题 - 自我总结
发布评论