python爬虫抓取分页论文_关于爬虫分页问题 - 自我总结

最近跟着老师学习，写了几个爬虫。写爬虫不可能只爬取一个页面，往往涉及到分页爬取。本文对自己在写爬虫的过程中关于分页爬取做一次小小的总结。

一、静态加载

如糗事百科，美股吧。这种网页url一般都带有页码信息，翻页的时候url会发生变化，页面内容全部刷新，分页爬取比较容易实现。

糗事百科

美股吧

方法一： 取得页码总数，根据url的结构来构造一个url列表，然后遍历列表中的url分别爬取信息即可。参考代码(来自Python爬虫—糗事百科@loading_miracle)如下：

#总页码

def totalUrl(self):

urls = [self.url+'page/{}/?s=4985075'.format(i) for i in range(1,36)]

for url in urls:

print u'正在获取：'+url.split('/')[-2]+u'页'

self.getInfo(url)

获取页码数

HTML页面中直接提取(页面中有最大页码数/共22页这些信息(如图图糗事百科、美股吧)，或者提取``末页/>>`的标签的href属性(如BT蚂蚁))