我在scrapy中编写了一个spider程序,从一个网站中提取数据。我有一个类似结构的html表的链接列表,到目前为止,这些链接的提取都很好。现在的问题是,这些表中的一些运行在多个页面上,也就是说,如果一个数据集超过30行,它就会被拆分。但大多数表格只有70页,最多只有一页。通过按html表单中的“下一页”按钮可以进入下一页。我希望蜘蛛去每个表,从第一页提取数据,然后继续到第二页、第三页等,直到没有“下一步”按钮,然后继续使用下一个原始URL。在
我知道我需要的可能是form_request命令,但我对这些东西并不熟悉,而且我在网上找到的所有示例的结构都略有不同,因此我们将非常感谢您的帮助。在
这是我的代码,它提取每个表的第一页。在from scrapy.spiders import BaseSpider
from scrapy.selector import HtmlXPathSelector
from example.items import exitem
from scrapy.http import FormRequest
class MySpider(BaseSpider):
name = "example"
with open('linklist.txt') as f:
start_urls = f.readlines()
def parse(self, response):
hxs = HtmlXPathSelector(response)
main = hxs.xpath("/html/body/table[2]/tr/td[2]/table/tr/td/table[1]/tr[1]/td[1]/table")
titles = hxs.xpath("/html/body/table[2]/tr/td[2]/table/tr/td/table[1]/tr[2]/td/table/tr")
items = []
for titles in titles:
item = exitem()
item["pid"] = titles.xpath("td[2]/font/text()").extract()
item["famname"] = titles.xpath("td[3]/font/b/text()").extract()
item["firstname"] = titles.xpath("td[4]/font/text()").extract()
item["sex"] = titles.xpath("td[5]/font/text()").extract()
item["age"] = titles.xpath("td[6]/font/text()").extract()
item["famstat"] = titles.xpath("td[7]/font/text()").extract()
item["res"] = titles.xpath("td[8]/font/text()").extract()
item["nation"] = titles.xpath("td[9]/font/text()").extract()
item["state"] = titles.xpath("td[10]/font/text()").extract()
item["job"] = titles.xpath("td[11]/font/text()").extract()
return(items)
这是网站上的表格:
^{pr2}$
第二页的“开始”值为31,第三页为61,第四页为91,依此类推
更多推荐
html点击下一页表单,在scray/python中单击html表单按钮进入下一页
发布评论