admin管理员组文章数量:1619746
部署scrapy
在命令行中输入:
scrapy startproject lolskinSpider
cd lolskinSpider
scrapy gensipder lolskin lol.qq
然后进入文件夹开始构造任务
设置scrapy
首先要分析爬取的网站,观察英雄联盟官网 英雄联盟游戏资料,利用scrapy shell
scrapy shell "https://lol.qq/data/info-heros.shtml"
hero=response.xpath('//*[@]/li[1]/a/@title')
hero
发现结果为空值,因此该网站可能采用xhr异步渲染,再次刷新网站,我们发现:
在preview中,我们得知将需要hero下的heroId来跳转到对应的英雄界面,在英雄界面中,我们需要skins下的皮肤名称name和皮肤下载链接mainImg
设置items.py
打开items.py,我们需要爬取两类数据,一是皮肤名称,二是皮肤下载链接,所以:
import scrapy
class LolskinspiderItem(scrapy.Item):
#图片名称
name=scrapy.Field()
#图片下载地址
img_url=scrapy.Field()
设置lolskin.py
这是我们的主要文件,从js文件的request.url中得知我们将要爬取的网址,因此在这里allowed_domain将不再需要。分析可得,每一个英雄的网址的区别就是最后的数字,数字对应每一个英雄的ID。
import scrapy
from json import loads
from ..items import LolskinspiderItem
class LolskinSpider(scrapy
版权声明:本文标题:用Scrapy抓取英雄联盟所有皮肤 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://www.elefans.com/xitong/1728793874a1173980.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论