admin管理员组

文章数量:1619183

从英雄联盟皮肤网站的网页源代码中获取不到英雄的皮肤地址 通过selenium可以轻松获取想要的内容

源码展示

from selenium import webdriver
from time import sleep
from pyquery import PyQuery as pq
import os,requests
from config import *
import pymongo
from seleniummon.exceptions import NoSuchElementException

browser = webdriver.Chrome()

client = pymongo.MongoClient(MONGO_URL)
db = client[MONGO_DB]


def get_hero_url():
    browser.get("http://lol.qq/web201310/info-heros.shtml")
    html = browser.page_source
    doc = pq(html)
    #通过PyQuery解析出来的网页 用css选择器获取li标签内容 并返回一个生成器
    items = doc('#jSearchHeroDiv.imgtextlist li').items()
    #通过循环获取生成器下的内容
    for item in items:
        data ={
            'hero_url':'http://lol.qq/web201310/'+item.find('a').attr('href'),
            'hero_name':item.find('p').text()
        }
        #print(len(data['hero_url']))
        # 在网页加载的时候可能会因为

本文标签： 英雄爬虫图片下载官网皮肤

版权声明：本文标题：Python爬虫之selenium爬取英雄联盟官网英雄皮肤图片下载到本地和保存到数据库 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dongtai/1728792997a1173898.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。