爬虫"/>
提取网页中的href 爬虫
(1)本地网页,通过网页中的元素进行筛选想要获取的内容
web_parseDemo01.py
from bs4 import BeautifulSoup
#1、解析网页内容,网页的构成
with open('C:/Users/GXY/PycharmProjects/untitled/homework.html','r',encoding='UTF-8') as wb_data:
Soup=BeautifulSoup(wb_data,'lxml') #"lxml"是可以用来解析html网页的其中一个第三方库,wb_data是用来解析的文件
# print(Soup)
#2、描述要抓取的元素位置
images=Soup.select('body > div.main-content > ul > li > img')
titles=Soup.select('body > div.main-content > h2')
hrefs=Soup.select('body > div.header > ul > li > a')
# print(images,titles,hrefs,sep='\n..................\n')
#3、处理标签中的文本,筛选所需要的信息
#a.使用for循环来取出所有的元素,然后对元素使用方法
#for href in hrefs:
# print(href.get_text())
#...........................
#通过zip()将所
更多推荐
提取网页中的href 爬虫
发布评论