提取网页中的href 爬虫

爬虫"/>

提取网页中的href 爬虫

(1)本地网页，通过网页中的元素进行筛选想要获取的内容

web_parseDemo01.py

from bs4 import BeautifulSoup

#1、解析网页内容，网页的构成

with open('C:/Users/GXY/PycharmProjects/untitled/homework.html','r',encoding='UTF-8') as wb_data:

Soup=BeautifulSoup(wb_data,'lxml') #"lxml"是可以用来解析html网页的其中一个第三方库,wb_data是用来解析的文件

# print(Soup)

#2、描述要抓取的元素位置

images=Soup.select('body > div.main-content > ul > li > img')

titles=Soup.select('body > div.main-content > h2')

hrefs=Soup.select('body > div.header > ul > li > a')

# print(images,titles,hrefs,sep='\n..................\n')

#3、处理标签中的文本，筛选所需要的信息

#a.使用for循环来取出所有的元素，然后对元素使用方法

#for href in hrefs:

# print(href.get_text())

#...........................

#通过zip()将所