admin管理员组文章数量:1660687
一:具体代码实现
# -*- coding: utf-8 -*-
# @Time : 2018/7/26 16:33
# @Author : Nancy
# @Email : NancyWangDL@163
# @File : Demo4.py
# @Software: PyCharm
from selenium import webdriver
import time
from pyquery import PyQuery as pq
from lxml import etree
driver = webdriver.Ie()
driver.maximize_window() #浏览器窗口最大化
driver.get("https://www.toutiao/")
driver.implicitly_wait(10)
driver.find_element_by_link_text("科技").click()
driver.implicitly_wait(10)
time.sleep(5)
page = driver.page_source #page_source方法可以直接返回页面源码
doc = pq(page)
doc = etree.HTML(str(doc))
contents = doc.xpath('//div[@class="wcommonFeed"]/ul/li')
for x in contents:
title = x.xpath('div/div[1]/div/div[1]/a/text()')
if title:
title = title[0]
print(title)
else:
pass
二:实现效果
版权声明:本文标题:python 头条新闻机器人_12.Selenium+Python案例 -- 今日头条(获取科技栏目的所有新闻标题)... 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://www.elefans.com/dongtai/1729881253a1215946.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论