admin管理员组

文章数量:1609530

为了爬取网评我们需要导入几个模块

from selenium import webdriver
import time
import xlwt

先定义要爬取的网站url’以及设置浏览器参数

movieUrl='https://movie.douban/subject/26794435/comments?start=0&limit=20&sort=new_score&status=P'
driverPath=r'E:\分享\chromedriver.exe'
#设置浏览器参数和驱动
driver=webdriver.Chrome(chrome_options=webdriver.ChromeOptions(),executable_path=driverPath)

爬取数据

driver.get(movieUrl)
driver.implicitly_wait(30)
list_short=[]
list_user=[]
list_star=[]
for i in range(10):
    # select()
    # 根据css选择器获取元素
    listShort = driver.find_elements_by_css_selector('.short')
    for li in listShort:
        short = li.text
        list_short.append(short)
    # 拿到用户名
    listUser = driver.find_elements_by_css_selector('ment-info')
    for infouser in listUser:
        user=infouser.find_element_by_css_selector('a')
        userName = user.text
        list_user.append(userName)
        try:
            star=infouser.find_element_by_css_selector('.rating')
            starL = star.get_attribute('title')
        except:
            starL='0'
        list_star.append(starL)
    # 拿到星级
    #liststar = driver.find_elements_by_css_selector('.rating')
    # for star in liststar:
    #     starL = star.get_attribute('title')
    #     list_star.append(starL)
    #点翻页之前休眠一会

    #点击后页翻页
    driver.find_elements_by_css_selector('.next')[0].click()
    print('user',len(list_user))
    print('star',len(list_star))
    print('short',len(list_star))
    time.sleep(5)
    pass

写入表格

#向excel表格中写入
list=[list_user,list_star,list_short]
workbook=xlwt.Workbook()#创建一个worbook设置编码
sheet=workbook.add_sheet('douban')#创建一个worksheet
for i in range(len(list_user)):
    for j in range(3):
        sheet.write(i,j,list[j][i])#写入excel 参数对应行列值
        pass
workbook.save('short.xls')#保存

本文标签： 豆瓣表格网评PythonExcel

版权声明：本文标题：python爬取豆瓣网评并写入excel表格中 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dongtai/1728572170a1164325.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。