admin管理员组文章数量:1566990
免责声明:本程序仅供个人学习使用
功能目标:方便摘抄网易云音乐的热评,写一个爬虫程序,通过输入歌单号,爬取并保存歌单内歌曲的热评。
记录第一个自己完成的简单爬虫程序
1.展示截图
顺便安利一下这个日语歌单
2.代码
库:requests、bs4 、json、csv、time(可选)
import requests
from bs4 import BeautifulSoup
import json
from csv import writer
import time
t1=time.clock()
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36',
}
print("===========================\n获取网易云音乐歌单中所有歌曲热评\n===========================")
id= input("请输入歌单id:")
print("正在搜索。。。\n")
playlist_url = f'http://music.163/playlist?id={id}'
rs = requests.session()
r = rs.get(playlist_url, headers=headers)
soup = BeautifulSoup(r.content, 'lxml')
main = soup.find('ul', {'class': 'f-hide'})
name_list= []
id_list= []
for music in main.find_all('a'):
music_id= music['href'][9:]
music_name= music.text
name_list.append(music_name)
id_list.append(music_id)
total= len(name_list)
cout=1
allcout=0
file= open("网易云音乐歌单热评.csv","w",encoding="gb18030",newline="")
writer= writer(file)
for i in id_list:
list=[cout,name_list[cout-1]]
writer.writerow(list)
get_url= "http://music.163/api/v1/resource/comments/R_SO_4_"+i+"?limit=0&offset=0"
r= requests.get(get_url,headers=headers)
json_dict=json.loads(r.content.decode("utf-8"))
hotcomments= json_dict["hotComments"]
allcout+=len(hotcomments)
no=1
for j in hotcomments:
nickname= j["user"]["nickname"]
content= j["content"].replace("\n"," ")
liked= str(j["likedCount"])+"赞"
list=["","",no,nickname,liked,content]
writer.writerow(list)
no+=1
cout+=1
writer.writerow('')
file.close()
t2= time.clock()-t1
print(f"共找到{total}首歌 {allcout}条热评 用时{t2:.2f}s",end="\n===========================\n")
input("按任意键退出。。。")
3.分析
常量的定义、界面设计
#计时开始
t1=time.clock()
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36',
}
print("===========================\n获取网易云音乐歌单中所有歌曲热评\n===========================")
id= input("请输入歌单id:")
print("正在搜索。。。\n")
playlist_url = f'http://music.163/playlist?id={id}'#得到歌单的url
依次爬取歌曲信息
#得到歌单内的歌曲名称和歌曲id
rs = requests.session()
r = rs.get(playlist_url, headers=headers)
soup = BeautifulSoup(r.content, 'lxml')
#可通过歌曲网页的源码得到有关信息
main = soup.find('ul', {'class': 'f-hide'})
name_list= []
id_list= []
for music in main.find_all('a'):
music_id= music['href'][9:]
music_name= music.text
name_list.append(music_name)
id_list.append(music_id)
#计数君
total= len(name_list)
cout=1
allcout=0
创建表格
#易错点:encoding,newline应设为""
file= open("网易云音乐歌单热评.csv","w",encoding="gb18030",newline="")
writer= writer(file)
爬取评论、保存
核心:此api会返回歌曲评论 “music.163/api/v1/reso… id +”?limit=0&offset=0"
#用id查找评论,按照评论顺序记录
for i in id_list:
list=[cout,name_list[cout-1]]
writer.writerow(list)
get_url= "http://music.163/api/v1/resource/comments/R_SO_4_"+i+"?limit=0&offset=0"
r= requests.get(get_url,headers=headers)
json_dict=json.loads(r.content.decode("utf-8"))
hotcomments= json_dict["hotComments"]
allcout+=len(hotcomments)
no=1
#从返回的json获取有关信息
for j in hotcomments:
nickname= j["user"]["nickname"]
content= j["content"].replace("\n"," ")
liked= str(j["likedCount"])+"赞"
list=["","",no,nickname,liked,content]
writer.writerow(list)
no+=1
cout+=1
writer.writerow('')
file.close()
结束显示
#计时结束
t2= time.clock()-t1
#计数君
print(f"共找到{total}首歌 {allcout}条热评 用时{t2:.2f}s",end="\n===========================\n")
input("按任意键退出。。。")
缺点分析
当歌曲数量多会导致用时特别长
拓展:多线程爬虫
关于Python学习指南
学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后给大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!
包括:Python激活码+安装包、Python web开发,Python爬虫,Python数据分析,人工智能、自动化办公等学习教程。带你从零基础系统性的学好Python!
👉Python所有方向的学习路线👈
Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。(全套教程文末领取)
👉Python学习视频600合集👈
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉Python70个实战练手案例&源码👈
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
👉Python大厂面试资料👈
我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
👉Python副业兼职路线&方法👈
学好 Python 不论是就业还是做副业赚钱都不错,但要学会兼职接单还是要有一个学习规划。
👉 这份完整版的Python全套学习资料已经上传,朋友们如果需要可以扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
版权声明:本文标题:运用Python——爬取网易云歌单的全部歌曲热评 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://www.elefans.com/xitong/1727070096a1096066.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论