网易云音乐是广大网友喜闻乐见的音乐平台,区别于别的音乐平台的最大特点,除了“它比我还懂我的音乐喜好”、“小清新的界面设计”就是它独有的评论区了——————各种故事汇,各种金句频出。我们可以透过歌曲的评论数来判断一个歌者的市场分量和歌曲的流行度。
言归正传,如果我们想要简单爬取指定歌曲的评论内容来做词云或者其他相关数据分析,有没有容易上手的好方法呢?

  首先,我们打开网易云音乐的网页版:https://music.163.com/,随便选择一首歌曲,如林志炫版本的《烟花易冷》:https://music.163.com/#/song?id=25723157。透过网址很容易发现每首歌都有一个对应的id。所以原则上我们只要搜素对应歌曲进到播放页,就能得到每首歌的网址还有其id号。换言之,只要我们能爬一首歌的评论内容,原则上就可以轻易做成循环,爬取多首歌的所有评论了。

  进入网页的“最新评论区”,我们每点击底下的“下一页”,网站的url并没有任何变化,说明整个评论区的内容都是通过Ajax异步请求技术得到的。打开浏览器F12,进入开发者工具,选择Network,在凌乱的数据包中,我们选择XHR(XmlHttpRequest)就可以筛选出Ajax的请求包:

  根据上图的Initiator字段,我们很容易知道这个url请求的触发js文件-core.js和对应地址:https://s3.music.126.net/web/s/core.js?fdf161fd0a1799f7c23ec9c48ada5d1f.我们姑且将它在浏览器下打开,右键save as保存到本地。

根据name字段,很容易发现"R_SO_4_"后面紧跟的25723157正是歌曲的id。我们双击第一个name进入,界面右边清晰显示,此处请求的url为:

https://music.163.com/weapi/v1/resource/comments/R_SO_4_25723157?csrf_token=
界面如下:

 
通过General下Request Method:字段,清晰看到这是一个post请求。我们可以根据页面信息清晰构造请求url以及请求头headers,至于data字段:params:以及encSecKey:杂乱,看不出什么规律:
  1. params:
    hF0h1ltDyC7QxVba4h3X9QDPlcV1PlskubPgFA5I7raqfLal7mCSoDkfsx5E9ljZxENaLhbVJEAPSuOT4j6jV+uJ70/rt5EoehnZTVy4PrcFlbuIOXg6n8HLKRRVpaZVDrDLkLanUn9kr9U2+93M9MZzIpObtFWlY4eqJ1/2BQ+VEnyJ8wnAMYBvYv1ctvKV
  2. encSecKey:
    86ea0c77d5ab69f26f3f24638bc80758ebba86c0a28b8024db2065b21d4e885816ee463aa3020378007d90a83f83e81bea5f09dfc3433e0df46d82488124127af220dfef0d5c71d0029de68e7b8c836e9f4dc3162a662bcfd2af1fac98bf12dbe6e4a6be7e1b48b4fcee1ee7970cbd0149c33d3a78cc11956345b6b50a8f5ad8

我们不停点击网页评论区下一页,进行抓包,发现每一页对应的form data中params以及encSecKey字段内容都是不一样的,所以如果不能找到规律,我们就只能爬取第一页的热门评论和最新评论,做不到翻页爬取所有评论。

还好知乎上热心的大神“平胸小仙女”已经完成了探索并还原了整个加密过程,附上参考信息:https://www.zhihu.com/question/36081767,感兴趣的可以参考其讲解。

这里需要分析前文拿到的core.js文件,由于该js文件非常庞大,我们可以根据关键词encSecKey检索,定位到关键代码段,也就有了下面提到的几个重要加密函数:

仔细分析这段函数,并在浏览器F12控制台下运算,发现a(16)每次都是随机生成一段长度为16的随机字符串。

> function a(a){var d,e,b="abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789",c="";for(d=0;a>d;d+=1)e=Math.random()*b.length,e=Math.floor(e),c+=b.charAt(e);return c}
< undefined
> a(16)
< "WugFoWvqBro7YomO"
> a(16)
< "TNIMHadoojG3O1yJ"
function b(a,b){
var c=CryptoJS.enc.Utf8.parse(b),
d=CryptoJS.enc.Utf8.parse("0102030405060708"),
e=CryptoJS.enc.Utf8.parse(a),
f=CryptoJS.AES.encrypt(e,c,{iv:d,mode:CryptoJS.mode.CBC});
return f.toString()
}
function e(a,b,d,e){
var f={};
return f.encText=c(a+e,b,d),f
}
function c(a,b,c){var d,e;return setMaxDigits(131),d=new RSAKeyPair(b,"",c),e=encryptedString(d,a)}

观察function b 函数,可以看到密钥偏移量iv是0102030405060708,模式是CBC,加密方法是AES。

观察function a函数,由于其随机性,我们可以假定i=a(16)=F*16,化繁为简,不会影响加密过程。

function d(d,e,f,g){
var h={},
i=a(16);
return h.encText=b(d,g),
h.encText=b(h.encText,i),
h.encSecKey=c(i,e,f),h
}

至此算是拿到了加密算法,下面就可以愉快的爬取了,代码参考了知乎网友:平胸小仙女以及廖长安的评论:

# 参考地址:https://www.zhihu.com/question/36081767
# 完美兼容win10、python3.6,由于python3.6下pycrypto库已经停止维护,可以安装pyCryptodome库代替,pyCyrpto库的后续分支,有一个叫pyCryptodome的库,是前代的延伸版。
import sys
import codecs
import requests,json,os
import base64
import Crypto
from Crypto.Cipher import AES class Spider(): def __init__(self,idNum):
#user-Agent字段直接从浏览器中复制过来即可,请求头中其他字段非必须项,也可以从浏览器中找到所有字段都放到Request Headers
self.header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0',
'Referer': 'http://music.163.com/'}
self.url = 'https://music.163.com/weapi/v1/resource/comments/R_SO_4_'+idNum+'?csrf_token=' #每一次的base_url只有歌曲id不同,构造url即可。 def __get_jsons(self,url,page):
# 获取两个参数
music = WangYiYun()
text = music.create_random_16()
params = music.get_params(text,page) encSecKey = music.get_encSEcKey(text)
fromdata = {'params' : params,'encSecKey' : encSecKey}
jsons = requests.post(url, data=fromdata, headers=self.header)
#print(jsons.raise_for_status())
# 打印返回来的内容,是个json格式的
#print(jsons.content)
return jsons.text def json2list(self,jsons):
'''把json转成字典,并把他重要的信息获取出来存入列表'''
# 可以用json.loads()把它转成字典
#print(json.loads(jsons.text))
users = json.loads(jsons)
comments = []
for user in users['comments']:
# print(user['user']['nickname']+' : '+user['content']+' 点赞数:'+str(user['likedCount']))
name = user['user']['nickname']
content = user['content']
# 点赞数
likedCount = user['likedCount']
#提取所需json中所需的字段构造字典
user_dict = {'name': name, 'content': content, 'likedCount': likedCount}
#将提取的字典信息追加到列表中
comments.append(user_dict)
return comments def run(self,idNum):
self.page = 1
while True:
jsons = self.__get_jsons(self.url,self.page)
comments = self.json2list(jsons)
non_bmp_map = dict.fromkeys(range(0x10000, sys.maxunicode + 1), 0xfffd) ## print(str(comments[0]).translate(non_bmp_map))
print('self.page = '+str(self.page)) #控制台打印正在爬取的页码数
print(idNum) #打印正在爬取的歌曲id
#在该脚本同级目录下生成“comments”文件夹
dirName = u'{}'.format('comments')
if not os.path.exists(dirName):
os.makedirs(dirName)
with open(".\comments\\"+idNum+".txt","a",encoding='utf-8') as f: #结果写入txt文件
## print(len(comments))
for ii in range(len(comments)):
f.write(str(comments[ii]).translate(non_bmp_map))
f.write('\n')
## print(ii)
f.close()
# 当这一页的评论数少于20条时,证明已经获取完
## self.write2sql(comments)
if len(comments) < 100 : #当limits设置为100时,默认每次服务器请求结果100条comments,当小于此数,意味爬到最后一页。
print('评论已经获取完')
break
self.page +=1 # 找出post的两个参数params和encSecKey
class WangYiYun(): def __init__(self):
# 在网易云获取的三个参数 self.second_param = ''
self.third_param = '00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7'
self.fourth_param = '0CoJUm6Qyw8W8jud' def create_random_16(self):
'''获取随机十六个字母拼接成的字符串'''
return (''.join(map(lambda xx: (hex(ord(xx))[2:]), str(os.urandom(16)))))[0:16] def aesEncrypt(self, text, key): # 偏移量
iv = ''
# 文本 pad = 16 - len(text) % 16
text = text + pad * chr(pad) #补齐文本长度 encryptor = AES.new(bytearray(key,'utf-8'), AES.MODE_CBC, bytearray(iv,'utf-8')) # encryptor = AES.new(key, 2, iv) ciphertext = encryptor.encrypt(bytearray(text,'utf-8'))
## print(bytearray(key,'utf-8'))
ciphertext = base64.b64encode(ciphertext)
return ciphertext def get_params(self,text,page):
'''获取网易云第一个参数'''
# 第一个参数
if page == 1:
self.first_param = '{rid: "", offset: "0", total: "true", limit: "100", csrf_token: ""}'
#rid: "R_SO_4_557581284",经测试该值可以置空,不影响结果的执行。
else:
self.first_param = '{rid: "", offset:%s, total: "false", limit: "100", csrf_token: ""}'%str((page-1)*20) #limit参数可以灵活设置,默认为20,设置为100,爬取效率可以提高 params = self.aesEncrypt(self.first_param, self.fourth_param).decode('utf-8')
params = self.aesEncrypt(params, text) return params def rsaEncrypt(self, pubKey, text, modulus):
'''进行rsa加密'''
text = text[::-1]
rs = int(codecs.encode(text.encode('utf-8'), 'hex_codec'), 16) ** int(pubKey, 16) % int(modulus, 16)
return format(rs, 'x').zfill(256) def get_encSEcKey(self,text):
'''获取第二个参数'''
pubKey = self.second_param
moudulus = self.third_param
encSecKey = self.rsaEncrypt(pubKey, text, moudulus)
return encSecKey def main():
idPs = ['',''] #花粥《纸短情长》以及Zedd / Jon Bellion的《beautiful now》,可根据需要在网易云音乐查找歌曲ID后替换,列表元素越多,爬取的循环次数越多
for jj in range(len(idPs)):
idNum = idPs[jj]
spider = Spider(idNum) #根据Spider类实例化spider对象
spider.run(idNum) #调用spider对象的run方法 if __name__ == '__main__': main()

需要说明的是,爬虫如果频率过快,数量过多,服务器会封IP。因此更完备的爬虫项目,是需要设置代理和IP池的。

PS:

1、知乎同样有热心的网友肖飞发现并提供了网易云音乐官方的评论api接口,且属于非加密的get请求,参数同样是offset、limit等,问题难度一下子成倍地下降,API接口形式:http://music.163.com/api/v1/resource/comments/R_SO_4_516997458,自行更换url后的id即可,感兴趣的朋友可以自行尝试!

2、另外,不想执着于破解post表单参数的朋友,可以试着用python+selenium+PhantomJs的方式模拟用户操作,点击翻页后,再直接解析页面元素,这样可以做到“可见即可爬”,不过效率会略低一些。

python爬取网易云音乐歌曲评论信息的更多相关文章

  1. 如何用Python网络爬虫爬取网易云音乐歌曲

    今天小编带大家一起来利用Python爬取网易云音乐,分分钟将网站上的音乐down到本地. 跟着小编运行过代码的筒子们将网易云歌词抓取下来已经不再话下了,在抓取歌词的时候在函数中传入了歌手ID和歌曲名两 ...

  2. Python爬取网易云音乐歌手歌曲和歌单

    仅供学习参考 Python爬取网易云音乐网易云音乐歌手歌曲和歌单,并下载到本地 很多人学习python,不知道从何学起.很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手.很多已经做 ...

  3. 用Python爬取网易云音乐热评

    用Python爬取网易云音乐热评 本文旨在记录Python爬虫实例:网易云热评下载 由于是从零开始,本文内容借鉴于各种网络资源,如有侵权请告知作者. 要看懂本文,需要具备一点点网络相关知识.不过没有关 ...

  4. python爬取网易云音乐歌单音乐

    在网易云音乐中第一页歌单的url:http://music.163.com/#/discover/playlist/ 依次第二页:http://music.163.com/#/discover/pla ...

  5. python爬虫+词云图,爬取网易云音乐评论

    又到了清明时节,用python爬取了网易云音乐<清明雨上>的评论,统计词频和绘制词云图,记录过程中遇到一些问题 爬取网易云音乐的评论 一开始是按照常规思路,分析网页ajax的传参情况.看到 ...

  6. Python爬取网易云热歌榜所有音乐及其热评

    获取特定歌曲热评: 首先,我们打开网易云网页版,击排行榜,然后点击左侧云音乐热歌榜,如图: 关于如何抓取指定的歌曲的热评,参考这篇文章,很详细,对小白很友好: 手把手教你用Python爬取网易云40万 ...

  7. 爬取网易云音乐评论!python 爬虫入门实战(六)selenium 入门!

    说到爬虫,第一时间可能就会想到网易云音乐的评论.网易云音乐评论里藏了许多宝藏,那么让我们一起学习如何用 python 挖宝藏吧! 既然是宝藏,肯定是用要用钥匙加密的.打开 Chrome 分析 Head ...

  8. python爬虫:了解JS加密爬取网易云音乐

    python爬虫:了解JS加密爬取网易云音乐 前言 大家好,我是"持之以恒_liu",之所以起这个名字,就是希望我自己无论做什么事,只要一开始选择了,那么就要坚持到底,不管结果如何 ...

  9. python网络爬虫&amp;&amp;爬取网易云音乐

    #爬取网易云音乐 url="https://music.163.com/discover/toplist" #歌单连接地址 url2 = 'http://music.163.com ...

随机推荐

  1. poj 3692 Kindergarten (最大独立集)

    Kindergarten Time Limit: 2000MS   Memory Limit: 65536K Total Submissions: 4903   Accepted: 2387 Desc ...

  2. 在不借助其他工具的情况下破解Windows开机密码

    文章:http://www.cnblogs.com/vforbox/p/4828855.html#!comments. 从该文章我们也可以得到一个快速启动某个程序的方法:将自己常用的程序命名为seth ...

  3. 《赢在用户:Web人物角色创建和应用实践指南》阅读总结

           本书针对创建人物角色的每一个步骤,包括进行定性.定量的用户研究,生成人物角色分类,使人物角色真实可信等进行了十分详细的介绍.而且,在人物角色如何指导总体商业策略.确定信息架构.内容和设计 ...

  4. 基于Bootstrap实现下图所示效果的页面,一个白底的带有两个菜单项、一个下拉菜单和一个登录表单的基本导航条

    <!DOCTYPE html> <html lang="zh-cn"> <head> <meta charset="utf-8& ...

  5. Vs2012于Linux应用程序开发(2):图案

    1.1     代码提示功能 在vs中开发中,Visual Assist是一个很优秀的插件,我们仍然能够使用它进行代码的分析,但它仅仅能支持vcxprojproject,因而我们选择对vcxproj的 ...

  6. 开始Flask项目

    新建Flask项目. 设置调试模式. 理解Flask项目主程序. 使用装饰器,设置路径与函数之间的关系. 使用Flask中render_template,用不同的路径,返回首页.登录员.注册页. 用视 ...

  7. Ocelot 使用

    官方文档:http://ocelot.readthedocs.io/en/latest/introduction/gettingstarted.html 新建两个Asp.net core API项目 ...

  8. Vue.js——60分钟快速入门 开发&#183; webpack 中文文档

    转载于:http://www.cnblogs.com/keepfool/p/5619070.html http://www.css88.com/doc/webpack2/guides/get-star ...

  9. OpenCV学习笔记:opencv_highgui模块

    一,简介 本模块为跨平台的gui/IO组件,支持平台包括windows,linux,mac,IOS,android,可支持图像/视频/摄像头的读取显示以及转码. 二,分析 本模块为跨平台的gui/IO ...

  10. oracle显示转换字段类型cast()函数

    今天遇到一个查询类型转换的问题:表的字段是varchar2类型,然后查询到的结果要转换为number(20,2),刚开始的时候使用to_number()函数,发现不能满足需求.后来才知道,原来还有ca ...