获取特定歌曲热评:

首先,我们打开网易云网页版,击排行榜,然后点击左侧云音乐热歌榜,如图:

关于如何抓取指定的歌曲的热评,参考这篇文章,很详细,对小白很友好:

手把手教你用Python爬取网易云40万+评论

下图是用上文的方法找到热评后,确认下这条确实包含着热评,hotComments就是我们要找的热门评论:


到此为止,我们如何抓取网易云音乐的热门评论已经分析完了,我们再分析一下如何获取云音乐热歌榜中所有歌曲的信息。


获取热榜全部歌曲

同样F12大法。这次选all,因为是找歌单,仔细观察,很容易定位到这个嫌犯:toplist?id=3778678

点进去看下,预览一下该请求返回的结果,哈哈,就你啦!

heads:

request headers
现在看response:

太乱了,格式化一下,然后往下翻:


这样就好找了,框框里面就是包含歌曲信息的代码。

因此,我们只需要将该请求的代码中,将包含信息的代码筛选出来。

我们在这里使用正则表达式进行数据筛选。

通过观察特点,我们可以通过两次正则表达式的筛选,将我们需要的歌曲信息提取出来。

第一次正则表达式如下:

<ul class="f-hide"><li><a href="/song\?id=\d*?">.*</a></li></ul>

第二次正则表达式将需要的歌曲信息提取出来,我们需要歌曲的歌名和id,对应的正则表达式如下:

获取歌名:

<li><a href="/song\?id=\d*?">(.*?)</a></li>

获取歌曲的id:

<li><a href="/song\?id=(\d*?)">.*?</a></li>

完整代码:

 1 #!/usr/bin/env python3
2 # -*- coding: utf-8 -*-
3
4 import re
5 import urllib.request
6 import urllib.error
7 import urllib.parse
8 import json
9
10
11 def get_all_hotSong(): # 获取热歌榜所有歌曲名称和id
12 url = 'http://music.163.com/discover/toplist?id=3778678' # 网易云云音乐热歌榜url
13 header = { # 请求头部
14 'User-Agent': 'Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
15 }
16 request = urllib.request.Request(url=url, headers=header)
17 html = urllib.request.urlopen(request).read().decode('utf8') # 打开url
18 html = str(html) # 转换成str
19 pat1 = r'<ul class="f-hide"><li><a href="/song\?id=\d*?">.*</a></li></ul>' # 进行第一次筛选的正则表达式
20 result = re.compile(pat1).findall(html) # 用正则表达式进行筛选
21 result = result[0] # 获取tuple的第一个元素
22
23 pat2 = r'<li><a href="/song\?id=\d*?">(.*?)</a></li>' # 进行歌名筛选的正则表达式
24 pat3 = r'<li><a href="/song\?id=(\d*?)">.*?</a></li>' # 进行歌ID筛选的正则表达式
25 hot_song_name = re.compile(pat2).findall(result) # 获取所有热门歌曲名称
26 hot_song_id = re.compile(pat3).findall(result) # 获取所有热门歌曲对应的Id
27
28 return hot_song_name, hot_song_id
29
30
31 def get_hotComments(hot_song_name, hot_song_id):
32 url = 'http://music.163.com/weapi/v1/resource/comments/R_SO_4_' + hot_song_id + '?csrf_token=' # 歌评url
33 header = { # 请求头部
34 'User-Agent': 'Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
35 }
36 # post请求表单数据
37 data = {
38 'params': 'zC7fzWBKxxsm6TZ3PiRjd056g9iGHtbtc8vjTpBXshKIboaPnUyAXKze+KNi9QiEz/IieyRnZfNztp7yvTFyBXOlVQP/JdYNZw2+GRQDg7grOR2ZjroqoOU2z0TNhy+qDHKSV8ZXOnxUF93w3DA51ADDQHB0IngL+v6N8KthdVZeZBe0d3EsUFS8ZJltNRUJ',
39 'encSecKey': '4801507e42c326dfc6b50539395a4fe417594f7cf122cf3d061d1447372ba3aa804541a8ae3b3811c081eb0f2b71827850af59af411a10a1795f7a16a5189d163bc9f67b3d1907f5e6fac652f7ef66e5a1f12d6949be851fcf4f39a0c2379580a040dc53b306d5c807bf313cc0e8f39bf7d35de691c497cda1d436b808549acc'}
40 postdata = urllib.parse.urlencode(data).encode('utf8') # 进行编码
41 request = urllib.request.Request(url, headers=header, data=postdata)
42 reponse = urllib.request.urlopen(request).read().decode('utf8')
43 json_dict = json.loads(reponse) # 获取json
44 hot_commit = json_dict['hotComments'] # 获取json中的热门评论
45
46 num = 0
47 fhandle = open('./song_comments', 'a', encoding='utf-8') # 写入文件
48 fhandle.write(hot_song_name + ':' + '\n')
49
50 for item in hot_commit:
51 num += 1
52 fhandle.write(str(num) + '.' + item['content'] + '\n')
53 fhandle.write('\n==============================================\n\n')
54 fhandle.close()
55
56
57 hot_song_name, hot_song_id = get_all_hotSong() # 获取热歌榜所有歌曲名称和id
58
59 num = 0
60 while num < len(hot_song_name): # 保存所有热歌榜中的热评
61 print('正在抓取第%d首歌曲热评...' % (num + 1))
62 get_hotComments(hot_song_name[num], hot_song_id[num])
63 print('第%d首歌曲热评抓取成功' % (num + 1))
64 num += 1

运行:

爬下来的:

对比:

Python爬取网易云热歌榜所有音乐及其热评的更多相关文章

  1. 用Python爬取网易云音乐热评

    用Python爬取网易云音乐热评 本文旨在记录Python爬虫实例:网易云热评下载 由于是从零开始,本文内容借鉴于各种网络资源,如有侵权请告知作者. 要看懂本文,需要具备一点点网络相关知识.不过没有关 ...

  2. 爬虫实战(二) 用Python爬取网易云歌单

    最近,博主喜欢上了听歌,但是又苦于找不到好音乐,于是就打算到网易云的歌单中逛逛 本着 "用技术改变生活" 的想法,于是便想着写一个爬虫爬取网易云的歌单,并按播放量自动进行排序 这篇 ...

  3. Python爬取网易云音乐歌手歌曲和歌单

    仅供学习参考 Python爬取网易云音乐网易云音乐歌手歌曲和歌单,并下载到本地 很多人学习python,不知道从何学起.很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手.很多已经做 ...

  4. Python爬取网易云歌单

    目录 1. 关键点 2. 效果图 3. 源代码 1. 关键点 使用单线程爬取,未登录,爬取网易云歌单主要有三个关键点: url为https://music.163.com/discover/playl ...

  5. Python 爬取网易云歌手的50首热门作品

    使用 requests 爬取网易云音乐 Python 代码: import json import os import time from bs4 import BeautifulSoup impor ...

  6. python爬取网易云音乐歌单音乐

    在网易云音乐中第一页歌单的url:http://music.163.com/#/discover/playlist/ 依次第二页:http://music.163.com/#/discover/pla ...

  7. python爬取网易云周杰伦所有专辑,歌曲,评论,并完成可视化分析

    ---恢复内容开始--- 去年在网络上有一篇文章特别有名:我分析42万字的歌词,为搞清楚民谣歌手们在唱些什么.这篇文章的作者是我大学的室友,随后网络上出现了各种以为爬取了XXX,发现了XXX为名的文章 ...

  8. python爬取网易云音乐歌曲评论信息

    网易云音乐是广大网友喜闻乐见的音乐平台,区别于别的音乐平台的最大特点,除了“它比我还懂我的音乐喜好”.“小清新的界面设计”就是它独有的评论区了——————各种故事汇,各种金句频出.我们可以透过歌曲的评 ...

  9. 如何用Python网络爬虫爬取网易云音乐歌曲

    今天小编带大家一起来利用Python爬取网易云音乐,分分钟将网站上的音乐down到本地. 跟着小编运行过代码的筒子们将网易云歌词抓取下来已经不再话下了,在抓取歌词的时候在函数中传入了歌手ID和歌曲名两 ...

随机推荐

  1. angularJs基础

    AngularJs是为了克服Html在构建应用上的不足而设计的.Html是一门很好的为静态文件展示设计的声明式语言,但是要构建web应用的话就显得乏力了.所以我做了一些工作来让浏览器做我瞎向要的事. ...

  2. web前端开发学习:jQuery的原型中的init

    web前端开发学习:jQuery的原型中的init 有大量web前端开发工具及学习资料,可以搜群[ web前端学习部落22群 ]进行下载,遇到学习问题也可以问群内专家以及课程老师哟 jQuery.fn ...

  3. MySQL数据库学习笔记(十二)----开源工具DbUtils的使用(数据库的增删改查)

    [声明] 欢迎转载,但请保留文章原始出处→_→ 生命壹号:http://www.cnblogs.com/smyhvae/ 文章来源:http://www.cnblogs.com/smyhvae/p/4 ...

  4. .NET/C# 使用Stopwatch测量运行时间

    Stopwatch类:http://msdn.microsoft.com/zh-cn/library/system.diagnostics.stopwatch(v=vs.100).aspx 常用属性和 ...

  5. OC拓展(category)

    1. 扩展类的功能Category提供了一种比继承(inheritance)更为简洁的方法来对class进行扩展,我们可以为任何已经存在的class添加方法(不包括数据成员)却不需要访问该class的 ...

  6. struts checkbox选中

    <input type="checkbox" id="something" name="something" /> ↓ < ...

  7. Linux下利用ioctl函数获取网卡信息

    linux下的ioctl函数原型如下: #include <sys/ioctl.h> int ioctl(int handle, int cmd, [int *argc, int argv ...

  8. java 操作POI参考文章

    http://blog.csdn.net/softwave/article/details/38071825 http://www.cnblogs.com/ivan0626/archive/2013/ ...

  9. .NET依托CLR进行的内存的管理

    看了http://www.cnblogs.com/liulun/p/3145351.html  不错,补习下相关技术.. 正文: .NET依托CLR进行的内存的管理 有了CLR 基本不需要担心.net ...

  10. activemq的安装与使用

    一.activemq的安装 环境:CentOS 6.JDK8 1. 确保系统已安装了可用的jdk版本2. 从网上下载 Linux 版的 ActiveMQ( apache-activemq-5.11.1 ...