python 歌曲爬虫(一篇文章带你用Python网络爬虫实现网易云音乐歌词抓取)
python 歌曲爬虫(一篇文章带你用Python网络爬虫实现网易云音乐歌词抓取)
2024-11-05 01:39:09  作者:每嗰喑符  网址:https://m.xinb2b.cn/sport/fdw505975.html


前几天小编给大家分享了数据可视化分析,在文尾提及了网易云音乐歌词爬取,今天小编给大家分享网易云音乐歌词爬取方法。 本文的总体思路如下: 找到正确的URL,获取源码; 利用bs4解析源码,获取歌曲名和歌曲ID; 调用网易云歌曲API,获取歌词; 将歌词写入文件,并存入本地。 本文的目的是获取网易云音乐的歌词,并将歌词存入到本地文件。整体的效果图如下所示:


本文以民谣歌神赵雷为数据采集对象,专门采集他的歌曲歌词,其他歌手的歌词采集方式可以类推,下图展示的是《成都》歌词。


一般来说,网页上显示的URL就可以写在程序中,运行程序之后就可以采集到我们想要的网页源码。But在网易云音乐网站中,这条路行不通,因为网页中的URL是个假URL,真实的URL中是没有/#号的。废话不多说,直接上代码。


本文利用requests、bs4、json和re模块来采集网易云音乐歌词,记得在程序中添加headers和反盗链referer以模拟浏览器,防止被网站拒绝访问。这里的get_html方法专门用于获取源码,通常我们也要做异常处理,未雨绸缪。获取到网页源码之后,分析源码,发现歌曲的名字和ID藏的很深,纵里寻她千百度,发现她在源码的294行,藏在下图的标签下,如下图所示:


接下来我们利用美丽的汤来获取目标信息,直接上代码,如下图:


此处要注意获取ID的时候需要对link进行切片处理,得到的数字便是歌曲的ID;另外,歌曲名是通过get_text()方法获取到的,最后利用zip函数将歌曲名和ID一一对应并进行返回。得到ID之后便可以进入到内页获取歌词了,但是URL还是不给力,如下图:


虽然我们可以明白的看到网页上的白纸黑字呈现的歌词信息,但是我们在该URL下却无法获取到歌词信息。小编通过抓包,找到了歌词的URL,发现其是POST请求还有一大堆看不懂的data,总之这个URL是不能为我们效力。那该点解呢?莫慌,小编找到了网易云音乐的API,只要把歌曲的ID放在API链接上便可以获取到歌词了,代码如下:


在API中歌词信息是以json格式加载的,所以需要利用json将其进行序列化解析出来,并配合正则表达式进行清洗歌词,如果不用正则表达式进行清洗的话,得到原始的数据如下所示(此处以赵雷的歌曲《成都》为例):


很明显歌词前面有歌词呈现的时间,对于我们来说其属于杂质信息,因此需要利用正则表达式进行匹配。诚然,正则表达式并不是唯一的方法,小伙伴们也可以采取切片的方式或者其他方法进行数据清洗,在此就不赘述了。得到歌词之后便将其写入到文件中去,并存入到本地文件中,代码如下:


现在只要我们运行程序,输入歌手的ID之后,程序将自动把该歌手的所唱歌曲的歌词抓取下来,并存到本地中。如本例中赵雷的ID是6731,输入数字6731之后,赵雷的歌词将会被抓取到,如下图所示:


之后我们就可以在脚本程序的同一目录下找到生成的歌词文本,歌词就被顺利的爬取下来了。相信大家对网易云歌词爬取已经有了一定的认识了,不过easier said than down,小编建议大家动手亲自敲一下代码,在实践中你会学的更快,学的更多的。这篇文章教会大家如何采集网易云歌词,那网易云歌曲如何采集呢?且听小编下回分解~~~

想学习更多Python网络爬虫与数据挖掘知识,可前往专业网站:http://pdcfighting.com/

  • 对哥哥的暖心简单话语(写给哥哥的温馨语录)
  • 2024-11-05写给哥哥的温馨语录哥,我的好哥哥,都是你一直照顾着我,现在就让妹妹来照顾你一次吧哥,妹妹永远站在你这边距离远了,心不远;电话少了,爱不少;心事多了,诉不尽;分离久了,想念多,兄妹情深,源自内心亲爱的哥哥,记得照顾好自己。
  • 热水器插头老是跳闸怎么办(热水器插头跳闸是什么原因)
  • 2024-11-05热水器插头跳闸是什么原因热水器是家庭生活中使用频率比较高的电器,尤其是寒冷的冬天,热水器将水加热后,从而为我们提供温暖舒适的水温,但是在热水器后期使用过程中,经常会出现各种各样的问题,例如热水器插座跳闸等,下面小编为大家介绍。
  • 唯美到心碎的30句古风句子(唯美伤感的古风句子)
  • 2024-11-05唯美伤感的古风句子1.总是躲在梦与季节的深处,听花与黑夜唱尽梦魇,唱尽繁华,唱断所有记忆的来路2.山有木兮木有枝,心悦君兮君不知--刘向《越人歌》3.多少红颜悴,多少相思碎,唯留血染墨香哭乱冢4.人世间有百媚千红,唯独。
  • 抄书打卡第五十六天(内容心安即是归处)
  • 2024-11-05内容心安即是归处《心安即是归处》摘抄1.“人之所以异于禽兽几希”意思是人和禽兽的差异就那么一点儿(即仁义),普通人抛弃它,君子保存它说明:人没有了仁义之心,就跟禽兽一样了出自:《孟子离娄下》这告诉了我们做人要修德养心。
  • 字母哥惊天隔扣世界杯(观球世界杯字母哥)
  • 2024-11-05观球世界杯字母哥“字母哥”上演暴扣9月1日晚,2019男篮世界杯第二比赛日展开多场角逐,夺冠热门美国88比67击败捷克,拥有“字母哥”的希腊则以85比60战胜黑山在总共8场比赛中,亚非球队表现乏力,来自亚洲的日本67。
  • 油菜简单又好吃(大鱼大肉不如吃油菜)
  • 2024-11-05大鱼大肉不如吃油菜秋天,大鱼大肉不如吃油菜,清脆可口,好吃不胖,吃出好身材秋季是一年四季中比较干燥的季节,也是人体最容易长脂肪的季节因为立秋之后,天气慢慢地变得凉爽起来,夜间休息也舒服了很多,人的食欲大开,大鱼大肉也能。
  • python分析json(用python处理json中所有的)
  • 2024-11-05用python处理json中所有的1、需求请想办法出下列json中所有的英雄名称和英雄title.并将英雄名称和英雄title写入names.txt文件中.2、完整代码importjsons='{"hero":。
  • 工伤停工留薪期起算时间如何确定(工伤停工留薪期如何确定)
  • 2024-11-05工伤停工留薪期如何确定文|袁良军,江苏张林芳律师事务所停工留薪期,是指职工遭受事故伤害或者患职业病需暂停工作,接受工伤医疗,并保持原工资福利待遇不变的期间在停工留薪期间,用人单位应当视受伤职工为正常出勤而支付相关的待遇,因。
  • 农村可以挖的盆景植物(野外不起眼的3种树)
  • 2024-11-05野外不起眼的3种树要说花友圈里最贵植物,我想非盆景莫属随着我国经济的发展,人们的生活也越来越富裕,盆景的价格也自然水涨船高可以如果仔细想想,其实很多盆景用的树木都很常见,都分布在我们周围的树林里、河流边今天就为大家介绍。
  • 许光汉与柯震东(你的婚礼许光汉身价翻涨50倍)
  • 2024-11-05你的婚礼许光汉身价翻涨50倍一部《你的婚礼》让许光汉再度走红他是第一个进军内地电影市场就取得上亿票房的台湾演员在第52届金钟奖的颁奖典礼上,许光汉说:我今年27岁,我的演员之路才刚开始这个形象清新,外表甚至有些高冷的男生他绝对不。