高颜值恋爱动漫泡面番(热血动漫番太好看了)
高颜值恋爱动漫泡面番(热血动漫番太好看了)
2024-11-08 10:23:07  作者:炫耀慯  网址:https://m.xinb2b.cn/life/jfs110774.html

大家好,我是辣条。


最近被室友安利热血动漫番《终末的女武神》和《拳愿阿修罗》,太上头了周末休息熬夜看完了。不过资源不太好找,辣条一怒爬取了资源,这下可以看个够了。室友崇拜连连,想起了我的班花,快点开学啊,阿西吧...

Python爬虫-vip动漫采集效果展示


爬取目标

网站目标:樱花动漫


工具使用

开发工具:pycharm

开发环境:Python3.7, Windows10

使用工具包:requests,lxml, re,tqdm

重点学习内容

正则的使用 tqdm的使用 各种音频数据的处理

项目思路解析

搜索你需要的动漫数据,根据自己需要的视频不同解析视频的方法也是不一样的(会挑选两种视频进行解析)


在当前页面需要提取出对应的章节信息,获取到章节信息的a标签的跳转内容,提取出每个章节的名字,提取章节的方法我使用的xpath的方法(各位大佬可自行尝试其他的方法)


headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36', 'Referer': 'imomoe.la/search.asp'}​url = 'imomoe.la/view/8024.html'response = requests.get(url, headers=headers)# print(response.content.decode('gbk'))html_data = etree.HTML(response.content.decode('gbk'))chapter_list = html_data.xpath('//div[@class="movurl"]/ul/li/a/text()')chapter_url_list = html_data.xpath('//div[@class="movurl"]/ul/li/a/@href')[0]


url的数据需要自行拼接,根据新的url获取详情页面的数据


按照正常思路首先应该查看播放地址是否为静态数据


明显看出数据并不是静态数据,在区分是否为动态数据,通过抓包工具进行获取。


也并不是动态数据,媒体数据也不知道怎么形成的。


从头再来从前端页面在进行解析,找视频页面的事件。


并没有发现有效数据,但是在iframe下面的Script标签有js跳转地址 ,解析的数据网址和视频的播放地址是一样的域名, 点击查看, 这不是就是我们找的视频播放地址嘛 ,终于找到了,开始实现 在当前页面通过xpath方式提取出script里的js跳转地址, 拼接出新的视频链接播放地址,发送请求,通过正则表达式提取出所有MP4播放地址。


new_url = 'imomoe.la' chapter_url_listresponse = requests.get(new_url, headers=headers)html = etree.HTML(response.content.decode('gbk'))​data_url = 'imomoe.la' html.xpath('//div[@class="player"]/script[1]/@src')[0]res = requests.get(data_url, headers=headers).text# print(res)play_url_list = re.findall('\$(.*?)\$flv', res)print(play_url_list)

保存对视频数据发送请求,保存数据到mp4 ,通过tqdm工具能查看对应下载的速度以及下载的进度

for chapter, play_url in tqdm(zip(chapter_list, play_url_list)): result = requests.get(play_url, headers=headers).content f = open('终末的女武神/' chapter '.mp4', "wb") f.write(result)

​到这大功告成 但是当我把网址修改成斗破苍穹这个动漫时,却返回的数据为空



这个视频的加载数据的规则是不一样的加载的数据为m3u8的格式, 其他的音频的数据加载可能也不一样, 处理m3u8的数据稍稍的有丢丢复杂,它的m3u8的文件内部有嵌套了m3u8链接地址, 需要转换对应的数据接口,进行链接地址拼接, 取出ts文件进行下载,拼接成视频。

m3u8_url_list = re.findall('\$(.*?)\$bdhd', res)for m3u8_url, chapter in zip(m3u8_url_list, chapter_list): data = requests.get(m3u8_url, headers=headers) # print(data.text) new_m3u8_url = 'cdn.605-zy/' re.findall('/(.*?m3u8)', data.text)[0] # print(new_m3u8_url) ts_data = requests.get(new_m3u8_url, headers=headers) ts_url_list = re.findall('/(.*?ts)', ts_data.text) print("正在下载:", chapter) for ts_url in tqdm(ts_url_list): result = requests.get('cdn.605-zy/' ts_url).content f = open('斗破苍穹/' chapter '.mp4', "ab") f.write(result)

项目思路总结获取到想要动漫的地址提取详情页面的名字已经跳转地址获取页面的静态js文件解析视频播放地址或者m3u8文件保存对应数据简易源码分享

import requestsfrom lxml import etreeimport refrom tqdm import tqdm​​headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36', 'Referer': 'imomoe.la/search.asp'}​url = 'imomoe.la/view/8024.html'response = requests.get(url, headers=headers)# print(response.content.decode('gbk'))html_data = etree.HTML(response.content.decode('gbk'))chapter_list = html_data.xpath('//div[@class="movurl"]/ul/li/a/text()')chapter_url_list = html_data.xpath('//div[@class="movurl"]/ul/li/a/@href')[0]# print(chapter_list)# print(chapter_url_list)new_url = 'imomoe.la' chapter_url_listresponse = requests.get(new_url, headers=headers)html = etree.HTML(response.content.decode('gbk'))​data_url = 'imomoe.la' html.xpath('//div[@class="player"]/script[1]/@src')[0]res = requests.get(data_url, headers=headers).text# print(res)play_url_list = re.findall('\$(.*?)\$flv', res)print(play_url_list)​for chapter, play_url in tqdm(zip(chapter_list, play_url_list)): result = requests.get(play_url, headers=headers).content f = open('终末的女武神/' chapter '.mp4', "wb") f.write(result)



发现不会的或者学习python的,可以直接评论留言或者私我【非常感谢你的点赞、收藏、关注、评论,一键四连支持】


最后,小编想说:我是一名python开发工程师,整理了一套最新的python系统学习教程,想要这些资料的可以关注私信小编“01”即可(免费分享哦)希望能对你有所帮助.

  • 阿胶粉怎么吃效果最好(阿胶粉吃法?)
  • 2024-11-08阿胶粉吃法?服用阿胶粉的主要方法是用温水将阿胶粉冲散,然后口服也可以用热汤封闭,口服但是有时会引起恶心和呕吐,因为阿胶粉有一定的腥味,必要时可加入一些红糖或蜂蜜调节口感,便于口服阿胶粉能补充气血,改善睡眠、贫血,。
  • 十二生肖为什么会有几种命(十二属相各有各的命)
  • 2024-11-08十二属相各有各的命每种生肖都有自己感情的死角,虽然自己可能意识不到,但是却往往成为爱情中两个人相处的阻碍快看看你的生肖是哪一种?1属鼠:敏感多疑,不信任对方属鼠的人在爱情中比较敏感多疑,伴侣有一点超出自己的掌控就会开始。
  • 利润率是市场价值吗(资本论商业利润的产生)
  • 2024-11-08资本论商业利润的产生《资本论》商业利润的产生商人只能从他所出售的商品的价格中获取他的利润,他出售商品时赚取的这个利润,必然等于出售价格和他从生产者手里对该产品的购买价格的差额商业利润的表象商品经营资本——如果撇开各种各样。
  • 斗斗抖音自己的作品怎么看不到了(抖音是不是又给我限流了)
  • 2024-11-08抖音是不是又给我限流了律斗云创始人孙霞说,已经记不清到底有多少律师问过我这个问题了——抖音是不是又给我限流了而孙霞的回答是,抖音可没那么多闲工夫单独针对你孙霞说,账号被限流一般会有这几点特征:(1)收到限流提示收到了限流提。
  • 92岁老院士的演讲(86岁秦伯益院士的老年生活感悟)
  • 2024-11-0886岁秦伯益院士的老年生活感悟全国老龄办召开的人口老龄化国情教育新闻发布会数据显示,截至2017年底,我国60岁及以上老年人口有2.41亿人,占总人口17.3%与此同时,越来越多的老年人在生活中出现了各种问题作为普通的老年人,如何。
  • 相声新势力春晚作品(相声新势力演员登上春晚)
  • 2024-11-08相声新势力演员登上春晚卢鑫玉浩是近些年比较有影响力的相声搭档,相声风格多变,内容较新卢鑫多才多艺,玉浩反应迅速,长相带讨喜,舞台形象很受欢迎卢鑫玉浩在笑傲江湖节目中脱颖而出,迅速走红,不仅受到观众的认可,而且受到郭德纲的青。
  • 费兰特和他的女孩(承包了我最爱的女人们)
  • 2024-11-08承包了我最爱的女人们突发兴致补了一遍去年的电影节片单,想为埃莱娜·费兰特鼓掌继她现象级改编剧《我的天才女友》之后,《暗处的女儿》也提名了好些电影节奖项在讲母亲的影像里头,它是新鲜而珍贵的《我的天才女友》电影里的灵魂人物,。
  • 南昌目前有哪些共享汽车(南昌共享汽车上线)
  • 2024-11-08南昌共享汽车上线共享汽车真的来南昌啦!目前,南昌已经有两家共享租车平台,一个是,这两天特别火的“EVCARD”,一个是,今年1月就试运行的“众驾租车”1EVCARD怎么使用?如何收费?0.5元/分钟或者183元/天,。
  • 为什么张一山把韦小宝演成猴 张一山演韦小宝
  • 2024-11-08为什么张一山把韦小宝演成猴 张一山演韦小宝中国艺人张一山、唐艺昕等主演的电视剧《鹿鼎记》15日播出后,张一山在剧中浮夸的演技惨遭吐槽“像猴子”此外,有超过75%的观众在豆瓣打出1星的评价,目前评分仅有2.7分,创下《鹿鼎记》系列的最低分数张一。
  • 南京条约取得了哪些权益(南京条约其实是一个平等的条约)
  • 2024-11-08南京条约其实是一个平等的条约清政府在“鸦片战争”中失败之后,英国就逼着清政府签订了《南京条约》一说到《南京条约》,我们的第一个反应就是,它是不平等条约——比方说让中国2100万银元的战争赔款,还有割让香港,再比如给英国“治外法权。
  • 牙结石洗牙疼痛度是多少(牙结石严重洗牙会疼吗)
  • 2024-11-08牙结石严重洗牙会疼吗不少人从来没洗过牙,所以不知道洗牙是什么样的感觉,想知道初次洗牙会不会疼,尤其是发现自己牙结石比较多的朋友更担心今天,我们就来具体说说这个问题一般正常情况下,洗牙是不会疼痛的,洗牙采用超声器械去除牙结。