蚂蚁嘿呀嘿模板特效(手把手实现火爆全网的特效)
蚂蚁嘿呀嘿模板特效(手把手实现火爆全网的特效)
2024-11-22 11:08:40  作者:我亲爱的  网址:https://m.xinb2b.cn/tech/maz245770.html
思路简介

首先看一下目标效果(下面放的是 gif,我们需要的是视频,需要添加背景音乐)


明确目标之后,接下来就是进一步去分解具体的技术实现。

参考网上的实现方法:

采用 APP

Avatarify

Avatarify

操作步骤:

打开这款软件Avatarify,选择一张照片即可进入选择特效页面

即:需要一张图片 一个想要的特效视频

具体的原理:

让一张照片动起来,人脸跟着音乐一起挤眉弄眼,需要一个叫做一阶运动模型 (First Order Motion Model)来搞定。

技术原理借鉴了去年意大利特伦托大学的一项研究,入选了NIPS 2019。


当时的例子是这样的。


当然上面的操作仅仅只能用于画面的特效,没有声音,因此,我们需要添加声音,同时如果想要分享到朋友圈的话,还需要一定的处理将视频的编码格式变成H264。

下面我将一步步操作

详细教程

1、克隆项目并配置环境

项目连接:

https://github.com/anandpawara/Real_Time_Image_Animation

本文所有操作均在ubuntu 20.04 下操作,如需windows或mac下操作,请自行搜索相应的解决方案

1)从 github 克隆项目

git clone git@github.com:anandpawara/Real_Time_Image_Animation.git

2)配置环境

pip install -r requirements.txt

报错:

ERROR: Could not find a version that satisfies the requirement pywin32==227 ERROR: No matching distribution found for pywin32==227

暂时不处理 !!!

从 requirements.txt 中删除掉之后,再次运行上面的语句

或者运行代码尝试缺少哪些包

运行代码

python image_animation.py -i path_to_input_file -c path_to_checkpoint -v path_to_video_file

各个参数的含义:

path_to_input_file 是输入的图片(例如你相对蒙娜丽莎进行变换,这里输入即她的照片)

path_to_checkpoint 是权重文件路径(需要从项目中的下载)

path_to_video_file 是输入的视频文件(含动作的视频文件)

pythonimage_animation.py-iInputs/Monalisa.png-ccheckpoints/vox-cpk.pth.tar-v1.mp4

如果运行成功,最后生成的视频存放在 output 文件夹下。

当然由于上述环境安装问题,导致会报错 :

No module named 'tqdm'

No module named 'imageio'

No module named 'skimage'

No module named 'sklearn'

No module named 'pandas'

No module named 'yaml'

No module named 'cv2'

这是常见问题,缺失必要的包,但在国内安装的时候,如果直接 pip install 进行安装可能会存在网速太慢的问题,导致失败或者浪费了大量的时间,可以考虑换源或指定源的方式来快速下载

这里给出指定源的方法

参考:https://www.cnblogs.com/flintlovesam/p/12833652.html

例如想要安装 imageio,在后面添加 -i 源 即可

pip install imageio -i https://mirrors.aliyun.com/pypi/simple/

同样的问题,这里用到了 pytorch,国内安装也会遇到上述的问题,这里也采用指定源的方式解决 (安装 GPU 版本 pytorch, 版本 1.5.0)

pipinstalltorch===1.5.0 cu101torchvision===0.6.0 cu101-fhttps://download.pytorch.org/whl/torch_stable.html-ihttps://pypi.douban.com/simple/some-package

注意:这里我的是cuda版本是10.1,大家根据自己的情况进行调整 如果安装速度慢,可以考虑换源 或以制定源的方法安装

参考:https://blog.csdn.net/qq_36414085/article/details/106369314

上诉操作成功后,再次运行,此时 output文件夹下即有结果出来

python image_animation.py -i Inputs/Monalisa.png -c checkpoints/vox-cpk.pth.tar -v 1.mp4

上述的操作,就这个项目能实现的基本功能,实现动作迁移,下面我们将对进行一些修改来达到我们的最终目标!

大致内容:

1)画面修改

2)添加背景音乐

3)视频格式转换

优化

1)画面修改

存在的问题:

1、帧数问题:

素材帧数-15 FPS

生成的视频结果的设置帧数 为 12 FPS 会导致音画不同步

2、画面尺寸问题:

由于这个项目的作者将最终的显示结果设置为

原图--生成视频--原始视频 的结果形式,

而我们最终只想要 生成的视频,所以还需要进行一定的修改(从256*3,256)变成(256,256)


具体修改

# 文件 image_animation.py#第50行# out1 = cv2.VideoWriter('output/test.avi', fourcc, 12, (256*3 , 256), True)#修改输出视频格式帧数和视频输出的尺寸out1=cv2.VideoWriter('output/test.avi',fourcc,15,(256,256),True)

同时修改保存的结果:

# 文件 image_animation.py# 重点关注joinedFrame = np.concatenate((cv2_source,im,frame1),axis=1) cv2.imshow('Test',joinedFrame)out1.write(img_as_ubyte(joinedFrame))# 修改成out1.write(img_as_ubyte(im))

备注:

获取视频帧数的方法

import cv2cap = cv2.VideoCapture("test.avi")print(cap.get(cv2.CV_CAP_PROP_FPS )

参考https://zhuanlan.zhihu.com/p/56571623

2)添加背景音乐

这里需要安装moviepy 包

pip install moviepy

如果遇到问题可以考虑下面的处理方法

sudopipinstallez_setuppip install --user moviepy -ignore-installed -i https://mirrors.aliyun.com/pypi/simple/

参考:https://blog.csdn.net/weixin_38636815/article/details/106539049

https://blog.csdn.net/qq_43058685/article/details/104221009

添加背景音乐

from moviepy.editor import *video_path='test.avi'audio_path = 'test.wav'video = VideoFileClip(video_path)audio_clip = AudioFileClip(audio_path)video = video.set_audio(audio_clip)video.write_videofile('result-myyh.mp4')

3)视频格式转换

安装ffmpeg

不能分享这种格式(MP4)的视频的问题原因以及解决方案 上传H.264编码格式的MP4视频,否则借助第三方转换软件转换成H.264编码格式的MP4视频即可。ffmpeg

https://jingyan.baidu.com/article/27fa732646092846f9271f71.html (安装教程)https://zhuanlan.zhihu.com/p/200783234

ffmpeg-iresult-myyh.mp4-vcodeclibx264-fmp4result.mp4

  • 遇到这样老板你还会继续上班吗(请别再欺负你的员工)
  • 2024-11-22请别再欺负你的员工在职场上,特别是在私企里,小老板、厂长或者一些高层管理,对底层员工的欺负、剥削或者打压,已经不是什么新鲜事这可以是物质层面的,比如说,拖欠工资,不给交社保,公积金,不给发加班工资等也可以是精神层面的,。
  • 汉代的内衣(汉代人的私房话)
  • 2024-11-22汉代人的私房话2157年前,一辆马车驱驰在临邛通往成都的路上卓文君跟着大文豪司马相如,从娘家临邛赶到婆家——“那座阴雨的小城”成都到了婆家一看,家徒四壁,卓文君是富家大小姐,没过过穷日子,顿时就没有心情“在成都的街。
  • 疙瘩汤打疙瘩的技巧(做疙瘩汤怎么打疙瘩)
  • 2024-11-22做疙瘩汤怎么打疙瘩想要把疙瘩汤烹饪好,需要掌握打疙瘩很多技巧,如下水龙头的水尽量关到一滴一滴水落在面粉上,同时摇晃面盆并用筷子迅速搅拌面粉沾水就会成团,耐心地用筷子把面粉拌成大小适中的面疙瘩将矿泉瓶盖扎一些眼,然后往里。
  • 盲盒互动(盲盒互动体验感拉满)
  • 2024-11-22盲盒互动体验感拉满近日,全球知名时尚玩物品牌L.O.LSurprise!与法国珠宝品牌AGATHA推出“双盲盒”玩法,让L.O.LSurprise!O.M.G惊喜娃娃与AGATHA首饰浪漫相遇,时尚的首饰珠宝和可爱的娃。
  • 昆剧十大优秀剧目 昆剧撞上法国荒诞派戏剧
  • 2024-11-22昆剧十大优秀剧目 昆剧撞上法国荒诞派戏剧现代快报讯(记者刘静妍/文苏蕊/摄)昆剧撞上法国荒诞派戏剧,会产生什么样的火花?一对老夫妻,一个不断编织竹篾,一个整日竹篮打水,对着椅子喋喋不休,他们在做什么?11月15日晚,上海昆剧团携优秀新创小剧。
  • 50部经典电视剧排行榜(最值得看的十部电视剧)
  • 2024-11-22最值得看的十部电视剧#你喜欢看哪些经典电视剧#50部经典电视剧,最值得看的十部电视剧  你可以看任何一种剧,你最喜欢的是甜蜜爱情剧由郑爽和杨洋主演的《微微一笑很倾城》自开播以来,一直有着很高的点击率它讲述了校花和校草之间。
  • 李白所有的诗句大全集(全唐诗共计900卷182)
  • 2024-11-22全唐诗共计900卷182简介:《全唐诗》,中国规模最大的一部诗歌总集,是清朝初年编修的汇集唐代诗歌的总集,全书共九百卷,成书于清康熙四十五年(1706年)《全唐诗》共收录唐代诗人四万九千四百零三首诗,一千五百五十五条句子,作。
  • 现存规模最宏大保存最完整的石窟(宁夏规模最大石窟)
  • 2024-11-22宁夏规模最大石窟位于中国黄土高原西北边缘的宁夏固原市,是古丝绸之路东段北道的必经之地,早在魏晋南北朝时期就成为我国西北地区的重镇悠久的历史使固原积淀了深厚的文化底蕴,境内文物古迹星罗棋布,风景名胜享誉天下,其中最为著。
  • 易拉宝多大尺寸(一款稳如泰山颜值在线的易拉宝长啥样)
  • 2024-11-22一款稳如泰山颜值在线的易拉宝长啥样对于易拉宝,大家并不陌生,易拉宝是广告活动中的一种广告宣传品,也叫易拉架、易拉得、易拉卷等,在展会、公司、商场、超市、企事业单位、招聘会、婚礼企划等场景下都有着广泛的应用!你有没有为活动快开始了打开易。
  • 怎么写别人的文案(案例情歌告诉你)
  • 2024-11-22案例情歌告诉你“池塘边的榕树上”,即使不在KTV,听到这句歌词,大多数80后,也能毫不犹豫的接着唱,“知了在声声的叫着夏天”顺背如流,像背古诗词基本上,看你跟着什么歌合唱,就能给你的年龄断代了60后很执着▼任时光匆。
  • 海螃蟹储存方法(如何保存海螃蟹)
  • 2024-11-22如何保存海螃蟹放在冰箱冷藏室内用湿毛巾盖上可以放几天,用手触摸螃蟹的眼睛,没反应的就是死螃蟹放在水桶中但是水的高度不要没过螃蟹身体,否则螃蟹会缺氧而死如果家里有浴缸更好,因为浴缸光滑螃蟹不能爬出来海螃蟹肉多,脂膏肥。
  • 手工面塑花朵(非遗面塑的传承人乔文君心中的梦想)
  • 2024-11-22非遗面塑的传承人乔文君心中的梦想乔文君在教室授课生长在航空城阎良的乔文君,今年29岁从小受母亲的影响,就和面塑结下了不解之缘17岁那年,母亲将面塑这门手艺传承给他他胸怀大志,报名参加了西安桃李旅游烹饪学校,开始从事餐饮行业在酒店和学。