蚂蚁嘿呀嘿模板特效(手把手实现火爆全网的特效)
蚂蚁嘿呀嘿模板特效(手把手实现火爆全网的特效)
2024-11-08 05:07:40  作者:我亲爱的  网址:https://m.xinb2b.cn/tech/maz245770.html
思路简介

首先看一下目标效果(下面放的是 gif,我们需要的是视频,需要添加背景音乐)


明确目标之后,接下来就是进一步去分解具体的技术实现。

参考网上的实现方法:

采用 APP

Avatarify

Avatarify

操作步骤:

打开这款软件Avatarify,选择一张照片即可进入选择特效页面

即:需要一张图片 一个想要的特效视频

具体的原理:

让一张照片动起来,人脸跟着音乐一起挤眉弄眼,需要一个叫做一阶运动模型 (First Order Motion Model)来搞定。

技术原理借鉴了去年意大利特伦托大学的一项研究,入选了NIPS 2019。


当时的例子是这样的。


当然上面的操作仅仅只能用于画面的特效,没有声音,因此,我们需要添加声音,同时如果想要分享到朋友圈的话,还需要一定的处理将视频的编码格式变成H264。

下面我将一步步操作

详细教程

1、克隆项目并配置环境

项目连接:

https://github.com/anandpawara/Real_Time_Image_Animation

本文所有操作均在ubuntu 20.04 下操作,如需windows或mac下操作,请自行搜索相应的解决方案

1)从 github 克隆项目

git clone git@github.com:anandpawara/Real_Time_Image_Animation.git

2)配置环境

pip install -r requirements.txt

报错:

ERROR: Could not find a version that satisfies the requirement pywin32==227 ERROR: No matching distribution found for pywin32==227

暂时不处理 !!!

从 requirements.txt 中删除掉之后,再次运行上面的语句

或者运行代码尝试缺少哪些包

运行代码

python image_animation.py -i path_to_input_file -c path_to_checkpoint -v path_to_video_file

各个参数的含义:

path_to_input_file 是输入的图片(例如你相对蒙娜丽莎进行变换,这里输入即她的照片)

path_to_checkpoint 是权重文件路径(需要从项目中的下载)

path_to_video_file 是输入的视频文件(含动作的视频文件)

pythonimage_animation.py-iInputs/Monalisa.png-ccheckpoints/vox-cpk.pth.tar-v1.mp4

如果运行成功,最后生成的视频存放在 output 文件夹下。

当然由于上述环境安装问题,导致会报错 :

No module named 'tqdm'

No module named 'imageio'

No module named 'skimage'

No module named 'sklearn'

No module named 'pandas'

No module named 'yaml'

No module named 'cv2'

这是常见问题,缺失必要的包,但在国内安装的时候,如果直接 pip install 进行安装可能会存在网速太慢的问题,导致失败或者浪费了大量的时间,可以考虑换源或指定源的方式来快速下载

这里给出指定源的方法

参考:https://www.cnblogs.com/flintlovesam/p/12833652.html

例如想要安装 imageio,在后面添加 -i 源 即可

pip install imageio -i https://mirrors.aliyun.com/pypi/simple/

同样的问题,这里用到了 pytorch,国内安装也会遇到上述的问题,这里也采用指定源的方式解决 (安装 GPU 版本 pytorch, 版本 1.5.0)

pipinstalltorch===1.5.0 cu101torchvision===0.6.0 cu101-fhttps://download.pytorch.org/whl/torch_stable.html-ihttps://pypi.douban.com/simple/some-package

注意:这里我的是cuda版本是10.1,大家根据自己的情况进行调整 如果安装速度慢,可以考虑换源 或以制定源的方法安装

参考:https://blog.csdn.net/qq_36414085/article/details/106369314

上诉操作成功后,再次运行,此时 output文件夹下即有结果出来

python image_animation.py -i Inputs/Monalisa.png -c checkpoints/vox-cpk.pth.tar -v 1.mp4

上述的操作,就这个项目能实现的基本功能,实现动作迁移,下面我们将对进行一些修改来达到我们的最终目标!

大致内容:

1)画面修改

2)添加背景音乐

3)视频格式转换

优化

1)画面修改

存在的问题:

1、帧数问题:

素材帧数-15 FPS

生成的视频结果的设置帧数 为 12 FPS 会导致音画不同步

2、画面尺寸问题:

由于这个项目的作者将最终的显示结果设置为

原图--生成视频--原始视频 的结果形式,

而我们最终只想要 生成的视频,所以还需要进行一定的修改(从256*3,256)变成(256,256)


具体修改

# 文件 image_animation.py#第50行# out1 = cv2.VideoWriter('output/test.avi', fourcc, 12, (256*3 , 256), True)#修改输出视频格式帧数和视频输出的尺寸out1=cv2.VideoWriter('output/test.avi',fourcc,15,(256,256),True)

同时修改保存的结果:

# 文件 image_animation.py# 重点关注joinedFrame = np.concatenate((cv2_source,im,frame1),axis=1) cv2.imshow('Test',joinedFrame)out1.write(img_as_ubyte(joinedFrame))# 修改成out1.write(img_as_ubyte(im))

备注:

获取视频帧数的方法

import cv2cap = cv2.VideoCapture("test.avi")print(cap.get(cv2.CV_CAP_PROP_FPS )

参考https://zhuanlan.zhihu.com/p/56571623

2)添加背景音乐

这里需要安装moviepy 包

pip install moviepy

如果遇到问题可以考虑下面的处理方法

sudopipinstallez_setuppip install --user moviepy -ignore-installed -i https://mirrors.aliyun.com/pypi/simple/

参考:https://blog.csdn.net/weixin_38636815/article/details/106539049

https://blog.csdn.net/qq_43058685/article/details/104221009

添加背景音乐

from moviepy.editor import *video_path='test.avi'audio_path = 'test.wav'video = VideoFileClip(video_path)audio_clip = AudioFileClip(audio_path)video = video.set_audio(audio_clip)video.write_videofile('result-myyh.mp4')

3)视频格式转换

安装ffmpeg

不能分享这种格式(MP4)的视频的问题原因以及解决方案 上传H.264编码格式的MP4视频,否则借助第三方转换软件转换成H.264编码格式的MP4视频即可。ffmpeg

https://jingyan.baidu.com/article/27fa732646092846f9271f71.html (安装教程)https://zhuanlan.zhihu.com/p/200783234

ffmpeg-iresult-myyh.mp4-vcodeclibx264-fmp4result.mp4

  • 晚上睡觉打鼾是什么病(睡觉打鼾是怎么回事)
  • 2024-11-08睡觉打鼾是怎么回事睡觉打鼾是怎么回事?造成宝宝打鼾症状有多种原因,比如说遗传,妈妈如果颌骨异常,呼吸道狭窄,通常子女也如此,这样在睡眠过程中呼吸会受到阻碍而呼吸道周边的一些腺体发生病变则是宝宝发生打鼾症状的主要原因比如。
  • 轮胎的胎压信息多少是正常(你想知道的都在这里)
  • 2024-11-08你想知道的都在这里胎压过高对车辆的影响胎压过高会使轮胎的外形因内部压力较大而鼓胀,从而缩小轮胎滚动面与路面之间的接触面积,造成轮胎抓地力减弱此时,车辆的制动性能、行驶稳定性和操控灵活性都会降低胎压过低对车辆的影响首先,。
  • 关于战士们的名言佳句(关于战士们的名言有哪些)
  • 2024-11-08关于战士们的名言有哪些戚继光的名言:“封侯非我愿,但愿海波平”热的心会把雪溶消————《烈士诗抄》烈士裘怀古英勇就义前的一句名言:“同志们,胜利的时候不要忘记我们”为了免除下一代的苦难,我愿意把牢底坐穿!”烈士邓中夏名言:。
  • 危楼高百尺的危楼的意思是什么(危楼高百尺的出处介绍)
  • 2024-11-08危楼高百尺的出处介绍危楼:高楼,这里指建筑在山顶的寺庙出自唐代李白的《夜宿山寺》危楼高百尺,手可摘星辰不敢高声语,恐惊天上人译文山上寺院好似有百丈之高,站在上边仿佛都能摘下星辰不敢高声说话,唯恐惊动了天上的仙人。
  • 校园搞笑段子精选大全笑死你 一新生去学校报到
  • 2024-11-08校园搞笑段子精选大全笑死你 一新生去学校报到#故事##搞笑##搞笑幽默趣闻##幽默搞笑段子##感谢头条我要上热门#1、一新生去学校报到老师:“家长姓名?”学生:“李大猛”老师:“和你的关系?”学生:“不太好,他经常揍我!”2、语文课,。
  • 风干的鲢鱼怎么做好吃
  • 2024-11-08风干的鲢鱼怎么做好吃用料风干鲢鱼半条,葱半棵,姜3片,蒜3瓣,干辣椒3个,色拉油约30毫升,猪油一勺步骤1风干的鱼切成块,约2-3cm长宽,洗好后要晾干(不然会粘锅)步骤2葱姜蒜辣椒切好备用步骤3油锅放色拉油烧热后放入鱼。
  • 微信网课直播互动(微信网课接口在哪里)
  • 2024-11-08微信网课接口在哪里如今有很多老师转型做线上直播授课,老师们在选择线上直播授课平台的时候更倾向于微信,因为微信的受众群体比较广,很多学生和家长都有自己的微信号,老师可以直接和学生进行交流而且现在微信用户比较多,老师们还可。
  • 汛期来了这份防汛安全指南请收好(防汛小知识快收好)
  • 2024-11-08防汛小知识快收好因汛期暴雨、洪水引发的事故频发严重威胁人们的生命和财产安全汛期有哪些应对措施呢?下面这些防汛小知识快收好!什么是防汛?防汛是指为防止和减轻洪水灾害,在洪水预报、防洪调度、防洪工程运用等方面进行的有关工。
  • 女儿的成长须知(女儿成长手记)
  • 2024-11-08女儿成长手记这是我女儿小学一年级时的成长手记,记录了从刚入小学到放假这半学期的成长过程,当时也是女儿的班主任王老师给学生家长们留的一份开放性的作业,由于平时工作较忙,也是突发灵感,利用下班后的3小时时间制作了这份。
  • 10部至今无法超越的经典电视剧(这些经典的电视剧)
  • 2024-11-08这些经典的电视剧自从电视剧诞生以来,给我们的生活增添了多少色彩,那时候家里买不起电视,就全都跑到全村唯一有黑白电视的爷爷家看电视,就连广告都爱看漫长的日子里,电视剧越拍越多,我们每个人少说也看了几十部,那些经典的电视。
  • 一二三四歌词(一二三四歌词原文)
  • 2024-11-08一二三四歌词原文《一二三四歌》是由石顺义作词,臧云飞作曲,阎维文演唱的歌曲,该曲收录于1995年发行的专辑《祖国万岁》中阎维文在1994年中央电视台春节联欢晚会上演唱该歌曲该歌曲被编进人教版小学《音乐》12册书中歌曲。
  • 素炒西兰花的做法(素炒西兰花如何做)
  • 2024-11-08素炒西兰花如何做材料:胡萝卜半根,木耳5g,西兰花1朵,蒜末3瓣,盐1茶匙,鸡精1茶匙做法:(1)木耳提前泡发好,大蒜切末备用;(2)胡萝卜切成片,用模具压出花形,西兰花摘成小朵洗净;(3)锅中加入少许盐烧开水,先加。