蚂蚁嘿呀嘿模板特效(手把手实现火爆全网的特效)
蚂蚁嘿呀嘿模板特效(手把手实现火爆全网的特效)
2024-11-22 08:44:23  作者:我亲爱的  网址:https://m.xinb2b.cn/know/maz245770.html
思路简介

首先看一下目标效果(下面放的是 gif,我们需要的是视频,需要添加背景音乐)


明确目标之后,接下来就是进一步去分解具体的技术实现。

参考网上的实现方法:

采用 APP

Avatarify

Avatarify

操作步骤:

打开这款软件Avatarify,选择一张照片即可进入选择特效页面

即:需要一张图片 一个想要的特效视频

具体的原理:

让一张照片动起来,人脸跟着音乐一起挤眉弄眼,需要一个叫做一阶运动模型 (First Order Motion Model)来搞定。

技术原理借鉴了去年意大利特伦托大学的一项研究,入选了NIPS 2019。


当时的例子是这样的。


当然上面的操作仅仅只能用于画面的特效,没有声音,因此,我们需要添加声音,同时如果想要分享到朋友圈的话,还需要一定的处理将视频的编码格式变成H264。

下面我将一步步操作

详细教程

1、克隆项目并配置环境

项目连接:

https://github.com/anandpawara/Real_Time_Image_Animation

本文所有操作均在ubuntu 20.04 下操作,如需windows或mac下操作,请自行搜索相应的解决方案

1)从 github 克隆项目

git clone git@github.com:anandpawara/Real_Time_Image_Animation.git

2)配置环境

pip install -r requirements.txt

报错:

ERROR: Could not find a version that satisfies the requirement pywin32==227 ERROR: No matching distribution found for pywin32==227

暂时不处理 !!!

从 requirements.txt 中删除掉之后,再次运行上面的语句

或者运行代码尝试缺少哪些包

运行代码

python image_animation.py -i path_to_input_file -c path_to_checkpoint -v path_to_video_file

各个参数的含义:

path_to_input_file 是输入的图片(例如你相对蒙娜丽莎进行变换,这里输入即她的照片)

path_to_checkpoint 是权重文件路径(需要从项目中的下载)

path_to_video_file 是输入的视频文件(含动作的视频文件)

pythonimage_animation.py-iInputs/Monalisa.png-ccheckpoints/vox-cpk.pth.tar-v1.mp4

如果运行成功,最后生成的视频存放在 output 文件夹下。

当然由于上述环境安装问题,导致会报错 :

No module named 'tqdm'

No module named 'imageio'

No module named 'skimage'

No module named 'sklearn'

No module named 'pandas'

No module named 'yaml'

No module named 'cv2'

这是常见问题,缺失必要的包,但在国内安装的时候,如果直接 pip install 进行安装可能会存在网速太慢的问题,导致失败或者浪费了大量的时间,可以考虑换源或指定源的方式来快速下载

这里给出指定源的方法

参考:https://www.cnblogs.com/flintlovesam/p/12833652.html

例如想要安装 imageio,在后面添加 -i 源 即可

pip install imageio -i https://mirrors.aliyun.com/pypi/simple/

同样的问题,这里用到了 pytorch,国内安装也会遇到上述的问题,这里也采用指定源的方式解决 (安装 GPU 版本 pytorch, 版本 1.5.0)

pipinstalltorch===1.5.0 cu101torchvision===0.6.0 cu101-fhttps://download.pytorch.org/whl/torch_stable.html-ihttps://pypi.douban.com/simple/some-package

注意:这里我的是cuda版本是10.1,大家根据自己的情况进行调整 如果安装速度慢,可以考虑换源 或以制定源的方法安装

参考:https://blog.csdn.net/qq_36414085/article/details/106369314

上诉操作成功后,再次运行,此时 output文件夹下即有结果出来

python image_animation.py -i Inputs/Monalisa.png -c checkpoints/vox-cpk.pth.tar -v 1.mp4

上述的操作,就这个项目能实现的基本功能,实现动作迁移,下面我们将对进行一些修改来达到我们的最终目标!

大致内容:

1)画面修改

2)添加背景音乐

3)视频格式转换

优化

1)画面修改

存在的问题:

1、帧数问题:

素材帧数-15 FPS

生成的视频结果的设置帧数 为 12 FPS 会导致音画不同步

2、画面尺寸问题:

由于这个项目的作者将最终的显示结果设置为

原图--生成视频--原始视频 的结果形式,

而我们最终只想要 生成的视频,所以还需要进行一定的修改(从256*3,256)变成(256,256)


具体修改

# 文件 image_animation.py#第50行# out1 = cv2.VideoWriter('output/test.avi', fourcc, 12, (256*3 , 256), True)#修改输出视频格式帧数和视频输出的尺寸out1=cv2.VideoWriter('output/test.avi',fourcc,15,(256,256),True)

同时修改保存的结果:

# 文件 image_animation.py# 重点关注joinedFrame = np.concatenate((cv2_source,im,frame1),axis=1) cv2.imshow('Test',joinedFrame)out1.write(img_as_ubyte(joinedFrame))# 修改成out1.write(img_as_ubyte(im))

备注:

获取视频帧数的方法

import cv2cap = cv2.VideoCapture("test.avi")print(cap.get(cv2.CV_CAP_PROP_FPS )

参考https://zhuanlan.zhihu.com/p/56571623

2)添加背景音乐

这里需要安装moviepy 包

pip install moviepy

如果遇到问题可以考虑下面的处理方法

sudopipinstallez_setuppip install --user moviepy -ignore-installed -i https://mirrors.aliyun.com/pypi/simple/

参考:https://blog.csdn.net/weixin_38636815/article/details/106539049

https://blog.csdn.net/qq_43058685/article/details/104221009

添加背景音乐

from moviepy.editor import *video_path='test.avi'audio_path = 'test.wav'video = VideoFileClip(video_path)audio_clip = AudioFileClip(audio_path)video = video.set_audio(audio_clip)video.write_videofile('result-myyh.mp4')

3)视频格式转换

安装ffmpeg

不能分享这种格式(MP4)的视频的问题原因以及解决方案 上传H.264编码格式的MP4视频,否则借助第三方转换软件转换成H.264编码格式的MP4视频即可。ffmpeg

https://jingyan.baidu.com/article/27fa732646092846f9271f71.html (安装教程)https://zhuanlan.zhihu.com/p/200783234

ffmpeg-iresult-myyh.mp4-vcodeclibx264-fmp4result.mp4

  • 广州塔最新游记(广州必去的打卡胜地)
  • 2024-11-22广州必去的打卡胜地相信不管有没有来过广州的人,都听说过广州的一个景点——“小蛮腰”,也就是广州的新地标广州塔广州塔因其独特的设计造型,与珠江交相辉映,成为新中轴线上的亮丽景观广州塔建筑总高度600米,其中主塔体高450。
  • 阿丽塔战斗天使60帧模仿(ALPD激光高亮版阿丽塔)
  • 2024-11-22ALPD激光高亮版阿丽塔2月22日,詹姆斯·卡梅隆的新作《阿丽塔:战斗天使》已经登陆各大院线为了完美呈现这部筹划19年的作品,卡梅隆本次特别推出了10FL的3D高亮版本次高亮版本在片商指定监测机构亮度检测后,在全国甄选标准影。
  • 蜘蛛侠格温女演员(格温出演的三部限制级电影)
  • 2024-11-22格温出演的三部限制级电影超凡蜘蛛侠最让人意难平的就是格温之死,蜘蛛侠明明已经救到了自己心爱的人,却还是要眼睁睁地看着她死去饰演格温的演员就是“石头姐”艾玛·斯通,艾玛斯通与安德鲁加菲尔德虽然在戏内阴阳两隔,但是现实中两人结识。
  • 沙茶酱怎么制(沙茶酱的前世今生)
  • 2024-11-22沙茶酱的前世今生沙茶酱是起源于潮汕,盛行福建省、广东省等地的一种混合型调味品色泽淡褐,呈糊酱状,具有大蒜、洋葱、花生米等特殊的复合香味、虾米和生抽的复合鲜咸味,以及轻微的甜、辣味沙茶(印尼语:Satay)在闽南,潮汕。
  • 狭义相对论原理(原来推导的过程如此有趣)
  • 2024-11-22原来推导的过程如此有趣狭义相对论(SpecialTheoryofRelativity)是阿尔伯特·爱因斯坦在1905年发表的题为《论动体的电动力学》一文中提出的区别于牛顿时空观的新的平直时空理论“狭义”表示它只适用于惯性参。
  • 日本历代天皇列表详细介绍(日本上皇明仁追平昭和天皇)
  • 2024-11-22日本上皇明仁追平昭和天皇据日本共同社消息,当地时间9月2日,87岁的日本太上天皇明仁迎来出生后的32031天,追平其父亲昭和天皇纪录,并列成为日本自飞鸟时代有确切纪录以来的最长寿天皇而对于是否会就此举行庆祝活动,明仁身边人士。
  • 3-6岁儿童口才训练内容(让2-14岁小朋友受益终身)
  • 2024-11-22让2-14岁小朋友受益终身让孩子受益一生的教育课|《给孩子的口才表达课》孩子的口才表达到底有多重要?作为家长的你们究竟意识到了吗?孩子现在课堂上的不敢举手回答问题,不是他(她)们不知道答案,而是他(她)们不知道应该如何表达2-。
  • 微信主界面样式如何更换(微信主界面样式怎么更换)
  • 2024-11-22微信主界面样式怎么更换微信目前还不支持设置微信主界面的样式,我们可以通过手机上面的设置,来覆盖微信主界面的白色,打开手机上面的设置功能,选择其中的通用进入通用之后,选择辅助功能,可以对其他的功能进行设置辅助功能设置,里面有。
  • 如何帮助宝贝缓解入园焦虑(博士爸爸用懒法子)
  • 2024-11-22博士爸爸用懒法子家里有一个高学历宝爸,那是一种什么体验?在这个问题上,我的闺蜜小竹最有发言权,她的老公就是毕业于知名大学的博士,不但学历高,而且工作也特别轻松工作轻松到什么程度呢?按照小竹自己的说法,一年三百六十五天。
  • 四大影帝哪个演技好(二斩影帝却多次被传去世)
  • 2024-11-22二斩影帝却多次被传去世在11月25日播出的《吐槽大会》中,除了主咖王晶,蔡明、黄圣依、毕赣等其他嘉宾也大多是观众熟悉的人可是有一个人的出现确实让很多观众吃了一惊,那就是塑造了经典“肥猫”形象的郑则仕,观众惊讶的并不是他为什。
  • 什么定型喷雾定型超强(这些关于定型的知识)
  • 2024-11-22这些关于定型的知识拉幅定型的三要素:温度、时间、张力定型的定义定型是后整理的主要工序针织物通过定型机的机械作用以及化学试剂的防缩、增软、增硬等作用,使织物达到一定的缩水、密度、手感,并能达到门幅整齐划一、线条平整、纹路。