返回
马赛克背后的真相（马赛克克星真来了）
马赛克背后的真相（马赛克克星真来了）
2024-10-01 05:41:42  作者:轻唱我爱你  网址:https://m.xinb2b.cn/know/dyk434976.html

今天跟大家聊聊 MAE，何恺明大神的新作。

我们先说下 MAE 的任务：


简单讲：将图片随机遮挡，然后复原。

并且遮挡的比例，非常大！超过整张图的 80%，我们直接看效果：


第一列是遮挡图，第二列是修复结果，第三列是原图。

图片太多，可能看不清，我们单看一个：


看这个遮挡的程度，表针、表盘几乎都看不见了。但是 MAE 依然能够修复出来：


这个效果真的很惊艳！

甚至对于遮挡 95%面积的图片依然 work。


看左图，你能看出来被遮挡的是蘑菇吗？？

MAE 却能轻松修复出来。

MAE

MAE 的意义不仅在这个修复遮挡，去掉 mask 本身。更在于为 CV 领域大一统的预训练模型提供了无限的想象。

做过 NLP 的小伙伴应该知道，在 NLP 任务中，Bert 已经一统江湖。各子任务（如翻译、生成、文本理解等）均可使用相同的无监督预训练模型。这保证了每个任务都能有非常不错的效果。

但在 CV 任务中，却各玩各的，分类任务有自己的无监督学习，检测任务有自己的无监督学习，每个 CV 领域的子任务，都有自己一套无监督学习，一直无法统一。

而 MAE 一出，可以想象大一统的 CV 无监督预训练模型的时代已不远矣。

可能这段话，一些刚入门的小伙伴看不太懂。

没关系，慢慢学。学了 Bert，你就明白这意味着什么了。MAE 就是类似 Bert 存在的东西，可以认为它就是 Bert 的一个 CV 版。

接下来简单讲解下 MAE。

Vit

讲解 MAE 之前不得不先说下 Vit。

红遍大江南北的 Vision Transformer，ViT。

领域内的小伙伴，或多或少都应该听说过。

它将 Transformer 应用到了 CV 上面，将整个图分为 16 * 16 的小方块，每个方块做成一个词，然后放进 Transformer 进行训练。

从 ViT 开始，CV 小伙伴们终于可以更优雅地使用 Transformer了。

MAE

MAE 结构设计得非常简单：


将一张图随机打 Mask，未 Mask 部分输入给 Encoder 进行编码学习，这个 Encoder 就是 Vit，然后得到每个块的特征。

再将未 Mask 部分以及 Mask 部分全部输入给 Decoder 进行解码学习，最终目标是修复图片。

而 Decoder 就是一个轻量化的 Transformer。它的损失函数就是普通的 MSE。

所以说， MAE 的 Encoder 和 Decoder 结构不同，是非对称式的。Encoder 将输入编码为 latent representation，而 Decoder 将从 latent representation 重建原始信号。

更详细的细节大家可以直接看看论文：

https://arxiv.org/abs/2111.06377

算法测试

官方刚刚开源6天，就已经获得了1.5k 的 Star，关注度可见一斑。


项目地址：

https://github.com/facebookresearch/mae

项目提供了 Colab，如果你能登录，那么可以直接体验：

https://colab.research.google.com/github/facebookresearch/mae/blob/main/demo/mae_visualize.ipynb


如果不能登录，可以直接本地部署，作者提供了预训练模型。


一起看下我跑的效果：


这个修复效果，你打几分？

最后

MAE 可以用来生成不存在的内容，就像 GAN 一样。

很多小伙伴可能又有了一些“大胆”的想法，不过玩笑归玩笑，自己玩玩就好，大家还是要遵纪守法哦~

  • 如何评价郭德纲与他的相声（拿德云社郑好一比较）
  • 2024-10-01拿德云社郑好一比较不得不再次说，德云社的郑好，已经掌握了流量的密码，在他的小视频里面，他又发表了引起热议的观点，相声的表演，到底要不要每次都一个字都不变，甚至呼吸喘气儿都一样郑好说，他听到相声的观众留言，问他为什么每次。
  • 同一个人同一趟车能买两张票吗 同日期同车次同身份证能买两张车票吗
  • 2024-10-01同一个人同一趟车能买两张票吗 同日期同车次同身份证能买两张车票吗“一张身份证可以购买同一日期同一车次的两张车票吗？”10月8日，市民张先生在购买火车票时遇到一个问题他想用自己的身份证购买同一日期同一车次的两张火车票（前半程是硬座票，后半程是卧铺票），发现难以操作，。
  • 尊老敬老爱老助老（尊老敬老爱老）
  • 2024-10-01尊老敬老爱老3月7日，新京报记者从江苏省高级人民法院获悉，三八妇女节来临之际，江苏省高院发布了20起家事纠纷典型案例尊老、敬老是中华民族的传统美德，爱老、助老是全社会应尽的共同责任江苏高院通过实际案例，对侵害老年。
  • 无锡汽车四门隔音（无锡汽车隔音改装）
  • 2024-10-01无锡汽车隔音改装【无锡美车坊汽车隔音改装】为爱车进行隔音改装，并非每部车都适宜的车主需要首先了解爱车的噪音来源以及驾乘时候感受到的噪音来源及影响程度，然后根据需要选择改装的方案汽车噪音来源：·车辆本身发出的机械噪音·。
  • 怎样快速做出一碗美味的汤粉
  • 2024-10-01怎样快速做出一碗美味的汤粉主料：米粉400g　　调料：食盐少许，酱油少许，鸡精少许，马面鱼少许　　汤粉的做法　　1.取出适量的干粉冲洗下灰尘备用　　2.将锅里的水烧开放入干粉浸泡两个小时左右　　3.两个小时后将泡过的粉捞出倒出。
  • miui 9相册面孔识别（MIUI全新功能解析图库面孔相册）
  • 2024-10-01MIUI全新功能解析图库面孔相册本周MIUI图库新增了一项全新的功能——面孔相册在不做任何解释的情况下你知道什么是面孔相册么？不知大家拍照的时候是不是有过这样的经历呢？为某个特定的人拍照，之后如果想将其照片整理归纳，还要特意为其建立。
  • k线涨跌正确方法图解直播（三根K线定涨跌高开）
  • 2024-10-01三根K线定涨跌高开(本文由公众号越声财富(YSLC168888))整理，仅供参考，不构成操作建议如自行操作，注意仓位控制和风险自负)炒股心得：如果你有100个女子可以娶，而她们也都可以嫁你，你其实选择一个最好的就行了，。
  • 苹果香蕉牛奶水果怎么蒸（少吃苹果香蕉多吃它）
  • 2024-10-01少吃苹果香蕉多吃它如今正值秋季的第二个节气——处暑，秋天的味道越来越浓，夏日的炎热已经褪去，秋季的阵阵清凉让人神清气爽不过，秋季也有一股令人头疼的问题，那就是多风干燥，即使再粗糙的人，这时候也要开始准备上一瓶润肤霜了，。