ai可以画原画吗(让AI根据手绘原型生成HTML)
ai可以画原画吗(让AI根据手绘原型生成HTML)
2024-11-22 11:40:15  作者:似雨渗入心  网址:https://m.xinb2b.cn/tech/gup200977.html

王小新 编译自 Insight Data Blog

量子位 出品 | 公众号 QbitAI


写个网页能有多麻烦?在大多数公司里,这项工作分为三步:


1. 产品经理完成用户调研任务后,列出一系列技术要求;

2. 设计师根据这些要求来设计低保真原型,逐渐修改得到高保真原型和UI设计图;

3. 工程师将这些设计图实现为代码,最终变成用户使用的产品。

这么多环节,任何地方出一点问题,都会拉长开发周期。因此,不少公司,比如Airbnb已经开始用机器学习来提高这个过程的效率。

Airbnb内部的AI工具,从图纸到代码一步到位

看起来很美好,但Airbnb还没公开该模型中端到端训练的细节,以及手工设计的图像特征对该模型的贡献度。这是该公司特有的闭源解决方案专利,可能不会进行公开。

好在,一个叫Ashwin Kumar的程序员创建了一个开源版本,让开发者/设计师的工作变得更简单。

以下内容翻译自他的博客:

理想上,这个模型可以根据网站设计的简单手绘原型,很快地生成一个可用的HTML网站:


SketchCode模型利用手绘线框图来生成HTML网站

事实上,上面例子就是利用训练好的模型在测试集上生成的一个实际网站,代码请访问:https://github.com/ashnkumar/sketch-code。

从图像标注中获取灵感

目前要解决的问题属于一种更广泛的任务,叫做程序综合(program synthesis),即自动生成工作源代码。尽管很多程序综合研究通过自然语言规范或执行追踪法来生成代码,但在当前任务中,我会充分利用源图像,即给出的手绘线框图来展开工作。

在机器学习中有一个十分热门的研究领域,称为图像标注(image caption),目的是构建一种把图像和文本连接在一起的模型,特别是用于生成源图像内容的描述。


图像标注模型生成源图像的文本描述

我从一篇pix2code论文和另一个应用这种方法的相关项目中获得灵感,决定把我的任务按照图像标注方式来实现,把绘制的网站线框图作为输入图像,并将其相应的HTML代码作为其输出内容。

注:上段提到的两个参考项目分别是

pix2code论文:https://arxiv.org/abs/1705.07962

floydhub教程:https://blog.floydhub.com/turning-design-mockups-into-code-with-deep-learning/?source=techstories.org

获取合适的数据集

确定图像标注方法后,理想中使用的训练数据集会包含成千上万对手绘线框图和对应的HTML输出代码。但是,目前还没有我想要的相关数据集,我只好为这个任务来创建数据集。

最开始,我尝试了pix2code论文给出的开源数据集,该数据集由1750张综合生成网站的截图及其相应源代码组成。


pix2code数据集中的生成网站图片和源代码

这是一个很好的数据集,有几个有趣的地方:

该数据集中的每个生成网站都包含几个简单的辅助程序元素,如按钮、文本框和DIV对象。尽管这意味着这个模型受限于将这些少数元素作为它的输出内容,但是这些元素可通过选择生成网络来修改和扩展。这种方法应该很容易地推广到更大的元素词汇表。

每个样本的源代码都是由领域专用语言(DSL)的令牌组成,这是该论文作者为该任务所创建的。每个令牌对应于HTML和CSS的一个片段,且加入编译器把DSL转换为运行的HTML代码。

彩色网站图像变手绘图


为了修改我的任务数据集,我要让网站图像看起来像手工绘制出的。我尝试使用Python中的OpenCV库和PIL库等工具对每张图像进行修改,包括灰度转换和轮廓检测。

最终,我决定直接修改原始网站的CSS样式表,通过执行以下操作:

1. 更改页面上元素的边框半径来平滑按钮和DIV对象的边缘;

2. 模仿绘制的草图来调整边框的粗细,并添加阴影;

3. 将原有字体更改为类似手写的字体;

最终实现的流程中还增加了一个步骤,通过添加倾斜、移动和旋转来实现图像增强,来模拟实际绘制草图中的变化。

使用图像标注模型架构

现在,我已经处理好数据集,接下来是构建模型。

我利用了图像标注中使用的模型架构,该架构由三个主要部分组成:

1. 一种使用卷积神经网络(CNN)的计算机视觉模型,从源图像提取图像特征;

2. 一种包含门控单元GRU的语言模型,对源代码令牌序列进行编码;

3. 一个解码器模型,也属于GRU单元,把前两个步骤的输出作为输入,并预测序列中的下一个令牌。


以令牌序列为输入来训练模型

为了训练模型,我将源代码拆分为令牌序列。模型的输入为单个部分序列及它的源图像,其标签是文本中的下一个令牌。该模型使用交叉熵函数作为损失函数,将模型的下个预测令牌与实际的下个令牌进行比较。

在模型从头开始生成代码的过程中,该推理方式稍有不同。图像仍然通过CNN网络进行处理,但文本处理开始时仅采用一个启动序列。在每个步骤中,模型对序列中输出的下个预测令牌将会添加到当前输入序列,并作为新的输入序列送到模型中;重复此操作直到模型的预测令牌为,或该过程达到每个文本中令牌数目的预定义值。

当模型生成一组预测令牌后,编译器就会将DSL令牌转换为HTML代码,这些HTML代码可以在任何浏览器中运行。

用BLEU分数评估模型

我决定使用BLEU分数来评估模型。这是机器翻译任务中常用的一种度量标准,通过在给定相同输入的情况下,衡量机器生成的文本与人类可能产生内容的近似程度。

实际上,BLEU通过比较生成文本和参考文本的N元序列,以创建修改后的准确版本。它非常适用于这个项目,因为它会影响生成HTML代码中的实际元素,以及它们之间的相互关系。

最棒的是,我还可以通过检查生成的网站来比较当前的实际BLEU分数。


观察BLEU分数

当BLEU分数为1.0时,则说明给定源图像后该模型能在正确位置设置合适的元素,而较低的BLEU分数这说明模型预测了错误元素或是把它们放在相对不合适的位置。我们最终模型在评估数据集上的BLEU分数为0.76。

福利:定制网页风格

后来,我还想到,由于该模型只生成当前页面的框架,即文本的令牌,因此我可以在编译过程中添加一个定制的CSS层,并立刻得到不同风格的生成网站。


一个手绘图生成多种风格的网页

把风格定制和模型生成两个过程分开,在使用模型时带来了很多好处:

1.如果想要将SketchCode模型应用到自己公司的产品中,前端工程师可以直接使用该模型,只需更改一个CSS文件来匹配该公司的网页设计风格;

2. 该模型内置的可扩展性,即通过单一源图像,模型可以迅速编译出多种不同的预定义风格,因此用户可以设想出多种可能的网站风格,并在浏览器中浏览这些生成网页。

总结和展望

受到图像标注研究的启发,SketchCode模型能够在几秒钟内将手绘网站线框图转换为可用的HTML网站。

但是,该模型还存在一些问题,这也是我接下来可能的工作方向:

1. 由于这个模型只使用了16个元素进行训练,所以它不能预测这些数据以外的令牌。下一步方向可能是使用更多元素来生成更多的网站样本,包括网站图片,下拉菜单和窗体,可参考启动程序组件(https://getbootstrap.com/docs/4.0/components/buttons/)来获得思路;

2. 在实际网站构建中,存在很多变化。创建一个能更好反映这种变化的训练集,是提高生成效果的一种好方法,可以通过获取更多网站的HTML/CSS代码以及内容截图来提高;

3. 手绘图纸也存在很多CSS修改技巧无法捕捉到的变化。解决这个问题的一种好方法是使用生成对抗网络GAN来创建更逼真的绘制网站图像。

相关地址

代码:https://github.com/ashnkumar/sketch-code

原文:https://blog.insightdatascience.com/automated-front-end-development-using-deep-learning-3169dd086e82

— 完 —

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

  • 秋冬中长格子衬衫新穿法(时尚又活力的格子衬衫)
  • 2024-11-22时尚又活力的格子衬衫可以单穿,也可以当外套或者做内搭,夏天穿还能防晒还有什么比格子衬衫更好穿的衣服呢?格子衬衫是每年秋冬季的热门单品之一,而且它给人们的印象也非常好,经典简约又显文艺在街头、职场、学校都能看到格子衬衫的身。
  • 猪舌头买回来怎么处理(猪舌头如何处理)
  • 2024-11-22猪舌头如何处理处理买回来的猪舌头时,要将其放入锅中,加入清水后,开火煮沸后,将猪舌头取出,放入清水中晾凉,再使用刮刀将表面白色的物质刮除即可刮除干净后要将猪舌头的上半部分切开,并将其中的黏液清洗干净,最后放在冰箱冷。
  • 雷雨天气主要发生在哪个季节(雷雨天气主要发生在什么时候)
  • 2024-11-22雷雨天气主要发生在什么时候雷雨大多发生在每年降水量比较集中的季节,由于南北气候不同,南方雷雨天气一般发生在4至9月,北方6至9月雷雨是空气在极端不稳定状况下,所产生的剧烈天气现象,它常挟带强风、暴雨、闪电、雷击,甚至伴随有冰雹。
  • 良姜在调料中的作用(良姜在调料中的作用有哪些)
  • 2024-11-22良姜在调料中的作用有哪些提鲜优化口感:广州人喜欢吃嫩滑脆的口感,就舍生姜而用良姜,现在的潮汕卤水就大量的良姜,这是因良姜和鲜香茅是绝配定香:晒干的南姜就叫良姜,在传统卤猪头肉卤水中,这东西是主料,而为什么卤猪头不用干姜而用良。
  • 二维码生成链接怎么操作(二维码活码生成器如何使用)
  • 2024-11-22二维码活码生成器如何使用随着互联网的普及和发展,二维码已经成为了人们生活中不可或缺的一部分二维码活码生成器能够帮助用户快速生成独特的二维码,而草料短链接生成器则能够让用户快速创建短链接,从而方便地访问网站或应用程序本文将介绍。
  • 3000-4000学生笔记本推荐联想(3000元笔记本到底怎么选)
  • 2024-11-223000元笔记本到底怎么选最近一直在考虑入手一款质价比高的,既能用来办公也能用来娱乐的大屏笔记本,当时的预算是最好3000块钱左右,最好结实耐用,能在包里背着到处跑,刚巧最近还就看到了一台轻薄本,联想的IdeaPad340C,。
  • 赵县陀罗尼经幢地位(赵州国保之陀罗尼经幢)
  • 2024-11-22赵州国保之陀罗尼经幢赵州陀罗尼经幢坐落在赵县县城石塔路与石桥大街十字路口,因幢体刻有陀罗尼经而得名陀罗尼经幢,又因幢体为石质,形态似塔,所以当地百姓俗称其为“石塔”在我国现存众多的同类经幢之中,赵州陀罗尼经幢是最高大、最。
  • 吃葡萄不说葡萄酸(就不要吃不到葡萄说葡萄酸)
  • 2024-11-22就不要吃不到葡萄说葡萄酸文/戍一在现实生活中,有很多的吃瓜群众在谈到他人的优秀时会显得不屑一顾,总以为自己很牛掰,认为别人的所得似乎是不应该的,永远觉得自己比他人更强但往往自己却只是一个瓢,迷失在自己的幻想中由于最近没在学校。
  • 肃穆的肃是什么意思(肃穆的出处)
  • 2024-11-22肃穆的出处清静、严肃、平静、庄重、端庄肃穆的意思:严肃而恭敬也指环境、气氛使人有凛然之感唐·玄奘《大唐西域记·屈支国》:“僧徒肃穆,精勤匪怠,并是耆艾宿德、博学高才、远方俊彦慕义至此”译文:和尚们肃穆,精勤不懈。