文字生成图片:输入描述语,人工智能自动帮你绘图!

Disco Diffusion 是发布于 Google Colab 平台的一款利用人工智能深度学习进行数字艺术创作的工具,它是基于 MIT 许可协议的开源工具,可以在 Google Drive 直接运行,也可以部署到本地运行,目前最新的版本是 Disco Diffusion v5.2。

主创是 Somnai(@Somnai_dreams)和 Adam Letts(@gandamu_ml),在 Chris Allen(@zippy731)、HostsServer(@HostsServer)和 Tom Mason(@nin_artificial)的协作下迭代到了今天的版本。

用白话讲 Disco Diffusion 的基本工作就是把你给出的 Prompts(提示/描述)由文字信息变成图像信息,把你用文字描述的画面「画」出来。实际操作也基本如此,很简单,先来看几张用 Disco Diffusion 生成的图片。

Prompt: A digital painting of cyberpunk city by beeple, mist, trending on artstation, V-Ray.

Prompt: Spaceship about to landing on a cornfield, steampunk, clouds in the sky, by Greg Rutkowski, concept art.

Prompt: A beautiful painting of captivating castles on hills and mountains, along plains and rivers, by Ismail Inceoglu.

更多例子:

图片下方是我给出的 Prompts,Disco Diffusion 会根据这些内容去生成画面,并且每一次都会产生不同的结果,这些还是我初期基本按默认参数渲染的,所以精度其实不算太高,如果提高参数设置,做出更好的描述,你会得到质量更高的图片。下面就进入教程环节吧。

____准备工作________________________________________________________________________________________

注册一个谷歌账号。

____入门教程________________________________________________________________________________________

01. 使用浏览器打开 Disco Diffusion v5.2 [w/ VR Mode]

02. 点击页面右上角「登录」按钮,登入你的谷歌账号

03. 点击复制到云端硬盘」或点击「文件」选择「在云端硬盘中保存一份副本」。

04. 副本创建完成会出现「笔记本的副本已完成」弹窗,点击在新标签页中打开」。

05. 点击「“Disco Diffusion v5.2 [w/ VR Mode]”的副本」修改笔记本名称(以下所有代码可视为源文件/源代码,此处是源文件的名称,可按创作主题或其他方式命名,方便后期修改和区分)。

06. 修改 batch_name(图片保存在云盘的名称);设置 steps,可按默认值(数值越大画面越精细);设置 width_height(图片尺寸,需是 64 的倍数)。

07. 点击 Extra Settings 前面的小三角,设置 intermediate_saves(设置过程图保存张数,设置为 0 渲染完成只保存最后一张图,设置为 2,渲染完成会得到一张进度 33%、一张 66% 和一张 100% 的图片,数值越大数量越多,不影响渲染速度)。

08. 设置 Prompts(在这里输入描述画面的语句,格式为"XXXX, XXXX, XXXX.",建议在其他地方编辑好直接粘贴过来,保留最前和最后的引号,使用一个 Prompt 即可,不要求是完整的句子,可以是长短句或单词,可参考默认结构,前置词描述画作类别,中间描述画面内容,后接参考风格的艺术家,另外可以增加整体风格的词汇或者其他内容,emoji 也可以)。

09. 设置 display_rate(渲染预览图的刷新频率,建议设置为 5,每过 5 个 steps 更新一次预览图),设置 n_batches(以这个主题渲染的图片张数,因为每次渲染的结果都是不同的,所以可以设置多张图片,一张渲染完成后会接着渲染下一张,已经渲染完成的会自动保存,可按需要设置)。

10. 点击「代码执行程序」选择「全部运行」。

11. 弹出「笔记本需要高 RAM」的窗口,点击确定」。

12. 弹出「您还在设备面前吗?」的窗口,点击进行人机身份验证」,按指令进行验证。

13. 弹出「允许此笔记本访问您的 Google 云端硬盘文件吗?」的窗口,点击连接到 Google 云端硬盘」。

14. 弹出「登录 - Google 账号」窗口,选择你的谷歌账号点击允许」。

15. 回到 Disco Diffusion 的页面你会发现每段代码前面都有个中间有个三角形的圆,外面在转圈圈的就是在运行当前的代码,运行完成后前面会出现一个绿色的小勾,第一次运行需要等待几分钟,稍等片刻你会看到在「4. Diffuse!」的末尾会出现一张充满噪点的图,就表示开始渲染了,图片上方的 Batches 会显示你的渲染总进度,下方显示的是当前这张图的渲染进度,后面有预计的渲染时间,网页最下方会显示运行时间计时。

16. 过几分钟可能还会出现一次「您还在设备面前吗?」的弹窗,点击进行人机身份验证」,按指令进行验证,之后就可以慢慢渲了。(steps 设置为 250 实际上渲染只到 240,如果 display_rate 设置为了 5,那么图片下方的进度条每增加 5 个 steps 图片就会刷新一次,在这里右击是可以直接保存当前的图片的,当然按你的设置也会根据进度自动保存图片到你的谷歌云盘)

17. 之后你便可以在 Google Drive 直接查看保存的图片了,在 AI - Disco_Diffusion - images_out 相应的文件夹里,若设置了 intermediate_saves 会多出一个 partials 的子文件夹,里面是过程图。所有的图片都是随着进程实时更新的,每完成一个进度就会自动保存一张,在这里可以把图片下载到本地。Colab Notebooks 这个文件夹里保存的是你的源文件。



 

____进阶教程________________________________________________________________________________________

除了直接用文字描述的方式,Disco Diffusion 也可以在一张图片的基础上做渲染,你可以选择自己拍摄的照片、涂鸦的画作或是之前渲染的图片作为一个起点,再配合 Prompts 描述变成一个全新的作品。

基础的操作是一致的,我们只需要多一个步骤,就是在 Settings 里写入 init_image。首先我们需要把使用的图片上传到 content 中,这里有两种操作方式。

方式一

01. 点击左侧的第四个「文件图标展开文件窗口。(如果是新建的文件可能会出现入门教程第 11、12 步的弹窗,确定加验证就可以了)

02. 点击文件窗口上方第一个「上传到会话存储空间图标,选择你要上传的图片并点击「打开」,图片就会开始上传(你也可以把图片直接拖进文件窗口的空白处)。

03. 上传完成后图片会显示在文件窗口的列表中,找到你要使用的图片并点击文件名后方的三个小圆点,选择「复制路径」。

方式二

01. 进入 Google Drive 登入你的账号,在云端硬盘左侧依次点击 AI - Disco_Diffusion - init_images 进入文件夹。

02. 把图片直接拖进文件窗口的空白处(你也可以在空白处右击选择上传文件)

03. 打开或新建 DD 文件,按方式一打开左侧文件窗口,在列表中依次展开 drive - MyDrive - AI - Disco_Diffusion - init_images,找到你要使用的图片并点击文件名后方的三个小圆点,选择「复制路径」。

若在文件窗口找不到 drive 文件夹,请点击文件窗口第三个「装载 Google 云端硬盘图标,并按提示操作,载入你的 Google 云端硬盘,若文件夹还未出现,请点击文件窗口第二个「刷新」图标。

04. 找到 Settings - Init Settings - init_image,将路径粘贴在此处。

05. 设置 init_scale(默认值为 1000,数值越小变化越大);设置 skip_steps(默认值 100,就是将你的图片处理为初始噪点后,直接从 101 步开始使用 Prompts 渲染)。

06. 按照入门教程设置其他内容并运行代码即可。

____高阶教程________________________________________________________________________________________

高阶玩法就是各种摆弄参数了,大家可以参考 Disco Diffusion 内的 Tutorial 部分,这里对部分参数做了一些解释,也可以研究一下 Zippy's Disco Diffusion Cheatsheet v0.2 这个文档。

目前通过 v5.2 的版本我们不仅可以使用 DD 生成 2D 的图像,还可以制作 3D 的内容,包括视频,甚至可以制作 VR 视频。由于本人也是接触不久,目前还没有研究,这边就不做介绍了。

____本地运行________________________________________________________________________________________

上面提到过 Disco Diffusion 是可以部署到本地运行的,这边有一个本地部署的教程,供大家参考。

Disco Diffusion AI Guide by Eliso

本地运行需要 Nvidia 12GB VRAM 的 GPU,如果你的电脑无此配置,可以使用 CPU 本地运行,但是速度会很慢。

以上就是本教程的全部内容了,若有其他疑问,欢迎留言。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/1379984.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

Python人工智能之图片识别,Python3一行代码实现图片文字识别

自学Python3第5天,今天突发奇想,想用Python识别图片里的文字。没想到Python实现图片文字识别这么简单,只需要一行代码就能搞定 #作者微信:2501902696 from PIL import Image import pytesseract #上面都是导包,只需要…

人工智能识别图片食物

一、准备食物图片(橘子和苹果) 二、识别学习关键代码编写 public static void study() throws Exception {//学习 Picture picture new Picture();//图片解析类 图片(文件)-三通道矩阵 Config config new Config();//现有的环境…

【论文阅读】基于深度学习的时序预测——Crossformer

系列文章链接 论文一:2020 Informer:长时序数据预测 论文二:2021 Autoformer:长序列数据预测 论文三:2022 FEDformer:长序列数据预测 论文四:2022 Non-Stationary Transformers:非平…

人工智能图片分类Python小程序

个人小作业,虽说做的很差,也算是一个学习的转化;主要用于分类自己下载的壁纸 1 背景 学期末需要一个学习成果的展示,高难度的自己做不来,模型也跑不动(电脑有点渣),刚好自己也有图…

人工智能最全图谱

在过去的几个月中,我一直在收集有关人工智能的相关资料。随着各种的问题被越来越频繁的提及,我决定整理并分享有关人工智能、神经网络、机器学习、深度学习与大数据的技术合辑。同时为了内容更加生动易懂,本文将会针对各个大类展开详细解析。…

人工智能AI - 以图搜图产品

网站首页 以图搜图产品 主要特性 底层使用特征向量相似度搜索单台服务器十亿级数据的毫秒级搜索近实时搜索,支持分布式部署随时对数据进行插入、删除、搜索、更新等操作支持在线用户管理与服务器性能监控,支持限制单用户登录 系统功能 搜索管理&#…

2021-05-19 人工智能图片识别

手写数字识别案例(第一版) 任务:输入:28*28的灰度图片 输出:0-9的数字标签 样本量:6万训练样本,1万测试样本 数据处理:读取数据和预处理操作 模型设计:网络结构 训练…

人工智能——图搜索

一.数据驱动和目标驱动搜索 以下情况建议使用目标驱动搜索: (1)目标或假设是在问题陈述中给出的。例如定理的证明,目标就是定理。 (2)与问题数据匹配的规则非常多,会产生大量分支…

手机声音同步到另一部手机_手机数据同步、丢失不再可怕

日常生活中,我们使用手机最大的难题可能就是手机资料的丢失了。熊孩子玩手机在你不注意的情况下把照片删掉了,换新手机资料的同步更是麻烦,还有甚者就是手机丢了,里面的数据资料全面化为泡影,想哭都没地儿哭。而现在不…

互联网日报 | 华为发布首款商用台式机;京东健康正式登陆港交所;苹果推出首款头戴式耳机...

今日看点 ✦ 京东健康港交所上市,募资265亿港元、总市值超3400亿港元 ✦ 华为发布首款商用台式机,商用PC布局更进一步 ✦ 淘宝特价版注册“1元更香”商标,每月最后一周定为“1元更香节” ✦ 大众汽车(安徽)正式揭牌&am…

富士康登陆A股 工业互联网的盛宴

富士康工业互联网(FII)于6月8日登陆A股,开盘大涨44.01%,报19.83元,目前FII总市值达3905亿元,超过海康威视、美的集团等企业,位居A股市值第14名,同时也成为A股市值最高的科技企业。 …

要闻君说: 百度云喜提信息安全首证;紫光展锐携5G芯片进击2019MWC;OPPO首发5G手机惊艳亮相……...

关注并标星星CSDN云计算 每周三次,打卡即read 更快、更全了解泛云圈精彩news go go go 大家好!偶是要闻君。活动多多、新闻不少,精神饱满的周一,学起来!!! 文/要闻君 一年一度,十分…

LVS/DR+Keepalived负载均衡实战(一)

引言 负载均衡这个概念对于一个IT老鸟来说再也熟悉不过了,当听到此概念的第一反应是想到举世闻名的nginx,但殊不知还有一个大名鼎鼎的负载均衡方案可能被忽略了,因为对于一般系统来说,很多应用场合中采用nginx基本已经满足需求&a…

【Java】数据交换 Json 和 异步请求 Ajax

🎄欢迎来到边境矢梦的csdn博文,本文主要讲解Java 中 数据交换和异步请求 Json&Ajax 的相关知识🎄 🌈我是边境矢梦,一个正在为秋招和算法竞赛做准备的学生🌈 🎆喜欢的朋友可以关注一下&#…

go语言从0基础到安全项目开发实战

一.环境搭建并helloworld 搭建环境比较简单 1.1安装SDK 到以下链接下 Go下载 - Go语言中文网 - Golang中文社区 下载windows版本64位zip包 https://studygolang.com/dl/golang/go1.20.7.windows-amd64.zip 1.2配置环境变量 不配置的话就只能在bin目录下才能运行go命令 …

linux安装ftp

一、安装 参考博客 https://blog.csdn.net/dafeigecsdn/article/details/126518069 rpm -qa |grep vsftpd # 查看是否安装ftp yum -y install vsftpd # 安装vsftpuseradd -d /home/lanren312 lanren312 # 指定在/home目录下创建用户 passwd lanren312 # 给用户设置密码 # 输…

20220209学速写

抖音上学速写感觉不太行呀。虽然看起来简单但感觉手很笨,感觉从基础入门后开始讲的,而我还缺少基础。。。

人物速写示范(30张图)

人物速写示范(30张图) 2007/01/11 10:59 扫描自《叶老师速写教学示范》——湖北美术出版社叶军,1964年生于湖北沙市,毕业于湖北美术学院,学士学位。现为湖北美术学院副教授,中国画系副主任,研究…

学习速写的方法有哪些?如何快速学会速写?

本文由“学美术上美术集网校”原创,图片素材来自网络,仅供学习分享 学习速写的方法有哪些?如何快速学会速写?很多初学绘画者,包括有些已经进行过一些素描训练的学画青少年想画速写,总感到无从下手。在与这些初学绘画者的接触中,我总是尽量告诉他们一些速写方面的训练方…