Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程

lora_1.jpg

本文收录于《AI绘画从入门到精通》专栏,专栏总目录:点这里,订阅后可阅读专栏内所有文章。

大家好,我是水滴~~
本教程旨在深入探讨 LoRA 模型的奥秘,涵盖其基本概念、独特作用以及实操指南。我们将从下载和使用LoRA的步骤出发,进而探讨在使用 LoRA 模型时需要注意的细节,从而生成精美的图片。
文章内容包含大量的图例,希望能够帮助新手同学快速入门。

文章目录

  • 一、LoRA 是什么
  • 二、LoRA 有什么作用
  • 三、怎么下载 LoRA 模型
  • 四、LoRA 模型放到哪里
  • 五、如何使用 LoRA
    • 5.1 语法
    • 5.2 触发词
    • 5.3 简单用法
  • 六、使用 LoRA 的注意事项
    • 6.1 大模型的选择
    • 6.2 参数设置
    • 6.3 触发词
    • 6.4 LoRA 的名字
    • 6.5 LoRA 的权重


一、LoRA 是什么

LoRA(Low-Rank Adaptation)本身是一种用于微调稳定扩散模型的训练技术。LoRA 模型是一种轻量级的扩散模型,用于对标准的 Checkpoint 模型进行微调。它的文件大小通常比Checkpoint 模型小 10 到 100倍(约为 2~200 MB),而且训练的门槛也比较低,这使得它非常受欢迎。

LoRA 模型不能独立运行,必须与 Checkpoint 模型一起使用。LoRA 会对该 Checkpoint 模型进行细微调整来达到风格上的变化。

随着 SDXL 的发布,StabilityAI 预计在 SDXL v1.0 基础模型上运用 LoRA 来增强图像的做法,将会成为一种流行的方式。

二、LoRA 有什么作用

LoRA 作为一种“微调”模型,它可以指导 AI 生成固定的角色、服饰、表情和动作,还可以调整画面的风格、光线和细节等等。

下图案例中使用了《IU》LoRA 模型,并通过四个不同模型分别生成了四张图片。每一张都精准捕捉到了爱豆李知恩的神韵与魅力:
lora_1.jpg
下图案例中使用了《hanfu 汉服》LoRA 模型,并通过四个不同模型分别生成了四张图片。可以看到,每一张图片中的小姐姐都穿上了汉服:
lora_2.jpg
下图案例中使用了《Bloodstained - Vector / illustrative》LoRA 模型,并通过四个不同模型分别生成了四张图片。下面每一张图片的配色方案都偏向于黑色和红色:
lora_3.jpg
这里我们公公展示了三个案例,还有很多 LoRA 模型供我们使用,每一个模型都有独特的地方,值得我们去探索。

三、怎么下载 LoRA 模型

我们通常在C站上下载 LoRA 模型,找到左上角带“LoRA”字样的模型:
image.png
或者在过滤器中,直接筛选出所有“LoRA”模型:
image.png
然后点击一个 LoRA 模型,进入详情页,再点击“下载”按钮即可:
image.png

四、LoRA 模型放到哪里

下载的 LoRA 模型,我们放到 stable-diffusion-webui\models\Lora 目录下:
image.png
这样,我们就可以在 Stable Diffusion WebUI 主界面的“LoRA”选项卡中找到了,附上同名的图片,在这里还可以显示预览图:

在这里插入图片描述

五、如何使用 LoRA

那么我们该如何使用 LoRA 模型呢?下面我们继续学习。

5.1 语法

LoRA 的使用比较简单,只需要在“提示词”中输入即可,下面是语法:<lora: name: weight>

  • lora:LoRA 的标志;
  • name:LoRA 模型的名称,最好使用文件名;
  • weight:使用 LoRA 的权重,与提示词权重类似。默认值为1,设为0表示不生效。

例如:
image.png
还可以同时使用多个 LoRA,不过要调整好使用的权重:
image.png

5.2 触发词

有些 LoRA 模型必须写上“触发词”才能生效,通常会在下载页能找到:
image.png
使用的时候,将“触发词”一并写上:
image.png

5.3 简单用法

在 Stable Diffusion WebUI 中还有简单的用法,我们只需要在 “LoRA” 界面,点击一下 LoRA 模型,就可以将该 LoRA 自动添加到提示词中了:

在这里插入图片描述

我们还可以点击模型的“编辑”按钮,来修改默认值:

在这里插入图片描述

编辑页面可以添加“触发词”,还可以修改默认权重等信息:
image.png
这样,我们再点击模型的时候,就将修改的内容一并带出来了:

在这里插入图片描述

六、使用 LoRA 的注意事项

初次使用 LoRA 模型时,你可能会发现生成的图像与预期有所偏差,显得有些奇特。这种现象并非偶然,而是因为在使用 LoRA 时,有一些关键的注意事项需要我们细心遵守。

6.1 大模型的选择

LoRA 通常是基于大模型来训练的,所以我们使用时如果能保持大模型一致,那么生成的效果肯定是最好的。
那么,我们怎么知道作者使用的哪个大模型呢?
(1)一般作者都会在 LoRA 介绍页面里给出推荐的大模型;
(2)还可以从示例图的生成信息里找到:
image.png

6.2 参数设置

有时对生成参数也会影响 LoRA 的使用,作者在介绍页里一般会给出推荐的参数;或者与示例图的参数信息保持一致。

6.3 触发词

有些 LoRA 模型需要使用“触发词”才能够生效,可以在介绍页面找到。为了便于使用,我们将“触发词”附加到本地的 LoRA 信息中,以免忘记。
image.png

6.4 LoRA 的名字

在使用 LoRA 时(<lora: name: weight>),我们通常将 name 设置的与 LoRA 模型的文件名相同,否则也会不生效。

6.5 LoRA 的权重

在使用 LoRA 时(<lora: name: weight>),weight 为权重,该值越大代表 LoRA 对生成的结果影响就越大。但权重过高也会产生不好的效果,通常不要超过1,设置在 0.8~0.9 即可。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/2980993.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

详解数据结构:队列(含栈与队列扩展)

一、顺序队列 有一种线性序列&#xff0c;特点是先进先出&#xff0c;这种存储结构称为队列。队列也是一种线性表&#xff0c;只不过它是操作受限的线性表&#xff0c;只能再两端操作&#xff1a;一端进、一端出。进的一端称为队尾&#xff0c;出的一端称为队头。队列可以用顺…

贪心算法在单位时间任务调度问题中的应用

贪心算法在单位时间任务调度问题中的应用 一、引言二、问题描述与算法设计三、算法证明四、算法实现与效率分析五、C语言实现示例六、结论 一、引言 单位时间任务调度问题是一类经典的优化问题&#xff0c;旨在分配任务到不同的时间槽中&#xff0c;使得某种性能指标达到最优。…

RTU遥测终端为城市排水安全保驾护航!

近年来&#xff0c;全球气候变迁与城市化进程不断加速&#xff0c;导致强降雨事件频发&#xff0c;道路低洼地带、下穿式立交桥和隧道等区域在暴雨中常易积水&#xff0c;严重阻碍了人民的出行&#xff0c;甚至危及生命与财产安全。而传统的排水管网管理方式已难以适应现代城市…

elasticsearch-8.1.0安装记录

目录 零、版本说明一、安装二、使用客户端访问 零、版本说明 centos [rootnode1 ~]# cat /etc/redhat-release CentOS Linux release 7.9.2009 (Core)elasticsearch elasticsearch-8.1.0-linux-x86_64一、安装 systemctl stop firewalld.servicesystemctl disable firewal…

MATLAB 数据类型

MATLAB 数据类型 MATLAB 不需要任何类型声明或维度语句。每当 MATLAB 遇到一个新的变量名&#xff0c;它就创建变量并分配适当的内存空间。 如果变量已经存在&#xff0c;那么MATLAB将用新内容替换原始内容&#xff0c;并在必要时分配新的存储空间。 例如&#xff0c; Tota…

【Linux】深入理解Linux文件系统与日志分析

目录 一、inode与block 1.block与inode概述 2.inode的内容 3.inode号码 4.inode的大小 5.访问文件的简单流程 6.inode的特殊作用 7.通过indoe号删除rm常规方法删除不掉的文件 二、硬链接和软链接 三、恢复误删除的文件 1.恢复EXT类型的文件 示例 2.xfs类型文件备份…

通信场景:动态调整对象池大小

通信场景&#xff1a;动态调整对象池大小 文章目录 通信场景&#xff1a;动态调整对象池大小前言历史通信量队列长度系统资源响应时间结语 前言 在做通信相关的开发时&#xff0c;使用对象池管理用于存放接收数据的内存块&#xff0c;是一种常见的优化技术。特别是在需要频繁分…

jvm中的引用类型

Java中的引用类型 1.强引用 一个对象A被局部变量、静态变量引用了就产生了强引用。因为局部变量、静态变量都是被GC Root对象关联上的&#xff0c;所以被引用的对象A&#xff0c;就在GC Root的引用链上了。只要这一层关系存在&#xff0c;对象A就不会被垃圾回收器回收。所以只要…

洛基计划project loki加速器推荐 免费低延迟联机加速器分享

洛基计划project loki加速器推荐 免费低延迟联机加速器分享 《洛基计划》是一款团队PVP游戏&#xff0c;融合有动作、英雄设计、大逃杀等元素&#xff0c;由前拳头游戏、Bungie和暴雪娱乐员工创立的新工作室Theorycraft Games共同发布。《洛基计划》汇集了一些大型团队PVP游戏…

原生js实现一个简化版的h函数

原生js实现一个简化版的h函数 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Document</title&…

轻量和ECS对比:阿里云轻量应用服务器和云服务器有啥区别?

阿里云轻量应用服务器和云服务器ECS区别对照表&#xff0c;一看就懂的适用人群、使用场景、优缺点、使用限制、计费方式、网路和镜像系统全方位对比&#xff0c;阿里云服务器网aliyunfuwuqi.com整理ECS和轻量应用服务器区别对照表&#xff0c;可以在阿里云CLUB中心领取 aliyun.…

HTML5+CSS3小实例:炫彩荧光线条登录框

实例:炫彩荧光线条登录框 技术栈:HTML+CSS 效果: 源码: 【HTML】 <!DOCTYPE html> <html lang="zh-CN"><head><meta charset="UTF-8"><meta name="viewport" content="width=device-width, initial-sca…

OpenTelemetry-2.Go接入Jaeger(grpc,gin-http)

目录 1.什么是OpenTelemetry 2.搭建jaeger 3.链路追踪 本地调用 远程调用 GRPC proto server端 client端 Gin-HTTP 调用流程 api1 api2 grpc 4.完整代码 1.什么是OpenTelemetry 参考&#xff1a;OpenTelemetry-1.介绍-CSDN博客 2.搭建jaeger 参考&#xff1a;…

第100+6步 ChatGPT文献复现:ARIMAX预测新冠

基于WIN10的64位系统演示 一、写在前面 我们继续来解读ARIMAX模型文章&#xff0c;这一轮带来的是&#xff1a; 《PLoS One》杂志的2022年一篇题目为《A data-driven eXtreme gradient boosting machine learning model to predict COVID-19 transmission with meteorologic…

Android视角看鸿蒙第十二课-鸿蒙的布局之相对布局RelativeContainer

Android视角看鸿蒙第十二课-鸿蒙的布局之相对布局RelativeContainer 导读 相对布局和线性、层叠布局一样都是类似于Android布局的&#xff0c;之前两篇文章已经了解线性、层叠布局的使用方法&#xff0c;这篇文章一起来学习下鸿蒙中的相对布局。 之前的文章中&#xff0c;我偶…

【驱动】AM437x中出现很多bioset进程,杀不掉,有影响吗?

1、问题描述 查看linux系统进程时,发现很多bioset进程 2、问题分析 1)bioset进程是内核线程 这些bioset进程与Linux内核的块I/O(Block Input/Output)层有关,它们是内核线程,不是用户空间的进程。 Linux的块I/O层负责管理磁盘和其他块设备的数据传输。当系统读写磁盘…

【python程序打包教程】PyInstaller一键打包Python程序为独立可执行exe文件

《博主简介》 小伙伴们好&#xff0c;我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。 ✌更多学习资源&#xff0c;可关注公-仲-hao:【阿旭算法与机器学习】&#xff0c;共同学习交流~ &#x1f44d;感谢小伙伴们点赞、关注&#xff01; 《------往期经典推…

AI大模型探索之路-认知篇4:大语言模型预训练基础认知

文章目录 前言一、预训练流程分析二、预训练两大挑战三、预训练网络通信四、预训练数据并行五、预训练模型并行六、预训练3D并行七、预训练代码示例总结 前言 在人工智能的宏伟蓝图中&#xff0c;大语言模型&#xff08;LLM&#xff09;的预训练是构筑智慧之塔的基石。预训练过…

嵌入式s5p5818核心板介绍

底板寻址空间介绍 s5p6818 寻址空间采用统一编址方式进行管理 寻址空间映射图&#xff1a; 独立寻址&#xff1a;片内片外存储器只能选择其中一个 统一寻址&#xff1a;片内片外存储器都能使用&#xff0c;且使用的是同一片连续的寻址空间 reserved保留&#xff0c;Normaol …

Ubuntu20.04安装redis5.0.7

redis下载命令&#xff1a; wget https://download.redis.io/releases/redis-5.0.7.tar.gz 解压到 opt目录下 tar -zxvf redis-5.0.7.tar.gz -C /opt apt install -y gcc # 安装gccapt install make # 安装make 后面执行make一直报错 make报错后清除&#xff1a; make …