Stable Diffusion

🎨 Stable Diffusion 是什么？

如果你把 ChatGPT 理解成一个可以直接对话的 AI，那么 Stable Diffusion 更像是一套可以自己搭建和控制的 AI 图像生成系统。它不是单独的一款网站，也不是只有一个模型，而是围绕 Stable Diffusion 模型形成的一整套开源或开放生态。

它最早因为文生图能力迅速流行起来。用户输入一句描述，例如“雨夜中的东京街头，一名穿着黑色风衣的人站在霓虹灯下”，模型就可以生成对应的图片。随着生态发展，Stable Diffusion 的能力已经从简单的文生图扩展到图生图、局部重绘、扩图、姿态控制、风格迁移、LoRA、ControlNet 等更加专业的工作流。

现在谈 Stable Diffusion，不能只看某一个模型版本。SDXL、Stable Diffusion 3.5 以及大量社区模型、LoRA 和插件共同组成了今天的 Stable Diffusion 生态。

⚡ Stable Diffusion 的核心功能

文生图：输入文字提示词生成图片，这是 Stable Diffusion 最基础也最重要的功能。用户可以控制人物、环境、光线、镜头、构图、艺术风格等内容。

图生图：上传一张已有图片，再让模型根据新的提示词重新生成。这个功能非常适合修改草图、改变风格、调整人物服装或者重新设计画面。

局部重绘：只修改图片中的某个区域，而不是重新生成整张图。例如人物脸部不满意，可以只重新生成脸部；产品广告中的背景不合适，也可以只修改背景。

扩图：原图只有人物半身，可以通过扩图把画面延伸成全身或者更宽的构图。这对于制作海报、横幅和社交媒体图片非常实用。

LoRA：LoRA 是 Stable Diffusion 生态中非常重要的一种轻量级模型。用户可以利用不同 LoRA 增加特定人物特征、服装、画风、角色或者物体效果，而不需要重新训练完整模型。

ControlNet：如果普通 AI 图片生成最大的缺点是“很难精确控制”，ControlNet 就是解决这个问题的重要工具。用户可以通过姿态、边缘、深度、线稿等信息控制生成结果。

模型切换：Stable Diffusion 最大的优势之一就是模型生态。用户可以根据写实、动漫、插画、产品摄影等不同需求选择不同模型。

🧠 Stable Diffusion 使用的 AI 技术

Stable Diffusion 属于扩散模型体系。简单理解，就是模型从随机噪声开始，通过多次计算逐渐还原出符合提示词的图像。

它与大型聊天模型的工作方式不同。Stable Diffusion 更关注视觉空间中的信息，通过文本编码器理解提示词，再利用扩散过程生成图像。

随着版本更新，模型在提示词理解、人物结构、文字生成、构图和图像质量方面不断改进。目前 Stable Diffusion 3.5 系列包括 Large、Large Turbo、Medium 和 Flash 等不同版本，可以根据质量、速度和硬件条件选择。

🌍 Stable Diffusion 为什么在全球流行？

Stable Diffusion 的全球影响力，很大程度上来自它没有把所有能力锁在一个网站里。用户可以下载模型，在自己的电脑上运行，也可以通过第三方 WebUI、云端 GPU 和 API 使用。

这让 Stable Diffusion 在设计师、AI 艺术家、游戏开发者、独立开发者和研究人员群体中形成了非常庞大的社区生态。大量模型、LoRA、ControlNet、插件和教程不断被社区开发出来。

这也是 Stable Diffusion 与很多纯在线 AI 图片工具最大的区别：它不是“打开网页就结束”的产品，而是一个可以不断扩展的技术生态。

🖥️ Stable Diffusion 可以怎么运行？

目前常见的方式主要有三种。

第一种：本地电脑运行。这是 Stable Diffusion 最有代表性的使用方式。用户在自己的 Windows 或 Linux 电脑上安装 WebUI，再下载模型运行。优点是隐私性好、可以自由选择模型和插件，不需要按图片数量持续付费。

第二种：云端 GPU。如果自己的电脑显卡性能不足，可以租用云 GPU 运行 Stable Diffusion。这样不需要购买高性能显卡，但长期高频使用时需要计算云 GPU 成本。

第三种：在线服务或 API。对于不想安装环境的普通用户，可以使用提供 Stable Diffusion 模型的在线平台；开发者则可以通过 API 将图像生成功能集成到自己的应用中。

🛠️ Windows 本地安装方法

对于第一次接触 Stable Diffusion 的用户，不建议一上来手动搭建复杂的 Python 环境。现在比较常见的选择包括 AUTOMATIC1111 和 Stable Diffusion WebUI Forge。

如果使用 AUTOMATIC1111，通常需要准备 Windows 10/11、NVIDIA 显卡、Python、Git，然后下载 WebUI 并运行启动脚本。安装完成后，浏览器可以打开本地 WebUI 进行操作。

如果电脑显存比较有限，可以考虑 Forge。Forge 在传统 Stable Diffusion WebUI 基础上进行了资源管理和推理性能方面的优化，并提供一键安装包，对新用户相对友好。

安装完成后，还需要下载对应的模型文件，并放到 WebUI 指定的模型目录。不同模型对显存、分辨率和工作流的要求不同，所以不要看到网上某个教程就完全照搬。

💻 电脑配置要求

Stable Diffusion 能不能顺畅运行，很大程度取决于显卡，而不是 CPU。

入门：8GB 显存可以开始体验很多常见工作流，但生成速度和可使用的模型会受到限制。

比较舒服：12GB 及以上显存会明显轻松一些，尤其是在使用 SDXL、ControlNet 或多个插件时。

专业工作流：16GB、24GB 甚至更高显存会更适合高分辨率生成、批量生成和复杂工作流。

AMD 和 Intel GPU 也可以运行部分 Stable Diffusion 工作流，但如果你准备长期玩本地 AI 绘图，NVIDIA GPU 通常仍然是生态兼容性更省心的选择。

💡 Stable Diffusion 提示词技巧

Stable Diffusion 的提示词和普通聊天 AI 不太一样。与其写一大段自然语言，不如把真正重要的信息拆开。

例如可以按照“主体 + 外观 + 环境 + 光线 + 构图 + 镜头 + 风格 + 质量”的思路组织提示词。

例如：“young Asian businessman, black suit, modern office, window light, cinematic composition, 50mm lens, realistic photography”。

如果使用的是支持 Negative Prompt 的工作流，还可以加入希望避免的内容，例如低质量、畸形手指、错误比例、模糊等。

但不要迷信超长提示词。Stable Diffusion 的不同模型对提示词的理解方式不同，模型本身往往比堆几十个形容词更加重要。

🎯 Stable Diffusion 的实际使用场景

电商：制作产品背景、广告创意、营销视觉和不同场景的商品展示图。

设计：快速生成海报、插画、概念设计、UI视觉素材和品牌创意。

游戏：用于角色概念、场景概念、道具设计和前期美术探索。

影视：制作分镜参考、场景概念、角色造型和视觉预览。

自媒体：生成文章配图、短视频封面、社交媒体图片和宣传素材。

AI研究：由于模型生态开放程度较高，研究人员和开发者可以进行模型微调、LoRA训练和各种实验。

📌 一个比较实用的案例

例如一家电商公司需要为一款黑色运动鞋制作十组不同广告场景。

传统方式需要摄影、场地、灯光和后期制作。使用 Stable Diffusion，可以先准备产品图，然后通过图生图、ControlNet 和局部重绘制作不同场景。

例如第一组是城市夜景，第二组是健身房，第三组是户外跑步，第四组是极简产品摄影。最终再通过人工后期统一产品比例、颜色和品牌信息。

这里最重要的一点是：不要把 AI 输出直接当成最终商业素材。真实产品的Logo、文字、尺寸和商品细节仍然应该人工检查。

🎬 Stable Diffusion 能做视频吗？

Stable Diffusion 本身最核心的能力仍然是图像生成，但围绕 Stable Diffusion 已经形成了大量动画和视频工作流，可以通过 AnimateDiff 等扩展以及其他视频模型实现图像动画化。

因此更准确的说法是：Stable Diffusion 是一个以图像生成为核心、同时可以通过扩展进入动画和视频工作流的生态，而不是传统意义上的完整 AI 视频编辑器。

💰 Stable Diffusion 收费吗？

Stable Diffusion 没有一个简单的“统一价格”。这是很多第一次接触 Stable Diffusion 的用户容易误解的地方。

本地运行：如果模型和相关软件符合对应许可条件，本地运行通常不需要按照每张图片支付生成费用。真正的成本主要来自电脑硬件、电费和显卡。

Stability AI 社区许可：目前 Stable Diffusion 3.5 系列属于 Stability AI 的社区许可体系。符合条件的个人、研究人员、创作者以及年收入低于 100 万美元的企业可以按照社区许可免费使用。

大型商业企业：如果企业年收入超过 100 万美元，或者属于需要企业级部署和商业支持的场景，则可能需要企业许可。

API：如果通过 Stability AI 官方 API 使用，则按照 credits 计费。当前 1 credit 为 0.01 美元，SD 3.5 Large 每次成功生成约 6.5 credits，Large Turbo 约 4 credits，Medium 约 3.5 credits，Flash 约 2.5 credits。

⚖️ Stable Diffusion 的优点

高度自由：用户可以选择模型、LoRA、ControlNet、插件和工作流。

本地运行：重要图片可以在自己的电脑上生成，不必把素材上传到第三方网站。

生态庞大：拥有大量社区模型、LoRA、插件和教程。

可定制：开发者可以训练自己的 LoRA，甚至进行模型微调。

适合专业工作流：ControlNet、Inpainting、Outpainting 等功能可以实现非常细的画面控制。

⚠️ Stable Diffusion 的缺点

学习成本高：第一次安装 WebUI、模型、LoRA 和插件时，确实比在线 AI 图片工具麻烦很多。

硬件要求：高质量、高分辨率和复杂工作流对显存要求比较高。

模型选择容易让新手迷茫：网上有大量模型，但不同模型的画风和适用范围差异非常大。

结果需要调参数：想得到稳定、可重复的结果，需要逐渐理解采样器、Steps、CFG、Seed、Denoising Strength 等参数。

商业使用需要注意授权：不能因为模型“能下载”就认为可以无条件商业使用。不同模型、LoRA 和第三方资源可能拥有不同许可证。

❓ Stable Diffusion 常见问题

Stable Diffusion 是一个网站吗？不是。它更准确地说是一系列 AI 图像生成模型及其生态。

Stable Diffusion 免费吗？本地运行在符合许可条件的情况下通常不按图片收费；官方 API 则按 credits 计费。

Stable Diffusion 需要显卡吗？本地运行最好拥有独立 GPU。显存越大，能够运行的模型和复杂工作流通常越多。

Stable Diffusion 和 Midjourney 有什么区别？Midjourney 更强调开箱即用和视觉效果；Stable Diffusion 更强调自由度、模型生态和本地控制。

Stable Diffusion 和 ChatGPT 有什么区别？ChatGPT主要处理文本、推理和多模态交互，而 Stable Diffusion 的核心方向是视觉内容生成。

为什么生成的人手容易出问题？不同模型对人体结构的理解不同，复杂姿态也会增加错误概率。可以通过更合适的模型、ControlNet、局部重绘和后期修复改善结果。

🏁 Stable Diffusion 值得学习吗？

如果你只是偶尔想生成几张图片，Stable Diffusion 的学习成本可能有些高，直接使用在线 AI 图片工具会更加省事。

但如果你希望真正理解 AI 绘图、自己控制模型、训练 LoRA、搭建本地工作流，或者把 AI 图片生成用于长期内容生产，那么 Stable Diffusion 依然值得学习。

它最大的价值并不是“免费”，而是可控制、可扩展、可定制。这也是 Stable Diffusion 在 AI 图片生成领域长期保持影响力的重要原因。