Stable Diffusion XL实战：本地部署AI绘画完全指南
Stable Diffusion XL（简称SDXL）是目前开源AI绘画领域最强大的模型之一。相比在线服务，本地部署能给你带来完全的自由度和隐私保障。本文将从零开始，手把手带你完成SDXL的本地部署，即使你是完全的新手，也能跟着步骤一步步搭建起属于自己的AI绘画工作站。
一、为什么选择本地部署
很多人可能会问：已经有Midjourney、DALL-E这些在线工具了，为什么还要折腾本地部署？原因有以下几点：
- 完全免费：除了初始硬件投入，后续使用不产生任何费用。不需要按月订阅，不限制生成次数，想画多少画多少。
- 无限制生成：没有内容审核限制，没有每日配额，可以24小时不间断批量生成，适合需要大量素材的创作者。
- 隐私保障：所有图片在本地生成和存储，不会上传到任何第三方服务器，适合处理商业机密或个人敏感内容。
- 自定义模型：可以自由加载社区制作的各种微调模型、LoRA、嵌入式向量等，实现特定风格的精确控制。
- 离线可用：部署完成后无需联网即可使用，不受网络状况和服务器故障影响。
二、硬件要求
本地部署SDXL对硬件有一定要求，下面分别列出最低配置和推荐配置：
最低配置
- 显卡：NVIDIA GPU，显存8GB（如RTX 3060 8GB、RTX 4060）
- 内存：16GB RAM
- 硬盘：50GB可用空间（SSD优先）
- 系统：Windows 10/11 64位 或 Linux
- Python：3.10.x
推荐配置
- 显卡：NVIDIA GPU，显存12GB以上（如RTX 4070、RTX 4080、RTX 4090）
- 内存：32GB RAM
- 硬盘：200GB+ SSD（模型文件较大，多个模型需要更多空间）
- 系统：Windows 11 或 Ubuntu 22.04
- Python：3.10.x（不要用3.11+，部分依赖不兼容）
重要提示：AMD显卡虽然也能运行，但需要使用DirectML后端，性能和兼容性远不如NVIDIA的CUDA方案。强烈建议使用NVIDIA显卡。
三、安装步骤详解
目前主流的Stable Diffusion前端有两个：AUTOMATIC1111的WebUI和ComfyUI。我们分别介绍安装方法。
方案A：Stable Diffusion WebUI（AUTOMATIC1111）
WebUI是最流行的方案，界面直观，适合新手上手。以下是Windows环境下的安装步骤：
步骤1：安装Python 3.10
从Python官网下载3.10.x版本，安装时务必勾选"Add Python to PATH"。安装完成后验证：
python --version
步骤2：安装Git
从Git官网下载安装包，使用默认配置即可。
步骤3：克隆WebUI仓库
打开命令行，进入你想存放项目的目录，执行：
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
步骤4：首次启动
进入项目目录，运行启动脚本：
cd stable-diffusion-webui
webui-user.bat
首次启动会自动下载所需的依赖包和PyTorch，过程大约需要10-30分钟（取决于网速）。完成后浏览器会自动打开WebUI界面。
步骤5：优化启动参数
编辑 webui-user.bat 文件，在 COMMANDLINE_ARGS 一行添加优化参数：
set COMMANDLINE_ARGS=--xformers --no-half-vae --theme dark
--xformers：启用xformers加速，显著提升生成速度并降低显存占用--no-half-vae：防止VAE解码时出现黑色图片--theme dark：使用暗色主题，对眼睛友好
如果你的显存只有8GB，还可以添加：
set COMMANDLINE_ARGS=--xformers --no-half-vae --medvram
方案B：ComfyUI（节点式工作流）
ComfyUI采用节点连线的方式构建工作流，更灵活但学习曲线较陡。适合有一定基础、需要精确控制生成流程的用户。
安装步骤：
- 从GitHub克隆ComfyUI仓库：
git clone https://github.com/comfyanonymous/ComfyUI.git - 安装依赖：
pip install -r requirements.txt - 将模型文件放入
models/checkpoints/目录 - 启动：
python main.py
ComfyUI的优势在于工作流可以保存和分享，社区有大量现成的工作流模板可供下载。对于需要复杂后处理流程的用户，ComfyUI是更好的选择。
四、模型下载与配置
安装好前端后，需要下载AI模型文件才能开始生成图片。
模型下载源
- Civitai（civitai.com）：最大的SD模型社区，有海量模型和示例图片，支持按风格、类型筛选
- HuggingFace（huggingface.co）：官方模型托管平台，适合下载基础模型和官方发布版本
SDXL核心文件
- SDXL Base模型：主模型文件，约6.5GB，放入
models/Stable-diffusion/目录 - SDXL Refiner模型：精炼模型，用于提升图片细节，约6GB（可选）
- SDXL VAE：图像解码器，约335MB，放入
models/VAE/目录，推荐使用sdxl_vae.safetensors
LoRA模型
LoRA是轻量级的微调模型，文件通常只有几十MB到几百MB，可以在不替换主模型的情况下改变画风或添加特定概念。下载后放入 models/Lora/ 目录，在提示词中使用 <lora:文件名:权重> 格式调用。
推荐的社区模型
- DreamShaper XL：通用型模型，质量稳定，适合各种场景
- Juggernaut XL：写实风格首选，人像表现出色
- Animagine XL：动漫风格专精模型，二次元创作必备
- RealVisXL：极致写实，照片级别输出
五、必装插件推荐
WebUI的强大之处在于其丰富的插件生态。以下是我认为必须安装的几个插件：
1. ControlNet
最重要的插件，没有之一。ControlNet允许你通过骨骼图、深度图、线稿等方式精确控制生成图片的构图和姿态。安装方法：在WebUI的"Extensions"标签页搜索 sd-webui-controlnet 并安装。
2. ADetailer（After Detailer）
自动检测并修复图片中的人脸和手部细节。无需手动inpaint，大幅提升人物图片质量。对于经常生成人物的用户，这是必装插件。
3. Ultimate SD Upscale
分块放大图片的插件，可以将图片放大2-4倍而不爆显存。配合ESRGAN等超分模型使用，能输出高分辨率的精细大图。
4. Regional Prompter
允许对画面不同区域使用不同的提示词，解决多人物或复杂场景中提示词混乱的问题。例如左侧画一个红衣人物，右侧画一个蓝衣人物。
5. Tiled Diffusion
配合Tiled VAE使用，可以在有限显存下生成超大分辨率图片（如4K、8K），通过分块处理突破显存限制。
六、常见问题解决
CUDA相关错误
问题：启动时报 CUDA out of memory 或 CUDA not available
解决：
- 确认已安装NVIDIA最新驱动（版本号535以上）
- 确认PyTorch版本与CUDA版本匹配：
python -c "import torch; print(torch.cuda.is_available())" - 如果显示False，需要重新安装对应版本的PyTorch
显存不足（Out of Memory）
问题：生成图片时报OOM错误
解决：
- 添加
--medvram或--lowvram启动参数 - 减小生成分辨率，SDXL推荐1024x1024，不要超过1536
- 关闭其他占用显存的程序（浏览器、游戏等）
- 使用
--xformers降低显存占用
生成速度慢
问题：每张图需要很长时间
解决：
- 确保
--xformers已启用 - 减少采样步数，通常20-30步即可获得不错效果
- 使用更快的采样器：DPM++ 2M Karras 或 Euler a
- 检查是否使用了CPU而非GPU生成
生成黑色图片
问题：图片全黑或有大面积黑色区域
解决：
- 添加
--no-half-vae启动参数 - 在设置中手动指定VAE文件
- 检查提示词中是否有冲突的负面描述
七、进阶技巧
图生图（img2img）
利用已有图片作为参考，配合提示词进行二次创作。调整"重绘幅度"（Denoising Strength）可以控制与原图的相似程度：0.3-0.5保留原图主体，0.6-0.8大幅改变细节，0.9以上几乎重新生成。
局部重绘（Inpainting）
对图片的特定区域进行重新生成，适合修复瑕疵或替换局部元素。使用技巧：蒙版边缘要留出过渡区域，重绘区域不宜过小，建议搭配"仅蒙版区域"模式获得更好的细节。
ControlNet姿态控制
使用OpenPose骨骼图精确控制人物姿态是ControlNet最常用的功能。你可以：
- 使用参考照片提取骨骼
- 手动编辑骨骼图调整姿态
- 组合多个ControlNet（如骨骼+深度图）获得更精确的控制
批量生成与XYZ图表
WebUI内置的XYZ Plot脚本可以自动化测试不同参数组合。例如横轴设置不同的采样器，纵轴设置不同的CFG值，一次生成对比图表，快速找到最佳参数。批量生成时建议使用固定seed并递增，方便对比效果。
提示词技巧
- 使用权重语法调整关键词重要性：
(关键词:1.3)加强，(关键词:0.7)减弱 - 善用负面提示词排除不想要的元素：
low quality, blurry, deformed hands - 提示词顺序有影响，靠前的词权重更高
- SDXL对自然语言描述的理解更好，可以使用完整句子而非堆砌标签