2026/9/5 1:43:54
FEATURED · 精选文章 
最近在B站AI创作大赛的三国主题赛区一个名为“诸葛亮带十万大学生北伐”的作品火了。它没有复杂的剧情却精准地戳中了当代年轻人的集体情绪当“内卷”成为常态当“躺平”成为无奈一个关于“北伐”的宏大叙事配上“十万大学生”这个极具时代感的群体瞬间引爆了共鸣。这背后远不止是一个有趣的视频那么简单。它揭示了一个正在发生的深刻变化AI创作工具特别是视频生成AI正在从“技术玩具”变成“情绪放大器”和“文化模因制造机”。过去一个创意从构思到成片需要编剧、分镜、拍摄、剪辑、配音、特效等一系列专业门槛。而现在一个普通人借助AI就能在几个小时内将一个天马行空的想法变成一部有模有样的短片并直接触达百万观众。本文要探讨的正是这个现象背后的技术逻辑和创作实践。我们将以“诸葛亮带十万大学生北伐”这类作品为切入点拆解如何利用当前主流的AI工具链从零开始实现一个高质量的三国主题AI短片。核心判断是AI视频创作的核心竞争力已经从“会不会用工具”转向“如何用工具精准表达创意和情绪”。本文将为你提供一套可落地的、从创意到成片的完整工作流并重点分析其中最容易踩坑的环节。1. 这篇文章真正要解决的问题你可能已经看过不少AI生成的炫酷视频也尝试过一些文生视频工具但结果往往是生成的画面要么不符合预期要么视频连贯性差人物“瞬息万变”故事逻辑混乱。你感到AI视频“也就图一乐”离真正可用的创作还差得远。这正是本文要解决的核心问题如何系统性地、可控地使用AI工具完成一个主题明确、叙事连贯、情绪到位的短片创作我们将以“三国”这个具体主题为例因为它的元素人物、场景、服装、兵器相对固定便于我们聚焦于工作流本身而非无限度的创意发散。具体来说我们将解决以下痛点创意到提示词Prompt的转化如何将“诸葛亮带十万大学生北伐”这个抽象概念拆解成AI能理解的、可执行的画面描述角色一致性与画面连贯性如何让诸葛亮在不同镜头中保持同一张脸如何让十万大学生的场景有规模感且不违和叙事节奏与镜头语言如何用AI模拟出远景、中景、特写等不同镜头并组合成一个有起承转合的故事多工具链协同单靠一个工具很难成事。如何将文生图如Midjourney/Stable Diffusion、图生视频如Runway/Stable Video Diffusion、音频生成如 ElevenLabs、剪辑工具组合起来形成高效流水线成本与效率的平衡哪些环节值得投入精力精细化调整哪些环节可以接受AI的“随机性”以提升效率通过本文的拆解你将获得的不只是一个三国视频的制作方法更是一套应对各类主题AI短片创作的通用框架。2. 基础概念与核心工具链在开始实操前我们需要理解当前AI视频创作的核心范式。它不再是单一模型输入输出而是一个“分镜制作动态化后期合成”的流程。2.1 核心工作流拆解一个典型的AI短片创作可以分为以下四个阶段剧本与分镜将故事转化为具体的镜头描述。这是最重要的一步决定了后续所有工作的方向。静态画面分镜图生成使用文生图AI根据分镜描述生成高质量的静态关键帧图片。这是保证画面质量和角色一致性的基础。静态图动态化使用图生视频AI为关键帧图片添加运动生成短视频片段。后期合成与配音将多个视频片段剪辑、拼接添加背景音乐、音效和AI生成的旁白/对话配音。2.2 关键工具介绍下表列出了各阶段的主流工具及其定位阶段工具名称核心能力特点与适用场景文生图Midjourney图像质量极高艺术感强易上手。适合生成具有强烈风格和美感的关键帧、角色定妆照。对提示词要求高。Stable Diffusion (WebUI)开源可控性强支持LoRA、ControlNet等插件。适合需要精确控制人物相貌、姿势、场景细节的深度创作。学习曲线较陡。图生视频Runway Gen-2动态效果自然生态成熟操作简单。适合为高质量静态图添加合理的镜头运动如推拉摇移。Stable Video Diffusion开源可本地部署定制化潜力大。适合对成本敏感、需要批量处理或进行技术研究的开发者。Pika Labs在角色一致性方面有特色社区活跃。适合需要人物说话、做表情的镜头。音频生成ElevenLabs语音合成自然支持多语言、多情感音色库丰富。生成旁白和角色配音的首选几乎可以假乱真。OpenAI TTS接口易用成本低音色稳定。适合对音质要求不高、需要快速批量生成解说词的场景。剪辑合成DaVinci Resolve专业级免费软件功能全面。适合对调色、音频处理有要求的创作者。CapCut / 剪映模板多AI功能丰富移动端和PC端均可用。适合快速出片内置的AI字幕、智能剪辑很好用。对于“诸葛亮带十万大学生北伐”这个项目我们的策略是用Stable Diffusion保证诸葛亮形象的绝对一致性用Midjourney辅助生成宏大的场景和氛围图用Runway完成动态化用ElevenLabs生成配音最后用DaVinci Resolve合成。3. 环境准备与前置条件由于我们会用到Stable Diffusion WebUI以下简称SD这部分的环境搭建稍复杂但它是实现角色一致性的关键。3.1 硬件与基础软件操作系统Windows 10/11或 Linux。macOSM系列芯片也可运行但部分插件优化不足。显卡强烈推荐NVIDIA显卡显存至少8GB如RTX 3060 12G16GB或以上体验更佳如RTX 4070 Ti Super 16G。这是本地运行SD的基础。Python版本 3.10.6 到 3.10.11 之间。这是SD WebUI的推荐版本。Git用于克隆代码仓库。3.2 核心工具安装1. 安装 Stable Diffusion WebUI推荐使用一键安装包对于新手最友好。这里以Windows系统为例# 1. 打开 PowerShell (管理员身份) # 2. 克隆 WebUI 仓库 git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git cd stable-diffusion-webui # 3. 运行启动脚本 .\webui-user.bat首次运行会自动安装依赖时间较长。完成后在浏览器中打开http://127.0.0.1:7860即可看到WebUI界面。2. 下载基础模型CheckpointSD需要底模型来生成图像。对于亚洲古风人物推荐使用chilloutmix或majicmixRealistic的变体。将下载的.safetensors文件放入stable-diffusion-webui/models/Stable-diffusion/目录。3. 安装关键插件LoRA插件通常WebUI已内置。LoRA是小模型用于微调特定风格或人物是控制诸葛亮相貌的关键。ControlNet插件用于精确控制人物姿势、景深、线稿上色等。通过WebUI的“Extensions”选项卡安装。4. 注册在线服务Midjourney需通过Discord使用注册Discord和Midjourney账号。Runway/Pika访问官网用邮箱注册账号通常有免费额度。ElevenLabs官网注册免费额度足够生成数分钟的高质量音频。环境搭建完毕我们进入最核心的创意实现环节。4. 从创意到提示词拆解“诸葛亮北伐”“诸葛亮带十万大学生北伐”这个创意幽默感在于古今反差。我们的分镜需要体现两个核心要素诸葛亮的古典智者形象和现代大学生的群体特征。4.1 剧本与分镜设计我们设计一个约60秒的短片包含5个关键镜头镜头1开场-特写营帐内诸葛亮青年形象羽扇纶巾面容睿智而略带忧虑凝视着桌上的战略沙盘沙盘上插着“蜀”字旗和“魏”字旗。镜头2转场-全景帐外晨曦中密密麻麻的现代大学生营地帐篷上挂着“985”、“211”、“早八人”、“实习中”的旗帜学生们穿着混搭的汉服元素和现代休闲装。镜头3中景诸葛亮站在点将台上手持扩音器或羽扇化作麦克风神情激昂仿佛在进行战前动员。台下大学生们举着手机荧光棒效果响应。镜头4运动镜头大学生“军队”扛着“反内卷”、“求offer”的标语旗浩浩荡荡地向北行进。镜头从队伍侧面平移展现规模。镜头5结尾-意境诸葛亮独自立于山巅背影或侧影望着远方的“洛阳”城市现代天际线羽扇轻摇。画面渐暗出字幕“此去不为功名只为心安”。4.2 提示词Prompt工程化这是将分镜转化为AI语言的关键。一个好的提示词 主体 细节 风格 质量。以镜头1诸葛亮特写为例生成SD提示词(masterpiece, best quality, ultra-detailed), 1 young Chinese man, Zhuge Liang, 面容清癯眼神睿智深邃 slight worry on face, 羽扇纶巾 (official headdress), 穿着汉代的深色丞相袍服 intricate embroidery, inside a ancient military tent, leaning over a sand table with miniature terrain and small flags, strategic map, candlelight illumination, warm and dim atmosphere, dramatic lighting, close-up shot, looking at the viewer Negative prompt: (worst quality, low quality:1.4), deformed, ugly, disfigured, bad anatomy, cartoon, 3d, modern clothes, sunglasses, necklace Steps: 25, Sampler: DPM 2M Karras, CFG scale: 7, Size: 768x512关键点解析(masterpiece, best quality...)质量标签强调输出高质。1 young Chinese man, Zhuge Liang明确主体数量1个和身份。细节描述从面容、服饰、动作到环境营帐、沙盘、烛光。镜头语言close-up shot特写dramatic lighting戏剧灯光。负面提示词排除低质量、畸形、现代元素等。参数Steps迭代步数和CFG scale提示词相关性影响出图效果需要微调。用同样的方法为其他镜头编写提示词。镜头2的提示词需要强调“crowd”人群、“modern tents mixed with ancient”、“banner with Chinese text ‘985’”。5. 核心实现角色一致性与画面生成这是整个流程中最具技术挑战的一环。我们需要让不同镜头中的“诸葛亮”是同一个人。5.1 使用LoRA固定诸葛亮形象我们无法通过纯提示词完美固定一个虚构古人的长相。最佳实践是先训练一个专属的诸葛亮LoRA模型。步骤1准备训练集收集15-20张高质量、多角度的青年诸葛亮画像可从游戏《三国志》、《卧龙苍天陨落》或AI生成图中筛选。确保图片清晰面部无遮挡。将所有图片裁剪为统一分辨率如512x512或768x768放入一个文件夹例如zhugeliang_training。步骤2打标签Tagging使用SD WebUI的“训练”选项卡下的“图像预处理”功能。源目录选择zhugeliang_training。目标目录新建一个zhugeliang_tagged。勾选“使用DeepBooru生成标签”。 点击预处理系统会为每张图生成描述性标签如1boy, zhuge liang, hanfu。步骤3手动优化标签打开zhugeliang_tagged里的.txt文件进行关键编辑保留与人物核心特征相关的标签如zhuge liang, young man, sharp eyes, scholar。删除与风格、背景、无关细节相关的标签如background, tree, castle。目的是让LoRA只学习“诸葛亮的脸和气质”而不学习某张图的背景。添加触发词在每份标签文件的开头加上一个独特的触发词例如zl_young。这样在生成时用zl_young就能调用这个形象。步骤4训练LoRA在“训练”选项卡选择“LoRA训练”。基础模型选择你下载的底模型如chilloutmix。训练数据目录选择zhugeliang_tagged。输出名称zhugeliang_young。其他参数学习率、步数初学者可暂用默认值。 点击开始训练等待完成耗时取决于图片数量和显卡。步骤5使用LoRA生成训练完成后在SD WebUI的文生图页面点击生成框下方的“额外网络”LoRA标签页选择你刚训练的zhugeliang_young.safetensors。此时你的正面提示词中只需加入lora:zhugeliang_young:0.8并配合zl_young触发词就能稳定生成统一形象的诸葛亮了。lora:zhugeliang_young:0.8, zl_young, (masterpiece, best quality)... [其他场景描述]权重0.8可以调整越高则LoRA特征越强。5.2 使用ControlNet控制构图对于镜头3点将台动员我们需要精确控制诸葛亮的姿势站立手持物品。这时可以使用ControlNet的OpenPose或Depth功能。找一张类似姿势的参考图或简单手绘一个火柴人姿势图。在SD WebUI中展开“ControlNet”单元上传姿势参考图。预处理器选择openpose模型选择control_v11p_sd15_openpose。勾选“启用”和“像素完美”。在提示词中描述“standing on a platform, holding a megaphone, speaking passionately”。生成图像AI会依据你提供的骨骼图来生成符合姿势的诸葛亮。通过LoRA固定人脸 ControlNet控制姿势 精细提示词描述场景的组合拳你就能批量生成所有分镜所需的、角色一致的高质量静态关键帧了。6. 静态图动态化与视频生成有了满意的静态图就可以让它们“动”起来。这里以Runway Gen-2为例。操作流程登录Runway官网进入Gen-2工作区。点击“Image to Video”上传你的诸葛亮静态图如镜头1的特写图。在提示词框中用英文描述你想要的运动。例如对于诸葛亮凝视沙盘的镜头可以输入“extreme close-up of Zhuge Liang’s face, his eyes slowly move, thoughtful expression, candlelight flickering slightly”。提示词要描述运动而不是重复画面内容。选择视频时长通常3-4秒和模式如“Interpolate”插值模式运动更平滑。点击生成。Runway会生成一段短视频。你可以多次生成选择最满意的一版。重要技巧运动幅度要小对于人物特写轻微的眼球转动、呼吸起伏、烛光摇曳比大幅度的头部转动更真实。善用“相机运动”提示对于镜头4行军平移可以在提示词中加入“cinematic panning shot from left to right, following a large army marching”。分镜动态化为每个分镜图生成3-4秒的短视频片段。7. 后期合成、配音与最终成片这是将AI素材转化为完整故事的最后一步。7.1 视频剪辑与拼接将Runway生成的多个短视频片段以及一些过渡空镜如用Midjourney生成的战旗飘动、天空流云图再用Runway做成动态导入DaVinci Resolve或剪映。粗剪按照分镜顺序排列片段。节奏调整根据旁白或音乐节奏修剪片段的长度确保叙事流畅。转场效果在镜头间添加简单的渐隐渐显Cross Dissolve或闪白转场避免生硬切换。调色为所有片段应用统一的色彩滤镜如电影感LUT增强整体质感。7.2 AI配音与音效使用ElevenLabs生成旁白撰写旁白文案。例如“建兴五年春丞相诸葛亮于汉中大营面对一份前所未有的花名册——十万之众皆曰‘大学生’。此去北伐前途未卜……”在ElevenLabs中选择一个合适的音色如沉稳、富有磁性的男声。将文案粘贴进去调整语音稳定性Stability和清晰度Clarity等参数。生成并下载音频文件。添加背景音乐与音效背景音乐在免版税音乐网站如Artlist, Epidemic Sound寻找恢弘、略带悲壮的中国风管弦乐。音效添加环境音营帐风声、篝火噼啪声、人群嘈杂声、行军脚步声等。在剪辑软件中将配音、音乐、音效分别放在不同音轨调整音量平衡确保旁白清晰。7.3 字幕与最终输出使用剪辑软件的AI字幕功能如剪映的“智能字幕”或DaVinci Resolve的“字幕”工具自动生成并同步字幕。检查无误后渲染输出最终成片分辨率建议为1080p (1920x1080)帧率30fps。8. 常见问题与排查思路问题现象可能原因排查方式解决方案SD生成的人物脸崩、畸形1. 底模型不擅长亚洲人脸。2. 提示词冲突或过于复杂。3. 负面提示词不够强。1. 检查使用的底模型。2. 简化提示词先确保“一张好看的脸”。3. 查看生成时的预览小图。1. 切换为chilloutmix等融合模型。2. 使用(bad anatomy, deformed face:1.4)等强化负面词。3. 开启“面部修复”Restore faces选项。LoRA训练后效果不佳不像目标人物1. 训练图片质量差、不统一。2. 标签打得太脏包含过多背景信息。3. 训练步数epoch不合适。1. 检查训练集图片。2. 检查标签文件内容。3. 观察训练过程中的损失曲线。1. 精选高质量、多角度、表情一致的图片。2. 手动清理标签只保留核心特征词。3. 调整训练参数可尝试增加训练步数或降低学习率。Runway生成的视频闪烁、抖动剧烈1. 原图本身细节过于复杂或有不稳定元素。2. 运动提示词过于激烈。3. Gen-2模型本身的局限性。1. 检查输入静态图是否干净、稳定。2. 简化运动描述。1. 在SD生成静态图时使用更高的分辨率、更稳定的构图。2. 尝试使用“Interpolate”模式。3. 在Runway中多次生成选取最佳结果。不同镜头间角色相貌仍有差异1. LoRA权重在不同提示词下影响力不同。2. 不同镜头的角度、光照差异太大。1. 对比不同镜头的生成参数。2. 检查是否都正确加载了LoRA。1. 统一所有镜头的生成参数采样器、步数。2. 适当提高LoRA权重如从0.8调到1.0。3. 使用更接近的提示词描述人物部分。最终成片节奏拖沓或跳跃1. 每个视频片段长度雷同。2. 镜头语言单调。3. 音画不同步。回看成片以观众视角感受节奏。1. 剪辑时大胆取舍特写镜头短全景镜头可稍长。2. 混用动态镜头平移、推近和静态镜头。3. 让剪辑点卡在音乐重音或旁白气口上。9. 最佳实践与工程建议项目管理与文件规范建立清晰的文件夹结构。例如/Project_Zhuge/01_Script/,/02_SD_Images/,/03_Runway_Videos/,/04_Audio/,/05_Edit/。为每个文件标注版本如zhuge_closeup_v3.png。迭代式工作流不要追求一步到位。先快速用低分辨率、默认参数跑通整个流程生成一个“草稿版”视频验证创意和节奏。然后再逐个环节进行精细化优化。成本控制Midjourney和Runway的快速生成模式会消耗点数Credit。在构思和测试阶段多用SD本地生成静态图用Runway的低分辨率模式生成短视频。仅在最终确定的关键镜头上使用高质量生成。版权与伦理明确你的创作目的。如果是参加B站大赛或个人学习通常没问题。但如果用于商业用途需注意AI生成内容的版权在法律上尚存灰色地带训练LoRA所用的素材图片应尽量使用无版权争议或自己创作的内容最终成片中的音乐、音效应使用免版税素材。拥抱“不完美”AI生成具有随机性完全可控的“完美”视频成本极高。学会将AI的“意外之喜”融入创作。例如Runway生成的人物某个微妙表情可能比预想的更出彩。通过以上系统性的工作流“诸葛亮带十万大学生北伐”这样的创意从想法变为现实不再是一个遥不可及的任务。它更像是一场导演与AI助手之间的协同创作。你负责提供核心创意、审美判断和叙事节奏AI则负责高效地完成视觉化和动态化等重型执行工作。这套方法不仅适用于三国也适用于任何你感兴趣的题材——科幻、奇幻、历史重构或纯原创故事。技术的门槛正在迅速降低而创意的价值将愈发凸显。现在是时候将你脑海中的那些奇思妙想用这套新的工具链呈现出来了。
AI视频创作实战：从创意到成片，打造角色一致的三国主题短片
最近在B站AI创作大赛的三国主题赛区一个名为“诸葛亮带十万大学生北伐”的作品火了。它没有复杂的剧情却精准地戳中了当代年轻人的集体情绪当“内卷”成为常态当“躺平”成为无奈一个关于“北伐”的宏大叙事配上“十万大学生”这个极具时代感的群体瞬间引爆了共鸣。这背后远不止是一个有趣的视频那么简单。它揭示了一个正在发生的深刻变化AI创作工具特别是视频生成AI正在从“技术玩具”变成“情绪放大器”和“文化模因制造机”。过去一个创意从构思到成片需要编剧、分镜、拍摄、剪辑、配音、特效等一系列专业门槛。而现在一个普通人借助AI就能在几个小时内将一个天马行空的想法变成一部有模有样的短片并直接触达百万观众。本文要探讨的正是这个现象背后的技术逻辑和创作实践。我们将以“诸葛亮带十万大学生北伐”这类作品为切入点拆解如何利用当前主流的AI工具链从零开始实现一个高质量的三国主题AI短片。核心判断是AI视频创作的核心竞争力已经从“会不会用工具”转向“如何用工具精准表达创意和情绪”。本文将为你提供一套可落地的、从创意到成片的完整工作流并重点分析其中最容易踩坑的环节。1. 这篇文章真正要解决的问题你可能已经看过不少AI生成的炫酷视频也尝试过一些文生视频工具但结果往往是生成的画面要么不符合预期要么视频连贯性差人物“瞬息万变”故事逻辑混乱。你感到AI视频“也就图一乐”离真正可用的创作还差得远。这正是本文要解决的核心问题如何系统性地、可控地使用AI工具完成一个主题明确、叙事连贯、情绪到位的短片创作我们将以“三国”这个具体主题为例因为它的元素人物、场景、服装、兵器相对固定便于我们聚焦于工作流本身而非无限度的创意发散。具体来说我们将解决以下痛点创意到提示词Prompt的转化如何将“诸葛亮带十万大学生北伐”这个抽象概念拆解成AI能理解的、可执行的画面描述角色一致性与画面连贯性如何让诸葛亮在不同镜头中保持同一张脸如何让十万大学生的场景有规模感且不违和叙事节奏与镜头语言如何用AI模拟出远景、中景、特写等不同镜头并组合成一个有起承转合的故事多工具链协同单靠一个工具很难成事。如何将文生图如Midjourney/Stable Diffusion、图生视频如Runway/Stable Video Diffusion、音频生成如 ElevenLabs、剪辑工具组合起来形成高效流水线成本与效率的平衡哪些环节值得投入精力精细化调整哪些环节可以接受AI的“随机性”以提升效率通过本文的拆解你将获得的不只是一个三国视频的制作方法更是一套应对各类主题AI短片创作的通用框架。2. 基础概念与核心工具链在开始实操前我们需要理解当前AI视频创作的核心范式。它不再是单一模型输入输出而是一个“分镜制作动态化后期合成”的流程。2.1 核心工作流拆解一个典型的AI短片创作可以分为以下四个阶段剧本与分镜将故事转化为具体的镜头描述。这是最重要的一步决定了后续所有工作的方向。静态画面分镜图生成使用文生图AI根据分镜描述生成高质量的静态关键帧图片。这是保证画面质量和角色一致性的基础。静态图动态化使用图生视频AI为关键帧图片添加运动生成短视频片段。后期合成与配音将多个视频片段剪辑、拼接添加背景音乐、音效和AI生成的旁白/对话配音。2.2 关键工具介绍下表列出了各阶段的主流工具及其定位阶段工具名称核心能力特点与适用场景文生图Midjourney图像质量极高艺术感强易上手。适合生成具有强烈风格和美感的关键帧、角色定妆照。对提示词要求高。Stable Diffusion (WebUI)开源可控性强支持LoRA、ControlNet等插件。适合需要精确控制人物相貌、姿势、场景细节的深度创作。学习曲线较陡。图生视频Runway Gen-2动态效果自然生态成熟操作简单。适合为高质量静态图添加合理的镜头运动如推拉摇移。Stable Video Diffusion开源可本地部署定制化潜力大。适合对成本敏感、需要批量处理或进行技术研究的开发者。Pika Labs在角色一致性方面有特色社区活跃。适合需要人物说话、做表情的镜头。音频生成ElevenLabs语音合成自然支持多语言、多情感音色库丰富。生成旁白和角色配音的首选几乎可以假乱真。OpenAI TTS接口易用成本低音色稳定。适合对音质要求不高、需要快速批量生成解说词的场景。剪辑合成DaVinci Resolve专业级免费软件功能全面。适合对调色、音频处理有要求的创作者。CapCut / 剪映模板多AI功能丰富移动端和PC端均可用。适合快速出片内置的AI字幕、智能剪辑很好用。对于“诸葛亮带十万大学生北伐”这个项目我们的策略是用Stable Diffusion保证诸葛亮形象的绝对一致性用Midjourney辅助生成宏大的场景和氛围图用Runway完成动态化用ElevenLabs生成配音最后用DaVinci Resolve合成。3. 环境准备与前置条件由于我们会用到Stable Diffusion WebUI以下简称SD这部分的环境搭建稍复杂但它是实现角色一致性的关键。3.1 硬件与基础软件操作系统Windows 10/11或 Linux。macOSM系列芯片也可运行但部分插件优化不足。显卡强烈推荐NVIDIA显卡显存至少8GB如RTX 3060 12G16GB或以上体验更佳如RTX 4070 Ti Super 16G。这是本地运行SD的基础。Python版本 3.10.6 到 3.10.11 之间。这是SD WebUI的推荐版本。Git用于克隆代码仓库。3.2 核心工具安装1. 安装 Stable Diffusion WebUI推荐使用一键安装包对于新手最友好。这里以Windows系统为例# 1. 打开 PowerShell (管理员身份) # 2. 克隆 WebUI 仓库 git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git cd stable-diffusion-webui # 3. 运行启动脚本 .\webui-user.bat首次运行会自动安装依赖时间较长。完成后在浏览器中打开http://127.0.0.1:7860即可看到WebUI界面。2. 下载基础模型CheckpointSD需要底模型来生成图像。对于亚洲古风人物推荐使用chilloutmix或majicmixRealistic的变体。将下载的.safetensors文件放入stable-diffusion-webui/models/Stable-diffusion/目录。3. 安装关键插件LoRA插件通常WebUI已内置。LoRA是小模型用于微调特定风格或人物是控制诸葛亮相貌的关键。ControlNet插件用于精确控制人物姿势、景深、线稿上色等。通过WebUI的“Extensions”选项卡安装。4. 注册在线服务Midjourney需通过Discord使用注册Discord和Midjourney账号。Runway/Pika访问官网用邮箱注册账号通常有免费额度。ElevenLabs官网注册免费额度足够生成数分钟的高质量音频。环境搭建完毕我们进入最核心的创意实现环节。4. 从创意到提示词拆解“诸葛亮北伐”“诸葛亮带十万大学生北伐”这个创意幽默感在于古今反差。我们的分镜需要体现两个核心要素诸葛亮的古典智者形象和现代大学生的群体特征。4.1 剧本与分镜设计我们设计一个约60秒的短片包含5个关键镜头镜头1开场-特写营帐内诸葛亮青年形象羽扇纶巾面容睿智而略带忧虑凝视着桌上的战略沙盘沙盘上插着“蜀”字旗和“魏”字旗。镜头2转场-全景帐外晨曦中密密麻麻的现代大学生营地帐篷上挂着“985”、“211”、“早八人”、“实习中”的旗帜学生们穿着混搭的汉服元素和现代休闲装。镜头3中景诸葛亮站在点将台上手持扩音器或羽扇化作麦克风神情激昂仿佛在进行战前动员。台下大学生们举着手机荧光棒效果响应。镜头4运动镜头大学生“军队”扛着“反内卷”、“求offer”的标语旗浩浩荡荡地向北行进。镜头从队伍侧面平移展现规模。镜头5结尾-意境诸葛亮独自立于山巅背影或侧影望着远方的“洛阳”城市现代天际线羽扇轻摇。画面渐暗出字幕“此去不为功名只为心安”。4.2 提示词Prompt工程化这是将分镜转化为AI语言的关键。一个好的提示词 主体 细节 风格 质量。以镜头1诸葛亮特写为例生成SD提示词(masterpiece, best quality, ultra-detailed), 1 young Chinese man, Zhuge Liang, 面容清癯眼神睿智深邃 slight worry on face, 羽扇纶巾 (official headdress), 穿着汉代的深色丞相袍服 intricate embroidery, inside a ancient military tent, leaning over a sand table with miniature terrain and small flags, strategic map, candlelight illumination, warm and dim atmosphere, dramatic lighting, close-up shot, looking at the viewer Negative prompt: (worst quality, low quality:1.4), deformed, ugly, disfigured, bad anatomy, cartoon, 3d, modern clothes, sunglasses, necklace Steps: 25, Sampler: DPM 2M Karras, CFG scale: 7, Size: 768x512关键点解析(masterpiece, best quality...)质量标签强调输出高质。1 young Chinese man, Zhuge Liang明确主体数量1个和身份。细节描述从面容、服饰、动作到环境营帐、沙盘、烛光。镜头语言close-up shot特写dramatic lighting戏剧灯光。负面提示词排除低质量、畸形、现代元素等。参数Steps迭代步数和CFG scale提示词相关性影响出图效果需要微调。用同样的方法为其他镜头编写提示词。镜头2的提示词需要强调“crowd”人群、“modern tents mixed with ancient”、“banner with Chinese text ‘985’”。5. 核心实现角色一致性与画面生成这是整个流程中最具技术挑战的一环。我们需要让不同镜头中的“诸葛亮”是同一个人。5.1 使用LoRA固定诸葛亮形象我们无法通过纯提示词完美固定一个虚构古人的长相。最佳实践是先训练一个专属的诸葛亮LoRA模型。步骤1准备训练集收集15-20张高质量、多角度的青年诸葛亮画像可从游戏《三国志》、《卧龙苍天陨落》或AI生成图中筛选。确保图片清晰面部无遮挡。将所有图片裁剪为统一分辨率如512x512或768x768放入一个文件夹例如zhugeliang_training。步骤2打标签Tagging使用SD WebUI的“训练”选项卡下的“图像预处理”功能。源目录选择zhugeliang_training。目标目录新建一个zhugeliang_tagged。勾选“使用DeepBooru生成标签”。 点击预处理系统会为每张图生成描述性标签如1boy, zhuge liang, hanfu。步骤3手动优化标签打开zhugeliang_tagged里的.txt文件进行关键编辑保留与人物核心特征相关的标签如zhuge liang, young man, sharp eyes, scholar。删除与风格、背景、无关细节相关的标签如background, tree, castle。目的是让LoRA只学习“诸葛亮的脸和气质”而不学习某张图的背景。添加触发词在每份标签文件的开头加上一个独特的触发词例如zl_young。这样在生成时用zl_young就能调用这个形象。步骤4训练LoRA在“训练”选项卡选择“LoRA训练”。基础模型选择你下载的底模型如chilloutmix。训练数据目录选择zhugeliang_tagged。输出名称zhugeliang_young。其他参数学习率、步数初学者可暂用默认值。 点击开始训练等待完成耗时取决于图片数量和显卡。步骤5使用LoRA生成训练完成后在SD WebUI的文生图页面点击生成框下方的“额外网络”LoRA标签页选择你刚训练的zhugeliang_young.safetensors。此时你的正面提示词中只需加入lora:zhugeliang_young:0.8并配合zl_young触发词就能稳定生成统一形象的诸葛亮了。lora:zhugeliang_young:0.8, zl_young, (masterpiece, best quality)... [其他场景描述]权重0.8可以调整越高则LoRA特征越强。5.2 使用ControlNet控制构图对于镜头3点将台动员我们需要精确控制诸葛亮的姿势站立手持物品。这时可以使用ControlNet的OpenPose或Depth功能。找一张类似姿势的参考图或简单手绘一个火柴人姿势图。在SD WebUI中展开“ControlNet”单元上传姿势参考图。预处理器选择openpose模型选择control_v11p_sd15_openpose。勾选“启用”和“像素完美”。在提示词中描述“standing on a platform, holding a megaphone, speaking passionately”。生成图像AI会依据你提供的骨骼图来生成符合姿势的诸葛亮。通过LoRA固定人脸 ControlNet控制姿势 精细提示词描述场景的组合拳你就能批量生成所有分镜所需的、角色一致的高质量静态关键帧了。6. 静态图动态化与视频生成有了满意的静态图就可以让它们“动”起来。这里以Runway Gen-2为例。操作流程登录Runway官网进入Gen-2工作区。点击“Image to Video”上传你的诸葛亮静态图如镜头1的特写图。在提示词框中用英文描述你想要的运动。例如对于诸葛亮凝视沙盘的镜头可以输入“extreme close-up of Zhuge Liang’s face, his eyes slowly move, thoughtful expression, candlelight flickering slightly”。提示词要描述运动而不是重复画面内容。选择视频时长通常3-4秒和模式如“Interpolate”插值模式运动更平滑。点击生成。Runway会生成一段短视频。你可以多次生成选择最满意的一版。重要技巧运动幅度要小对于人物特写轻微的眼球转动、呼吸起伏、烛光摇曳比大幅度的头部转动更真实。善用“相机运动”提示对于镜头4行军平移可以在提示词中加入“cinematic panning shot from left to right, following a large army marching”。分镜动态化为每个分镜图生成3-4秒的短视频片段。7. 后期合成、配音与最终成片这是将AI素材转化为完整故事的最后一步。7.1 视频剪辑与拼接将Runway生成的多个短视频片段以及一些过渡空镜如用Midjourney生成的战旗飘动、天空流云图再用Runway做成动态导入DaVinci Resolve或剪映。粗剪按照分镜顺序排列片段。节奏调整根据旁白或音乐节奏修剪片段的长度确保叙事流畅。转场效果在镜头间添加简单的渐隐渐显Cross Dissolve或闪白转场避免生硬切换。调色为所有片段应用统一的色彩滤镜如电影感LUT增强整体质感。7.2 AI配音与音效使用ElevenLabs生成旁白撰写旁白文案。例如“建兴五年春丞相诸葛亮于汉中大营面对一份前所未有的花名册——十万之众皆曰‘大学生’。此去北伐前途未卜……”在ElevenLabs中选择一个合适的音色如沉稳、富有磁性的男声。将文案粘贴进去调整语音稳定性Stability和清晰度Clarity等参数。生成并下载音频文件。添加背景音乐与音效背景音乐在免版税音乐网站如Artlist, Epidemic Sound寻找恢弘、略带悲壮的中国风管弦乐。音效添加环境音营帐风声、篝火噼啪声、人群嘈杂声、行军脚步声等。在剪辑软件中将配音、音乐、音效分别放在不同音轨调整音量平衡确保旁白清晰。7.3 字幕与最终输出使用剪辑软件的AI字幕功能如剪映的“智能字幕”或DaVinci Resolve的“字幕”工具自动生成并同步字幕。检查无误后渲染输出最终成片分辨率建议为1080p (1920x1080)帧率30fps。8. 常见问题与排查思路问题现象可能原因排查方式解决方案SD生成的人物脸崩、畸形1. 底模型不擅长亚洲人脸。2. 提示词冲突或过于复杂。3. 负面提示词不够强。1. 检查使用的底模型。2. 简化提示词先确保“一张好看的脸”。3. 查看生成时的预览小图。1. 切换为chilloutmix等融合模型。2. 使用(bad anatomy, deformed face:1.4)等强化负面词。3. 开启“面部修复”Restore faces选项。LoRA训练后效果不佳不像目标人物1. 训练图片质量差、不统一。2. 标签打得太脏包含过多背景信息。3. 训练步数epoch不合适。1. 检查训练集图片。2. 检查标签文件内容。3. 观察训练过程中的损失曲线。1. 精选高质量、多角度、表情一致的图片。2. 手动清理标签只保留核心特征词。3. 调整训练参数可尝试增加训练步数或降低学习率。Runway生成的视频闪烁、抖动剧烈1. 原图本身细节过于复杂或有不稳定元素。2. 运动提示词过于激烈。3. Gen-2模型本身的局限性。1. 检查输入静态图是否干净、稳定。2. 简化运动描述。1. 在SD生成静态图时使用更高的分辨率、更稳定的构图。2. 尝试使用“Interpolate”模式。3. 在Runway中多次生成选取最佳结果。不同镜头间角色相貌仍有差异1. LoRA权重在不同提示词下影响力不同。2. 不同镜头的角度、光照差异太大。1. 对比不同镜头的生成参数。2. 检查是否都正确加载了LoRA。1. 统一所有镜头的生成参数采样器、步数。2. 适当提高LoRA权重如从0.8调到1.0。3. 使用更接近的提示词描述人物部分。最终成片节奏拖沓或跳跃1. 每个视频片段长度雷同。2. 镜头语言单调。3. 音画不同步。回看成片以观众视角感受节奏。1. 剪辑时大胆取舍特写镜头短全景镜头可稍长。2. 混用动态镜头平移、推近和静态镜头。3. 让剪辑点卡在音乐重音或旁白气口上。9. 最佳实践与工程建议项目管理与文件规范建立清晰的文件夹结构。例如/Project_Zhuge/01_Script/,/02_SD_Images/,/03_Runway_Videos/,/04_Audio/,/05_Edit/。为每个文件标注版本如zhuge_closeup_v3.png。迭代式工作流不要追求一步到位。先快速用低分辨率、默认参数跑通整个流程生成一个“草稿版”视频验证创意和节奏。然后再逐个环节进行精细化优化。成本控制Midjourney和Runway的快速生成模式会消耗点数Credit。在构思和测试阶段多用SD本地生成静态图用Runway的低分辨率模式生成短视频。仅在最终确定的关键镜头上使用高质量生成。版权与伦理明确你的创作目的。如果是参加B站大赛或个人学习通常没问题。但如果用于商业用途需注意AI生成内容的版权在法律上尚存灰色地带训练LoRA所用的素材图片应尽量使用无版权争议或自己创作的内容最终成片中的音乐、音效应使用免版税素材。拥抱“不完美”AI生成具有随机性完全可控的“完美”视频成本极高。学会将AI的“意外之喜”融入创作。例如Runway生成的人物某个微妙表情可能比预想的更出彩。通过以上系统性的工作流“诸葛亮带十万大学生北伐”这样的创意从想法变为现实不再是一个遥不可及的任务。它更像是一场导演与AI助手之间的协同创作。你负责提供核心创意、审美判断和叙事节奏AI则负责高效地完成视觉化和动态化等重型执行工作。这套方法不仅适用于三国也适用于任何你感兴趣的题材——科幻、奇幻、历史重构或纯原创故事。技术的门槛正在迅速降低而创意的价值将愈发凸显。现在是时候将你脑海中的那些奇思妙想用这套新的工具链呈现出来了。 
