开源项目Jellyfish:一条命令跑通"剧本→分镜→生成→成片",把AI拍短剧变成一条流水线

工具推荐 1783479136更新

0

如果你想学做 AI 短剧,想搞清楚这些短剧从一段剧本到能看的成片是怎么一步步生产出来的,这篇文章或许对你有用。

我最近找到一个叫 Jellyfish 的开源项目,做的就是这件事:一个把"AI 拍短剧"完整流程串起来的工作台

下面的文章会从背景、6 大能力、主流程、技术栈这几个角度,把这个项目讲清楚。如果你正好在琢磨怎么用 AI 做内容,或者想找一个可以参考的开源项目作为学习样板,可以往下看。

所谓 AI 短剧,就是用 AI 模型来生成短剧的内容,包括剧本、人物、场景、镜头、视频本身。听起来很美好,但做起来真没那么简单。

光是"人物一致性"一个问题,就能把很多人卡住。同一个角色在第 1 集是个 20 岁的小伙子,到了第 5 集就变成 40 岁的中年人,头发颜色、眼睛颜色、脸型都会变。为啥会这样?因为现在的 AI 模型在生图时是按"独立的一张图"为单位来理解画面的,它没有"这个人物从第 1 集到第 100 集都长这样"的跨画面记忆。所以做 AI 短剧,难的不是"出图",是"出一致性的图";难的不是"出视频",是"出连续性的视频" 。Jellyfish 这个项目,就是冲着这些问题来的。

Jellyfish 这个项目把整个生产流程拆成了 6 大块,我按主流程的顺序一个一个讲。

第一块,AI 剧本理解与分镜拆解

这是整个流程的起点。你把一个章节的剧本丢进去,AI 会自动做几件事:把长文本拆成一个个"镜头"(业内叫分镜),提取出剧本里出现的角色、场景、道具、服装,把对白也单独抽出来;还能做剧本的优化、简化、一致性检查,以及角色画像、场景信息、道具信息等专项分析。

举个例子,剧本里写"小李走进咖啡店,点了一杯拿铁,抬头看到前女友",AI 会把它拆成几个独立的工作单元:镜头 1 咖啡店外景、镜头 2 咖啡店内景 小李推门、镜头 3 吧台特写 小李点单、镜头 4 小李面部特写 抬头看到前女友。每个镜头都可以单独生成图片和视频

第二块,分镜准备与确认

光拆出镜头还不够,你得告诉系统每个镜头用哪个角色、哪个场景、哪个道具。Jellyfish 的设计是这样的:AI 先给出一堆"候选" ,比如这个镜头里可能出现的角色、可能出现的对白,然后你点一下"确认"或者"忽略",确认的就进入下一步,忽略的就丢掉。

这个动作很重要,因为它把 AI 的"幻觉"控制住了。AI 经常会瞎编一些不存在的角色,或者把对白搞混,有了这个确认环节,就能在源头把好关。这套流程给每个镜头都设了统一的状态标记(比如 ready 代表准备完成,可以进入下一步;生成中 则代表正在跑生成任务),方便你随时看清整个项目推进到哪一步。

第三块,资产一致性与复用

这个就是前面提到的"人物一致性"问题的解决方案。Jellyfish 把所有"实体",也就是角色、演员、场景、道具、服装,都集中管理起来,每个实体都有自己的图片管理,系统也支持名称存在性检查,避免重复创建同名实体。

做一个新镜头的时候,可以直接从实体库里挑。比如挑"主角小李",系统就会自动调用小李之前定好的图片和设定,这样生成出来的图,小李看起来就还是同一个人。这个设计在文档里被明确列为"把一致性作为核心问题来处理"

第四块,镜头级图片与视频生成

镜头准备好之后,就到了"出活儿"的环节。每个镜头可以单独生成关键帧、参考图、视频提示词,这些都准备好了之后可以批量发起生成任务。Jellyfish 支持单镜头和批量两种模式。如果你有 50 个镜头都准备好了,可以一次性把它们都丢给系统,省得一个一个点。生成的视频会直接回写到镜头里,跟这个镜头绑定,这样后期剪辑的时候不用再到处找素材。

第五块,统一任务中心

AI 生成这种东西,最烦的就是"等"。一个图片生成可能要几分钟,一个视频生成甚至可能要几十分钟,如果你有 50 个镜头,串行跑下来可能要几个小时。Jellyfish 把所有的任务,文本处理、图片生成、视频生成,都纳入了一个统一的任务中心,可以在这里看到每个任务的实时状态(排队中、运行中还是完成了)、看耗时、取消任务,甚至可以直接从任务跳回对应的项目、章节、镜头。系统对任务状态、结果、耗时的追踪是统一的,定位也是"全局可见、可取消、可恢复"

第六块,模型、提示词与生成基础设施

这一块讲的是"底层能力"。目前,Jellyfish 项目里已经接入了三家 AI 服务商:OpenAI火山引擎阿里百炼。系统还支持模型分类与默认模型设置,你可以把"图片用 X、视频用 Y、文本用 Z"这样的默认配置存下来;另外还提供了提示词模板管理,可以把自己常用的提示词存起来,下次直接用。

讲完了 6 大能力,用一条主线把它们串起来。整个 Jellyfish 的工作流是这样的:

剧本输入   ↓AI 拆分成镜头   ↓每个镜头准备候选   ↓人工确认   ↓镜头 ready   ↓进入生成工作台   ↓批量生成关键帧和视频   ↓视频回流到镜头   ↓后期剪辑(项目支持一键导出成片)   ↓成片

看着好像挺长,但其实每一步都不复杂,Jellyfish 把它们都做成了可视化的工作台,点点鼠标就能走完一遍。

如果想自己搭一套,这部分要看一下。

Jellyfish 提供了一键 Docker Compose 启动,按照下面的步骤,几分钟之内就有了一个完整的 AI 短剧生产工作台:

# 1. 把仓库 clone 下来git clone https://github.com/Forget-C/Jellyfish.gitcd Jellyfish# 2. 复制环境变量模板cp deploy/compose/.env.example deploy/compose/.env# 3. 启动所有服务(MySQL + Redis + RustFS + Backend + Celery Worker + Front)docker compose --env-file deploy/compose/.env -f deploy/compose/docker-compose.yml up --build

具体的端口是这样分配的:前端 http://localhost:7788、后端 http://localhost:8000(带 Swagger 文档,访问 /docs 即可)、MySQL 3306、Redis 6379、RustFS 9000(管理控制台 9001)。

Jellyfish 这个项目,就是把一个复杂的生产流程拆成一步一步,每一步都有明确的输入、输出、状态。如果你对 AI 短剧感兴趣,又不想每次都从零开始折腾各种工具,那这个项目,值得花点时间研究一下。

AI 短剧这件事,难的不是某一个工具,难的是把一整套工具串起来,让它们彼此配合。Jellyfish 至少在"串起来"这件事上给了一个看起来还不错的答案,至于它是不是真的适合自己,上手试一下就知道了。

项目地址:https://github.com/Forget-C/Jellyfish