AI视频总要反复生成?我用Pavo试了“先预演,再出片”(附实操教程)
哈喽啊,我是管三,清华大学出版社《AI一人公司》作者,AI创业第四年。
今年AI视频非常火,我也写了大量关于AI视频的教程。
最近收到不少读者反馈,说他们在做视频的时候,遇到了难题。
其中有个问题是,提示词写得很认真,视频出来后,镜头老是跑错方向,又或者人物站位、动作跟脑子里想的完全不一样。
最头疼的是,这时候积分已经扣了!想改,就得再来一轮。
做过视频的朋友应该知道,AI生成视频积分老贵了。
今天我来分享一种邪修做法,或许能让这类问题提前暴露出来。
那就是用三维方式预演来控制镜头,把站位、动作、运镜提前预演,得到一个白模视频,再把白模视频作为参考视频去渲染成片。
这个玩法在Pavo AI平台上叫3D-BOX白模预演模式。
-1.png)
为啥要先做白模视频,再用白模视频作为参考视频去渲染成片呢?
从我的实际使用看,单次白模预演比正式生成视频便宜很多很多,先用白模检查镜头,有机会减少高成本视频的反复生成。
比如我做了一个港口航拍的视频,就是用的Pavo AI的3D-BOX功能。
我把两版画面放在一起了,上面是三维预演的白模视频,下面是最后渲染的成片。
老粉应该记得,我之前写过Pavo AI这个产品。
最近它更新了新版本,除了原本的图片、视频和画布创作,还加入了3D-Box、Agent Skills、图像精细编辑、视频素材处理和画布剪辑等能力。
这篇我先用自己做出的几个案例,重点聊聊3D-Box到底是咋玩的。
一、3D-BOX到底怎么玩?先把白模做出来
我这次想做一个港口航拍的镜头。
既要体现集装箱通道、龙门吊、货轮和水面的关系,又要有丰富的运镜效果。
具体怎么操作呢?
1、打开Pavo AI的官网,点击左侧的3D-BOX
不需要你懂3D建模,会描述需求就行。
直接在输入框里描述你想要做一个啥样的镜头,然后选择模型、画幅和时长,也可以按需要上传参考图。
-2.png)
下面是我输入的原始提示词,你也可以直接拿去参考:
搭建一座巨型集装箱海港。箱堆分列通道两侧,两座龙门吊横跨通道,通道尽头连着港池。右侧停着一艘货轮,船首伸出码头。用一个连续镜头预演12秒高速飞行。
0–3秒,从高空俯冲,在通道入口降到离地约5米。
3–6秒,沿通道中线贴地加速,穿过两座龙门吊下方的开口,箱角和门柱从画面两侧飞掠。
6–9秒,冲出码头,沿货轮船舷贴水飞行。
9–12秒,越过船首后沿弧线拉升,斜回望整片港湾。
我把场景里有什么和镜头按什么顺序走都写进去了。
这个题材主要考验空间和摄影机路线。
-3.png)
2、发送后,它就会开始去搭建白模。
发送后,Agent会逐步搭建三维场景和白模镜头。
-4.png)
生成后会进入“场景编排”。
中间是港口三维场景,箱堆、通道和船都能看到,画面里那个蓝色摄影机模型代表当前机位,左下角的小窗口,是摄影机实际拍到的画面。
-5.png)
还可以选中摄影机,拖动调整机位。

这一步挺重要的,以前我们只能等正式视频生成后再找问题。
现在至少可以先检查,镜头有没有问题,如果有问题,在正式生成视频前就把它解决了。
3、如果第一版有问题,就继续调整
第一版白模里,前半段俯冲和进入通道的方向还可以。
但到了后半段,我发现货轮与水面的近距离飞行没有按我的设想稳定拍出来,镜头会把太多空海面和天空留在画面里。

发现问题后,可以直接在右侧继续给Agent发修改要求。
-8.png)
改完我又拖时间轴检查,再切到上方的“成片预演”播放,这次效果好多了。

这个过程挺像和摄影师沟通,我可以指出具体要怎么拍。
这个部分需要有点耐心去调整,调整好之后,后面去拿满意的白模视频渲染成片,就会轻松很多。
二、白模有了,怎么把它渲染成成片?
1、把白模导入资产库。
对生成的白模满意后,点击右上角的导出,再点击导入资产库。
-10.png)
接着就会提醒你已导入资产库。
-11.png)
然后你再点击Pavo AI的画布,点开始创作。
-12.png)
进入画布后,再点击“从资产库添加”。
-13.png)
然后选择我们这个白模的视频,点击确认。
-14.png)
白模视频就会添加到画布里,然后我们再把港口场景参考图也传到画布里。
然后再新建一个视频节点,把白模和场景图连起来。
-15.png)
具体连接过程,我录了一段十多秒的操作视频,放在下面。
视频节点里,我选了“全能参考”,把白模作为镜头运动、空间布局和时间节奏的依据,把参考图作为港口外观的依据。
-16.png)
2. 把白模和成片放一起,看看效果。
最终我把两段视频上下对齐,方便逐秒看,对照来看,成片基本沿用了白模的主要镜头路线和空间布局。
3. 我又试了香水和咖啡机两个广告
港口是大场景,后面我又试了试商业广告,看看白模预演的效果。
方法和上面是一模一样的,我就不重复展示实操过程了,直接看白模和成片的效果吧。
总结一下,Pavo AI的3D-BOX预演功能,好处是先通过白模控制空间、运镜、物理规律,把动作、空间等全部定好,再拿白模作为参考,大大降低抽卡的频率,节约成本。
三、接下来,我又试了Pavo AI里的Agent Skill
这次Pavo AI上新了100多种skills。
-17.png)
老读者应该知道,Skill本质上就是给Agent 的工作说明书。
Pavo AI里面的skill,其实就是把某一类视频的创作方法,提前封装成了一个可以调用的能力。
你选一个Skill,本质上就是在调用一套成熟的视频创作流程。
Pavo AI的Skill广场里,涵盖了商业广告、专业影视、动漫游戏、短剧漫剧、自媒体创作、特效玩法、音乐MV、教育培训等各个维度的Skill。

我看到里面有个宫崎骏动画大师的Skill,就想试试这个,直接点击去使用Skill。
-19.png)
然后它就会跳到画布里的Agent对话框。
我再给它一个原创故事,就是雨停后的傍晚,小女孩发现一位老人护着快熄灭的纸灯,随后用一瓶发光的小虫照亮回家的路。
我要求它先做故事、角色、场景和分镜,等我检查后再继续生成视频、普通话对白和声音。
-20.png)
它确实先在画布上摆出了几类中间节点。
我能看到故事梗概、人物设定、场景和分镜,也能在继续生成前提出意见。
-21.png)
确认没问题后,它就直接帮我把角色、场景、道具的图片做好了。
-22.png)
接着它再帮我把视频分镜以及配乐全部做好了。
-23.png)
最后合成了一条30秒的动画短片《回家的光》。
-24.png)
不过我看了成片后,发现最后一个镜头有个小问题,就是结尾小女孩的朝向不符合故事里的互动方向。
然后我把问题反馈给Agent,要求它检查结尾镜头。
-25.png)
反正有啥问题,就直接输入框里指出,Agent可以帮忙把项目往前推。
整个过程就修改了一个地方,来看下成片吧。
《回家的光》的片段生成后,我顺手试了下Pavo新增的画布剪辑功能。
把画布里的分镜视频接到剪辑功能,就能在时间轴上预览镜头衔接,需要调整的位置可以直接分割,音频也能一起查看。
剪完后,我打开导出设置看了下,可以选择分辨率和格式。
这样,前面生成的素材可以直接接着剪,不用为了调整片段再换一个工具,能够实现从生成到剪辑的完整闭环。
试完了宫崎骏动画大师Skill之后,我在Skill广场里闲逛,又看到了一个子弹时间叙事电影的Skill,感觉还挺有意思的。
-26.png)
于是我也去试了一下,做了一个舞者在跳舞的子弹时间的镜头。
-27.png)
来看下效果,有点子弹时间的感觉了。
在Pavo AI里面,不仅仅有像宫崎骏动画大师这种完整项目型 Skill,还有像子弹时间这种动效类专项能力型Skill。
另外,我在做这两个片子的过程中,我发现画布里的还有很多其他功能。
图片编辑这块,就有宫格切分、人像调节、调整灯光、多宫格、720全景。
-28.png)
比如可以给图片做宫格划分。
-29.png)
下面这个是切成9宫格的效果图。
-30.png)
还可以调整人物情绪,支持改变人物的表情与情绪表现。

还可以给图片自定义打光,支持调整全局亮度、颜色、光源位置及光质,包括硬光和漫反射光等效果,让生成后的图片拥有更多调整空间。

生成的分镜视频也能继续处理,例如音视频分离、深度转白模。
-33.png)
音视频分离比较好理解,就是把视频和音频分离。
-34.png)
点击之后,就会自动创建一个无声视频节点以及一个音频节点,然后也是可以下载的,方便用于后期二创或者处理。
-35.png)
它里面还有一个比较有意思的功能是深度转白模。
-36.png)
像我们可能经常会刷到一个非常喜欢的视频片段,然后想做一个视频去复刻它的动作、镜头机位或运镜方式,但通过提示词很难精准描述这些细节。
即便描述清楚了,做出来的效果可能也不好。
这个时候,就可以用它先把原片的动作、运镜信息单独提取出来变成可视化的深度白模,再结合自己上传的人物图片与场景,用白模视频作为参考,生成新的视频。
点击深度转白模后,再点击确认提取。
-37.png)
然后我们就能得到一个白模视频,把原视频的人物轮廓和运动变化提取成白模,为后续参考生成提供素材。
-38.png)
这次Pavo AI更新的功能确实还挺多。
如果你也想试试的话,可以从Pavo AI的3D-BOX入口开始,先挑一个镜头路线清楚的小场景跑一遍。
你也可以把自己的白模和成片放在一起看,效果会非常直观。
好啦,今天的文章就到这里。