腾讯混元开源Hy-Nomas:单卡4090跑交互式世界生成,文本与相机双控

流云 2026-10-26 1314 0条评论
摘要: 10月23日,腾讯混元推出Hy-Nomas,一个自由交互式世界生成模型,Apache-2.0协议,代码、权重与基准数据集均可下载。它不产出一段固定视频,而是依据控制信号持续推演画面...

10月23日,腾讯混元推出Hy-Nomas,一个自由交互式世界生成模型,Apache-2.0协议,代码、权重与基准数据集均可下载。它不产出一段固定视频,而是依据控制信号持续推演画面,使用者在推演中可以改变走向。输出规格1280×704、24fps,蒸馏后8步去噪,单张RTX 4090(INT8)即可运行。在AI工具导航的世界模型分类中,这种“边生成边控制”的形态,与一次性文生视频形成了明确区隔。

分段自回归与lifelong KV cache

生成以段为单位推进,每段以上一段的末帧为条件,因此可以多轮续写,不必一次生成全长视频。段与段之间的衔接由模型自己承接,换段时不需要重新起头。这种推进方式把显存占用压在单个段的时间窗内,中途也能插入新的提示词。模型为整段生成维护一份持续累积的键值缓存,历史帧的信息不在换段时被清空,场景里的物体位置、材质与光照因此能跨段延续。为避免缓存无限增长,实现里另设滑动窗口限定保留的上下文。两者合起来,构成官方所说的长时一致性。

文本与相机轨迹交错控制

控制信号有两条:多轮文字提示可在生成过程中随时改写场景语义,比如把晴天改成雨夜;相机轨迹用来指定视角的位移与转向。两条可以交替下发,官方把这种组合称为交错式文本与相机控制,也因此更适合做运镜推演。对于关注AI办公软件推荐的影视与游戏团队,这意味着在正式制作前可以先按相机轨迹推演镜头运动,核对运镜效果。

单卡低显存推理与LoRA微调

官方提供低显存单卡配置:DiT权重与KV缓存放成INT8、解码器权重放成FP8,线性层与注意力计算仍走BF16,同时用滑动窗口限制历史长度并关闭序列并行。配合FlexAttention与CUTLASS FP8内核,单卡工作站即可完成交互演示。微调走LoRA路线:先在未蒸馏的检查点上训练LoRA,再把适配器合并进蒸馏检查点用于推理。仓库内置两套可直接使用的适配器,一套面向电影感画面,另一套在双臂机器人的真实数据集上训练。训练只更新LoRA参数,主干保持冻结。

与同类世界模型的规格对比

Matrix-Game 4.0输出864×480、60FPS,单卡需RTX 5090;Zing-0.5输出480×832、24FPS以上,同样需RTX 5090。Hy-Nomas的分辨率是三者里最高的一档,取舍落在清晰度与帧率之间;单卡部署差距最明显,INT8量化后一张RTX 4090即可运行。对于AI模型库的选型对比,这三款产品代表了交互式世界模型的不同取舍:有的优先帧率与实时操作,有的优先分辨率与长时一致。

应用与获取方式

用途集中在需要“边生成边控制”的环节:游戏与关卡预演在引擎之外先生成可操作画面,验证镜头与节奏;机器人操作仿真用双臂机器人数据训练的适配器生成操作场景,补充训练样本;影视与广告分镜按相机轨迹推演镜头运动。适用人群:做实时图形与游戏原型的研发团队、需批量生成视觉样本的具身智能研究组,以及要在正式制作前核对运镜的影视制作方。

三条路径可用:在线体验在Hugging Face的Hy-Nomas Live空间直接试,无需本地环境;本地部署从官方仓库拉取代码与推理脚本,取tencent/Hy-Nomas权重,低显存环境改用INT8与FP8版,以single_gpu_low_mem_inference.yaml为配置启动;LoRA微调用仓库标注流程把本地视频按段切分并打标,从未蒸馏检查点出发按sft.yaml训练,秩与alpha均为256、学习率1e-4、2000步,再把适配器合并进蒸馏检查点。技术报告目前标注为即将发布,性能数字尚未公开,选型应以实际生成效果为准。

编辑判断

Hy-Nomas的价值不在于“又一个视频生成模型”,而在于它把长时一致性交给了缓存机制,把控制权交给了使用者。分段自回归让显存占用可控,lifelong KV cache让场景跨段延续,文本与相机双控让推演可编排。单卡4090可跑,降低了交互式世界生成的硬件门槛。但它不是一次性出片的工具,而是需要边看边调的推演环境。交互式世界模型正在从“生成一段画面”走向“生成一个可操作的世界”,Hy-Nomas是这条路线上的一个务实起点。


文章版权及转载声明:

作者:流云本文地址:https://sanwenge.com/post/1533.html发布于 2026-10-26
文章转载或复制请以超链接形式并注明出处三文阁