一周两项开源成果,英伟达、Pika接连“深挖”MiniMaxH3
一周之内,MiniMaxH3接连迎来两项海外开源成果。
10月28日,由英伟达与MIT研究人员组成的Efficient-Large-Model团队公开Open-H3-Regenerate-2K视频增强项目的权重与推理代码。两天后,Pika开放基于MiniMaxH3后训练的PikaH3Flex适配器权重与推理代码,六步即可联合生成画面和声音。
两项成果选择了不同的开发方向。英伟达团队着重解决视频草稿的高分辨率重生成,Pika则继续压缩生成步数,并围绕镜头设计、多模态参考和视频编辑优化模型。
Open-H3-Regenerate-2K复用MiniMaxH3的生成能力,将低分辨率视频草稿重新生成为高分辨率视频,支持2560×1440的2K输出,最高可实现3840×2160的原生4K重生成。MiniMax官方H3-Regenerate-2K模块通过API提供2K输出服务,英伟达的项目发布则为这一环节提供了可自行部署的开放实现。
在细化模型的训练阶段,研究团队保持H3Transformer主干与视频VAE的原有参数不变,仅训练新增的细化LoRA。推理时,该LoRA与LightX2VFL2VATurbo、LMSSharp等社区适配器合并,通过三步去噪,以视频草稿的场景、布局和运动信息为基础,在目标分辨率下重新生成画面细节。
项目同时结合SoL-Engine和快速VAE解码器提高处理效率。团队公布的测试显示,在单张NVIDIAB200GPU、预热后的条件下,一段约5秒视频的潜空间放大、三步细化和2K解码合计耗时,从未优化实现的87.26秒降至22.45秒,处理速度约为原来的3.9倍。其中,快速解码器来自该团队此前发布的StreamRender-H3,将视频解码耗时从约15秒缩短至约1.6秒。
Pika对H3的改造则更多面向生成过程和创作控制。根据其技术博客,团队先在内部音视频数据集上对MiniMaxH3进行监督微调,再通过投影分布匹配蒸馏(PDMD),将教师模型的50步去噪压缩至6步。随后,团队通过奖励反馈学习和直接偏好优化训练LoRA适配器,改善美学质量、清晰度和指令遵循,合并用于推理后保持六步生成。
此次开放的两套适配器,分别用于文本及首尾帧条件生成、多模态参考生成。模型原生支持480P、768P输出,可生成约5至15秒的视频及同步立体声音频,并提供ComfyUI工作流和HuggingFaceDiffusers接入方式。创作者可以组合图像、视频和音频参考,用不同素材指导角色外观、场景、动作和运镜。
在生成模型之外,Pika还通过托管API提供1080P、2K和4K视频增强,以及音频分轨功能。创作者可以先生成和筛选低分辨率草稿,再对选定版本进行高分辨率处理;同步生成的声音也可拆分为对白、配乐、音效、拟音和环境声五类独立音轨,供后期分别调整。这些托管功能与本次开放权重的本地生成模型分开提供。
Pika公布的同提示集、768P输出对比评测显示,H3Flex在五项视觉和音频质量指标上取得参评模型中的最高得分,并位列Arena文生视频榜第八,在该榜单的开源模型中排名最高。
两项发布为MiniMaxH3开源社区再添热度。此前,FastVideo已推出基于H3的FastH3四步蒸馏版本;fal则基于H3进行后训练和推理优化,推出H3Max服务,海外开发者进一步用它尝试Twitch互动直播和24小时“AI电视台”。
MiniMaxH3推出并开源三个月来热度不减,仍在持续被外部团队当作可以继续训练和改造的基础模型,也是2026年下载量最多的开源模型之一。随着更多视频开源项目的研究,开发者与创作者获得的选择也不再受限,既可以下载权重自行部署,也可以围绕生成、视频增强和音频后期,搭建适合自己的创作流程。
更多精彩内容,关注云掌财经公众号(ID:yzcjapp)
- 热股榜
-
代码/名称 现价 涨跌幅 加载中...