去创作

用微信扫描二维码

分享至好友和朋友圈

一周两项开源成果,英伟达、Pika接连“深挖”MiniMaxH3

一周之内,MiniMaxH3接连迎来两项海外开源成果。

10月28日,由英伟达与MIT研究人员组成的Efficient-Large-Model团队公开Open-H3-Regenerate-2K视频增强项目的权重与推理代码。两天后,Pika开放基于MiniMaxH3后训练的PikaH3Flex适配器权重与推理代码,六步即可联合生成画面和声音。

两项成果选择了不同的开发方向。英伟达团队着重解决视频草稿的高分辨率重生成,Pika则继续压缩生成步数,并围绕镜头设计、多模态参考和视频编辑优化模型。

Open-H3-Regenerate-2K复用MiniMaxH3的生成能力,将低分辨率视频草稿重新生成为高分辨率视频,支持2560×1440的2K输出,最高可实现3840×2160的原生4K重生成。MiniMax官方H3-Regenerate-2K模块通过API提供2K输出服务,英伟达的项目发布则为这一环节提供了可自行部署的开放实现。

在细化模型的训练阶段,研究团队保持H3Transformer主干与视频VAE的原有参数不变,仅训练新增的细化LoRA。推理时,该LoRA与LightX2VFL2VATurbo、LMSSharp等社区适配器合并,通过三步去噪,以视频草稿的场景、布局和运动信息为基础,在目标分辨率下重新生成画面细节。

项目同时结合SoL-Engine和快速VAE解码器提高处理效率。团队公布的测试显示,在单张NVIDIAB200GPU、预热后的条件下,一段约5秒视频的潜空间放大、三步细化和2K解码合计耗时,从未优化实现的87.26秒降至22.45秒,处理速度约为原来的3.9倍。其中,快速解码器来自该团队此前发布的StreamRender-H3,将视频解码耗时从约15秒缩短至约1.6秒。

Pika对H3的改造则更多面向生成过程和创作控制。根据其技术博客,团队先在内部音视频数据集上对MiniMaxH3进行监督微调,再通过投影分布匹配蒸馏(PDMD),将教师模型的50步去噪压缩至6步。随后,团队通过奖励反馈学习和直接偏好优化训练LoRA适配器,改善美学质量、清晰度和指令遵循,合并用于推理后保持六步生成。

此次开放的两套适配器,分别用于文本及首尾帧条件生成、多模态参考生成。模型原生支持480P、768P输出,可生成约5至15秒的视频及同步立体声音频,并提供ComfyUI工作流和HuggingFaceDiffusers接入方式。创作者可以组合图像、视频和音频参考,用不同素材指导角色外观、场景、动作和运镜。

在生成模型之外,Pika还通过托管API提供1080P、2K和4K视频增强,以及音频分轨功能。创作者可以先生成和筛选低分辨率草稿,再对选定版本进行高分辨率处理;同步生成的声音也可拆分为对白、配乐、音效、拟音和环境声五类独立音轨,供后期分别调整。这些托管功能与本次开放权重的本地生成模型分开提供。

Pika公布的同提示集、768P输出对比评测显示,H3Flex在五项视觉和音频质量指标上取得参评模型中的最高得分,并位列Arena文生视频榜第八,在该榜单的开源模型中排名最高。

两项发布为MiniMaxH3开源社区再添热度。此前,FastVideo已推出基于H3的FastH3四步蒸馏版本;fal则基于H3进行后训练和推理优化,推出H3Max服务,海外开发者进一步用它尝试Twitch互动直播和24小时“AI电视台”。

MiniMaxH3推出并开源三个月来热度不减,仍在持续被外部团队当作可以继续训练和改造的基础模型,也是2026年下载量最多的开源模型之一。随着更多视频开源项目的研究,开发者与创作者获得的选择也不再受限,既可以下载权重自行部署,也可以围绕生成、视频增强和音频后期,搭建适合自己的创作流程。

​

更多精彩内容,关注云掌财经公众号(ID:yzcjapp)

以上内容仅供学习交流,不作为投资依据,据此操作风险自担。股市有风险,入市需谨慎! 点击查看风险提示及免责声明
热股榜
代码/名称 现价 涨跌幅
加载中...
加载中 ...
加载中...

二维码已过期

点击刷新

扫码成功

请在手机上确认登录

云掌财经

使用云掌财经APP扫码登录

在“我的”界面右上角点击扫一扫登录

  • 验证码登录
  • 密码登录

注册/登录 即代表同意《云掌财经网站服务使用协议》

找回密码

密码修改成功!请登录(3s)

用户反馈

0/200

云掌财经APP下载

此为会员内容,加入后方可查看,请下载云掌财经APP进行加入

此为会员内容,请下载云掌财经APP加入圈子

云掌财经
扫码下载

更多功能与福利尽在APP端:

  • 精选会员内容实时推送
  • 视频直播在线答疑解惑
  • 达人一对一互动交流
关闭
/