去创作

用微信扫描二维码

分享至好友和朋友圈

腾讯Hy4flash发布,速度大幅提升,单任务成本仅为Hy4二十分之一

本文来源:时代财经

11月16日,腾讯混元最新语言模型Hy4 flash发布,模型总参数量为224B(其中 64B Engram 参数),激活参数仅为12B,支持多模态和1M上下文长度。Hy4 flash是迄今为止最高性价比的Hy模型:每百万Token输入0.5元、输出2元,命中缓存时仅需0.02元,单任务成本仅为Hy4的二十分之一。

为了达到极致的性价比,同时兼顾智能水平和实用性,混元团队做了以下工作:预训练阶段,Hy4 flash加入混合注意力、LatentMoE(稀疏框架)等特性,使KV cache(键-值缓存)大小仅为Hy4的六分之一;后训练阶段,通过自蒸馏Hy4获得了较强的综合智能水平,再通过强化学习使端到端任务输出长度降低50%;在评估阶段,聚焦日常工作的产物效果、单轮输出长度,而非远离日常工作的榜单分数;在推理阶段,通过极致优化,使Hy4 flash解码速度超过150tps,可大规模低成本部署运营。

Hy4 flash已在腾讯云TokenHub、WorkBuddy、元宝、企业微信、QQ、ima、Marvis等产品上线。11 月 30 日前,用户可在WorkBuddy限时免费使用,腾讯云TokenHub API限时5折使用。

更多精彩内容,关注云掌财经公众号(ID:yzcjapp)

以上内容仅供学习交流,不作为投资依据,据此操作风险自担。股市有风险,入市需谨慎! 点击查看风险提示及免责声明
热股榜
代码/名称 现价 涨跌幅
加载中...
加载中 ...
加载中...

二维码已过期

点击刷新

扫码成功

请在手机上确认登录

云掌财经

使用云掌财经APP扫码登录

在“我的”界面右上角点击扫一扫登录

  • 验证码登录
  • 密码登录

注册/登录 即代表同意《云掌财经网站服务使用协议》

找回密码

密码修改成功!请登录(3s)

用户反馈

0/200

云掌财经APP下载

此为会员内容,加入后方可查看,请下载云掌财经APP进行加入

此为会员内容,请下载云掌财经APP加入圈子

云掌财经
扫码下载

更多功能与福利尽在APP端:

  • 精选会员内容实时推送
  • 视频直播在线答疑解惑
  • 达人一对一互动交流
关闭
/