MiniMax M3正式开源,原生多模态支持百万上下文

2026年06月12日 23:32快讯115
据动察 Beating 监测,国产大模型厂商 MiniMax 在 Hugging Face 正式开源原生多模态混合专家(MoE)模型 MiniMax M3 权重。MiniMax M3 总参数量为 4280 亿,单 Token 激活 230 亿参数,原生支持 100 万超长上下文。为降低部署显存开销,开发团队同步发布了 MXFP8 量化版本,并适配 SGLang、vLLM、Transformers 等主流推理框架。 在多模态设计上,MiniMax M3 在预训练阶段即开展文本、图像与视频联合训练以实现原生语义融合,而非在后训练阶段进行多模态对齐。在运行机制上,模型提供双推理模式,分为用于复杂逻辑和工具编排的 Thinking(思考)模式,以及用于低延迟对话和代码生成的 Non-thinking(非思考)模式。 支撑百万超长上下文的底层内核,是同步开源的轻量化注意力内核库 MiniMax Sparse Attention(简称 MSA)。官方公布的数据显示,MSA 采用分组查询注意力(GQA)分块检索机制,在 100 万 Token 的极长上下文实测中,针对 NVIDIA Blackwell(SM100)架构优化的 MSA 算子相比传统全注意力机制,可实现 9 倍以上的预填充加速和 15 倍的解码提速,同时显著降低了推理开销。

免责声明:本站所有资讯仅代表作者个人观点,不构成任何投资理财建议。

本文链接:https://coin123.link/post/3026.html

相关文章

回顾SEC成立90周年的主要成就

据深潮TechFlow报道,美国证券交易委员会(SEC)主席Gary Gensler在国会听证会上回顾SEC成立90周年的主要成就和当前工作重点。Gensler强调,SEC致力于保护投资者、维护公平有…

币安公告将上线EIGEN U本位永续合约

据币安公告,币安交易所将于 2024 年 10 月 01 日 14:00(东八区时间)上线 EIGEN 1-75 倍 U 本位永续合约。此外,币安全仓、逐仓杠杆将于 2024 年 10 月 01 日…

现阶段人工智能电力需求占全球1.5%

国际能源署执行董事法提赫·比罗尔表示,现阶段人工智能所使用的电力在全球电力需求中仅占1.5%。到2035年,人工智能的电力需求将占到电力需求整体巨大增长的几个百分点。人工智能会促进电力的增长,但并不是…

顶级交易员预测 ENA 即将突破 0.5 美元

10 月 16 日,顶级交易员 Eugene 在其社交平台表示,ENA 从 0.28 美元涨至 0.42 美元,现货买盘始终保持稳定且量大,表明有实力的买盘在不断涌入。从动量角度来看,这看上去是健康的…

比特币离前高差7.86%以太坊差84%

以比特币当前 68,400 美元为基准,距离其前高 73,777 美元涨幅仅差约 7.86%。而以以太坊当前 2645 美元为基准,距离其前高 4868 美元涨幅差距约为 84%。…

马斯克呼吁支持者公开支持特朗普

据Odaily星球日报报道,马斯克在宾夕法尼亚州总统大选投票期间的线下演讲中表示,支持者应大声而自豪地穿特朗普的 T 恤,戴 MAGA 帽子,并在草坪上放置支持特朗普/万斯的标志。他强调,对于那些通常…

数字资产投资产品上周流入9​​亿美元

据CoinShares最新周报数据,数字资产投资产品流入 9.01 亿美元,本月流入量占总管理资产的 12%,成为有记录以来流入量第四大的月份。今年的总流入量目前为 270 亿美元,几乎是 2021…

美国财政部建议用CBDC取代稳定币

根据美国财政部周三发布的一份报告,美国财政部对稳定币市场的增长表示担忧,并认为私营部门发行的稳定币最终应由国家支持的央行数字货币(CBDC)取代。这份由财政部债务管理办公室撰写的报告表示:“与 19…

以太坊主网净流出60亿流向L2网络

加密分析师 Michael Nadeau 援引 Artemis 数据称,今年以来,以太坊主网净流出 60 亿美元,其中 83%流向 L2 网络。因此,今年迄今 Arbitrum 净流入 24 亿美元、…

BANANA,ADA,ENA等迎大额解锁

Token Unlocks数据显示,NEON、BANANA、ADA等代币将于下周迎来大额解锁,其中:Banana Gun(BANANA)将于东八区时间11月8日上午8点解锁约25万枚代币,占现流通量的…