MiniMax M3正式开源,原生多模态支持百万上下文

2026年06月12日 23:32快讯237
据动察 Beating 监测,国产大模型厂商 MiniMax 在 Hugging Face 正式开源原生多模态混合专家(MoE)模型 MiniMax M3 权重。MiniMax M3 总参数量为 4280 亿,单 Token 激活 230 亿参数,原生支持 100 万超长上下文。为降低部署显存开销,开发团队同步发布了 MXFP8 量化版本,并适配 SGLang、vLLM、Transformers 等主流推理框架。 在多模态设计上,MiniMax M3 在预训练阶段即开展文本、图像与视频联合训练以实现原生语义融合,而非在后训练阶段进行多模态对齐。在运行机制上,模型提供双推理模式,分为用于复杂逻辑和工具编排的 Thinking(思考)模式,以及用于低延迟对话和代码生成的 Non-thinking(非思考)模式。 支撑百万超长上下文的底层内核,是同步开源的轻量化注意力内核库 MiniMax Sparse Attention(简称 MSA)。官方公布的数据显示,MSA 采用分组查询注意力(GQA)分块检索机制,在 100 万 Token 的极长上下文实测中,针对 NVIDIA Blackwell(SM100)架构优化的 MSA 算子相比传统全注意力机制,可实现 9 倍以上的预填充加速和 15 倍的解码提速,同时显著降低了推理开销。

免责声明:本站所有资讯仅代表作者个人观点,不构成任何投资理财建议。

本文链接:https://coin123.link/post/3026.html

相关文章

抵押品已成为代币化的主要用例

据 Bloomberg 报道,BlackRock 和 Franklin Templeton 提供的代币化货币市场基金旨在吸引加密用户。CFTC全球市场咨询委员会的一个小组计划在年底前提出建议,指导注册…

去中心化交易所Trader Joe更名为LFJ

去中心化交易所Trader Joe于9月23日宣布更名为LFJ,并推出全新品牌形象。LFJ保留了原有的Joe吉祥物,但赋予其更现代化的装扮,旨在吸引更广泛的加密社区。新品牌以"Let'…

降息或致五大稳定币损失15.6亿美元

美联储自2020年3月以来首次降息,预计将影响五大中心化稳定币的收入流。CCData报告显示,这些稳定币共持有近1250亿美元的美国国债,每降息50个基点,可能损失约6.25亿美元的利息收入。美国国债…

谷歌搜索集成 ENS 域名余额显示功能

10 月 9 日,谷歌搜索已集成 ENS 域名余额显示功能。目前在谷歌搜索中搜索 ENS 域名可查看 ETH 余额,援引的是 Etherscan 数据。2023 年 5 月份开始,在谷歌搜索以太坊地址…

法国托管银行推出数字资产托管架构

法国托管银行 CACEIS 宣布允许用户访问原生数字货币市场基金(MMF),标志着其推出新的数字资产托管架构。CACEIS 是法国农业信贷银行的子公司,桑坦德银行拥有其近 30%的股份。最近,CACE…

Dynex强调创新推出量子计算订阅服务

在10月13日至16日于迪拜举行的未来区块链峰会上,DePIN项目Dynex联合创始人Daniela Herrmann表示,公司计划通过订阅服务让公众访问量子计算技术。Herrmann解释,量子计算是…

特朗普与哈里斯加密货币监管存分歧

美国大选临近,特朗普和哈里斯在加密货币监管问题上存在明显分歧。本周,Rebecca Jones 采访了 Bloomberg 加密货币记者 Sunil Jagtiani,讨论了两位候选人的数字资产政策。…

苹果、英伟达和微软市值突破3万亿

韦德布什证券分析师Dan Ives表示,苹果、英伟达和微软正逐步突破3万亿美元市值大关,向4万亿美元进发。Ives指出,苹果将是首家达到4万亿美元市值的美国公司,英伟达和微软将紧跟其后。他表示,苹果基…

美联储11月降息25BP概率为91.1%

据CME“美联储观察”,美联储到11月降25个基点的概率为91.1%,维持当前利率不变的概率为8.9%,降息50个基点的概率为0%。到12月维持当前利率不变的概率为2.2%,累计降息25个基点的概率为…

远古巨鲸累计出售1052万美元比特币

根据Arkham监测数据显示,一位自2009年比特币诞生仅5天后就开始挖矿的“远古巨鲸”在沉睡10年后于今年8月开始出售比特币。截至目前,该鲸鱼已累计套现1052万美元,仍持有价值7170万美元的比特…