MiniMax M3正式开源,原生多模态支持百万上下文

2026年06月12日 23:32快讯66
据动察 Beating 监测,国产大模型厂商 MiniMax 在 Hugging Face 正式开源原生多模态混合专家(MoE)模型 MiniMax M3 权重。MiniMax M3 总参数量为 4280 亿,单 Token 激活 230 亿参数,原生支持 100 万超长上下文。为降低部署显存开销,开发团队同步发布了 MXFP8 量化版本,并适配 SGLang、vLLM、Transformers 等主流推理框架。 在多模态设计上,MiniMax M3 在预训练阶段即开展文本、图像与视频联合训练以实现原生语义融合,而非在后训练阶段进行多模态对齐。在运行机制上,模型提供双推理模式,分为用于复杂逻辑和工具编排的 Thinking(思考)模式,以及用于低延迟对话和代码生成的 Non-thinking(非思考)模式。 支撑百万超长上下文的底层内核,是同步开源的轻量化注意力内核库 MiniMax Sparse Attention(简称 MSA)。官方公布的数据显示,MSA 采用分组查询注意力(GQA)分块检索机制,在 100 万 Token 的极长上下文实测中,针对 NVIDIA Blackwell(SM100)架构优化的 MSA 算子相比传统全注意力机制,可实现 9 倍以上的预填充加速和 15 倍的解码提速,同时显著降低了推理开销。

欧易OKX交易所

全球领先的加密货币平台,适合新手与进阶交易者

新手福利:注册即享20% 交易手续费减免!

免责声明:本站所有资讯仅代表作者个人观点,不构成任何投资理财建议。

本文链接:https://coin123.link/post/3026.html

相关文章

比特币有望在股市可能出现回调中受益

QCP Capital 于官方频道发文表示,第三季度末比特币和股票市场表现优于预期。比特币 9 月涨幅超 7%,创下历史最强 9 月表现之一;标准普尔 500 指数第三季度上涨 5.1%,为 1997…

OpenAI最新一轮融资中估值达1570亿

OpenAI 投资者 Khosla Ventures 表示,OpenAI 当前的公司架构不适合 IPO,但他不担心公司高管离职。据悉,OpenAI 在最新一轮融资中估值达1570亿美元,其团队仍然很强…

SEC:诈骗者会利用新技术如人工智能

美国证券交易委员会(SEC)在2024年世界投资者周(World Investor Week 2024)期间,对日益增长的加密货币欺诈和其他投资欺诈风险发出了警报。SEC正在重点关注涉及加密货币、金融…

苹果、英伟达和微软市值突破3万亿

韦德布什证券分析师Dan Ives表示,苹果、英伟达和微软正逐步突破3万亿美元市值大关,向4万亿美元进发。Ives指出,苹果将是首家达到4万亿美元市值的美国公司,英伟达和微软将紧跟其后。他表示,苹果基…

Gate.io创新区正式接入公链ApeChain

Gate.io创新区宣布正式接入无聊猿官方公链Ape Chain,为用户提供参与Ape Chain生态的全新途径。数据显示,Ape Chain上线12小时内已完成超36万笔交易,累计交易费用高达495…

比特币鲸鱼持有约67万枚创历史新高

据Cryptoquant数据,目前比特币鲸鱼持有约67万枚比特币,这是有史以来的最高值。毫无疑问,这是一个乐观的长期信号。当鲸鱼持有量处于高位时,比特币往往呈现横盘或局部温和下跌的趋势。这一积累阶段可…

美国大选或将成加密市场关键催化剂

Matrixport 发布最新图表,韩国以活跃的山寨币交易著称,但当前交易量依然低迷,山寨币大幅反弹的可能性不高。比特币的资金费率一向与韩国的交易量动向一致,较高的资金费率通常会吸引对冲基金购买ETF…

近100亿美元租用CoreWeave服务器

微软计划到2030年花费近100亿美元从人工智能初创公司CoreWeave租用服务器。该金额可能比以前所知的要大,占CoreWeave与客户签署的170亿美元合同总额的一半以上。CoreWeave预计…

大选前市场平静股市或在投票后反弹

花旗分析师表示,大选往往影响市场走势,但今年交易员更关注美国经济和财报季。分析师指出,通常在大选前波动的市场指标今年平静,显示大选影响担忧减少。交易员关注美国经济而非大选。分析师认为,美股近期强劲表现…

贝莱德比特币ETF规模已超其黄金ETF

据 The ETF Store 总裁 Nate Geraci 在X平台披露,贝莱德比特币交易所交易基金iShares Bitcoin ETF(IBIT)的资产规模已超过其黄金交易所交易基金iShare…