好戲才剛剛開始。

一、小米首個(gè)大模型開源

大模型領(lǐng)域，也被小米攪動(dòng)得天翻地覆。

近日，小米宣布，其首個(gè)推理大模型Xiaomi MiMo開源。

值得注意的是，其中經(jīng)強(qiáng)化學(xué)習(xí)訓(xùn)練形成的MiMo-7B-RL模型，在數(shù)學(xué)推理（AIME 24-25）和代碼競(jìng)賽（LiveCodeBench v5）公開測(cè)評(píng)集上，僅用7B參數(shù)量，得分不僅超過了OpenAI的閉源推理模型o1-mini，還打敗了對(duì)手阿里Qwen開源推理模型QwQ-32B-Preview。

圖源：微博

在相同強(qiáng)化學(xué)習(xí)訓(xùn)練數(shù)據(jù)情況下，MiMo-7B-RL在數(shù)學(xué)和代碼推理任務(wù)上均表現(xiàn)出色，分?jǐn)?shù)超過DeepSeek-R1-Distill-7B和Qwen2.5-32B。

圖源：微博

圖源：微博

目前，MiMo-7B 已在 Hugging Face 平臺(tái)開源 4 個(gè)模型版本，分別是：

·MiMo-7B-Base：預(yù)訓(xùn)練模型

·MiMo-7B-SFT：監(jiān)督微調(diào)模型

·MiMo-7B-Base-Zero：基于MiMo-7B-Base直接強(qiáng)化學(xué)習(xí)的模型

·MiMo-7B-RL：基于MiMo-7B-SFT強(qiáng)化學(xué)習(xí)的模型

圖源：微博

同時(shí)，技術(shù)報(bào)告也同步上線 GitHub，向開發(fā)者與研究者全面開放。

圖源：微博

預(yù)訓(xùn)練階段，模型整體數(shù)據(jù)量為25T Tokens，核心是讓模型見過更多推理模式。預(yù)訓(xùn)練分為漸進(jìn)式三階段：

第一階段以常識(shí)性推理為主，主要如涉及數(shù)學(xué)應(yīng)用題、基礎(chǔ)代碼片段；

第二階段引入多步驟邏輯鏈條，如組合數(shù)學(xué)問題、動(dòng)態(tài)規(guī)劃算法，為了不影響模型通用能力，混入部分通用數(shù)據(jù)，比例為7：3。

第三階段要為了提高模型解決復(fù)雜任務(wù)的能力，聚焦于國際競(jìng)賽級(jí)難題，比如AIME 2024-2025中的奧賽題目，和創(chuàng)造性寫作數(shù)據(jù)，并將上下文長度從8192擴(kuò)展到32768。

圖源：微博

“分階爬坡”的策略有效避免了模型在早期陷入局部最優(yōu)解，同時(shí)通過逐步提升思維負(fù)荷強(qiáng)化神經(jīng)網(wǎng)絡(luò)的泛化能力。

后訓(xùn)練階段，MiMo實(shí)現(xiàn)“小參數(shù)越級(jí)挑戰(zhàn)”的關(guān)鍵。團(tuán)隊(duì)構(gòu)建高質(zhì)量強(qiáng)化學(xué)習(xí)（RL）數(shù)據(jù)集，包含13萬道經(jīng)過嚴(yán)格清洗與難度標(biāo)注的數(shù)學(xué)題和編程題。每道題目均配備基于規(guī)則的驗(yàn)證器，確保獎(jiǎng)勵(lì)信號(hào)的客觀性與可復(fù)現(xiàn)性，從而規(guī)避了傳統(tǒng)RLHF（人類反饋強(qiáng)化學(xué)習(xí)）中主觀偏好導(dǎo)致的模型偏差。

圖源：微博

框架層面的突破則體現(xiàn)在Seamless Rollout系統(tǒng)的設(shè)計(jì)上。該系統(tǒng)將策略部署、異步獎(jiǎng)勵(lì)計(jì)算與提前終止功能集成于統(tǒng)一架構(gòu)，通過動(dòng)態(tài)調(diào)度GPU資源，將強(qiáng)化學(xué)習(xí)訓(xùn)練速度提升2.29倍，驗(yàn)證效率加快1.96倍。

那么，我們來聊一聊，小米這種開放姿態(tài)，對(duì)于其本身戰(zhàn)略定位和大模型行業(yè)來說，有什么意義。

一方面，將MiMo與早前開源的Vela物聯(lián)網(wǎng)系統(tǒng)、米家智能家居協(xié)議深度綁定，小米企圖構(gòu)建的“模型-硬件-場(chǎng)景”三位一體的開放生態(tài)便會(huì)越來越清晰。

比如，基于MiMo開發(fā)的語音助手，開發(fā)者可直接接入小米智能家居設(shè)備?；蛘撸柚囕d推理引擎，無縫對(duì)接小米汽車OS系統(tǒng)。

作為一家產(chǎn)品銷量可觀的智能設(shè)備公司，小米開放了核心AI模型，意味著，或許不久的將來，更多的智能終端將被納入其技術(shù)軌道。對(duì)于友商來說，壓力確實(shí)不小。

另一方面，僅僅其以7B的參數(shù)規(guī)模，就超越了阿里32B模型和OpenAI閉源產(chǎn)品的成績，可以說，直接顛覆了行業(yè)對(duì)“參數(shù)規(guī)模決定性能”的固有認(rèn)知。

并且，此次開源，開發(fā)者無需支付高昂API費(fèi)用即可調(diào)用模型，使用門檻大大降低。當(dāng)然，用戶規(guī)模的擴(kuò)大，意味著更多的使用數(shù)據(jù)，反過來也會(huì)進(jìn)一步反哺小米大模型的開發(fā)。

當(dāng)然，股票市場(chǎng)對(duì)于小米這次動(dòng)作的反應(yīng)也十分樂觀和迅速。截至午間休市，小米集團(tuán)今日股價(jià)直接上漲4.74%，總市值1.29萬億港元（約合人民幣1.21萬億元）。

圖源：小紅書

值得注意的是，此次開源的MiMo，是來自全新成立不久的“小米大模型 Core 團(tuán)隊(duì)”的初步嘗試。

此前，曾有報(bào)道稱小米創(chuàng)始人雷軍以千萬年薪挖角 AI 天才少女羅福莉，后者曾在 DeepSeek 任職研究員，并參與 DeepSeek-V2 等大模型研發(fā)工作。

如今交出這樣一份答卷，可以說，讓公眾對(duì)小米大模型的未來，不禁有了更多想象的空間。

二、小米一向是個(gè)“逆襲者”

從手機(jī)、到家電、再到汽車，小米拿到入場(chǎng)券的時(shí)間都不算早，但這個(gè)企業(yè)，總能依靠獨(dú)特的打法實(shí)現(xiàn)后來居上。

比如，2011年，雷軍帶著小米手機(jī)殺入市場(chǎng)時(shí)，蘋果、三星已封神多年，也許沒人相信小米能攪動(dòng)風(fēng)云。

圖源：抖音

但就在三年后的2014年，小米通過極致性價(jià)比和技術(shù)堆料策略，一舉登頂中國市場(chǎng)份額第一。

而就在前兩天，小米手機(jī)再次以出貨量1330萬臺(tái)，市場(chǎng)份額18.6%的成績，登頂中國區(qū)銷量榜。

圖源：微博

為此，沉默多天的雷軍也現(xiàn)身發(fā)文慶祝。

圖源：微博截圖

再比如，2021年，小米宣布造車，此時(shí)“蔚小理”的名聲已經(jīng)在國內(nèi)市場(chǎng)打響。但很顯然小米造車的銷量再次出乎意料。

2024年，小米SU7上市24小時(shí)內(nèi)大定訂單突破8.8萬臺(tái)，全年交付量達(dá)13.6萬輛，遠(yuǎn)超原定目標(biāo)。

圖源：微博

最后，到如今的小米大模型，其實(shí)，與不少友商互聯(lián)網(wǎng)大廠相比，小米進(jìn)軍的時(shí)間并不長。

2023年4月，雷軍親自宣布，小米將成立大模型團(tuán)隊(duì)，并且，雷軍明確提出“不搞軍備競(jìng)賽”，專注輕量化與端側(cè)部署。

同年8月，小米首次發(fā)布了自研大模型MiLM-6B（64億參數(shù)），并在中文評(píng)測(cè)榜單C-EVAL和CMMLU中，一舉奪得同參數(shù)量級(jí)第一的成績。

圖源：微博

該模型采用“大數(shù)據(jù)+大任務(wù)+大參數(shù)”的范式，通過自研的ScaledAdam優(yōu)化器和Eden學(xué)習(xí)率調(diào)度器提升訓(xùn)練效率，同時(shí)依托小米生態(tài)80%的自有數(shù)據(jù)（包括3TB產(chǎn)品業(yè)務(wù)數(shù)據(jù)）進(jìn)行深度優(yōu)化。

第二年5月，MiLM正式通過澎湃OS系統(tǒng)和小愛同學(xué)實(shí)現(xiàn)了消費(fèi)端的落地應(yīng)用。小米手機(jī)端的AI圖片編輯、平板端的自動(dòng)生成會(huì)議紀(jì)要、電視端的影視問答等，都有它的協(xié)同參與。

小米第二代模型MiLM2，是在2024年11月發(fā)布的，此次迭代不僅擴(kuò)充了訓(xùn)練數(shù)據(jù)的規(guī)模，也在訓(xùn)練策略與微調(diào)機(jī)制上進(jìn)行了打磨。

圖源：微博

這次更新的成績也很吸睛，參數(shù)范圍擴(kuò)展至0.3B-30B，推理速度提升了34%，量化損失降低了78%。

可以說，大模型的發(fā)展歷程，實(shí)質(zhì)是小米在AI 2.0時(shí)代對(duì)“規(guī)模擴(kuò)張”與“價(jià)值創(chuàng)造”的重新平衡，通過將開源生態(tài)、云邊協(xié)同與通用能力三大要素深度融合，重新書寫中國科技企業(yè)參與全球AI競(jìng)賽的新敘事。

三、小米的前路并不輕松

當(dāng)然，在這場(chǎng)小米大模型的開源狂歡過后，小米的前路也許并不輕松。

一方面，從技術(shù)角度來看，小米模型目前僅支持文本輸入，與強(qiáng)勁的對(duì)手OpenAI相比，在多模態(tài)能力和應(yīng)用場(chǎng)景拓展上還存在一定差距。

與此同時(shí)，當(dāng)前7B模型雖然適配端側(cè)芯片，但隨著多模態(tài)能力的擴(kuò)展，未來小米可能面對(duì)在模型復(fù)雜度與硬件兼容性間權(quán)衡的難題。

不過，小米技術(shù)團(tuán)隊(duì)似乎已經(jīng)意識(shí)到這一點(diǎn)。據(jù)其開源技術(shù)報(bào)告披露，下一代MiMo模型將引入動(dòng)態(tài)多模態(tài)融合模塊，通過跨模態(tài)注意力機(jī)制整合文本、圖像甚至傳感器數(shù)據(jù)。

另一方面，外部競(jìng)爭(zhēng)對(duì)手正在逐步加快開發(fā)的進(jìn)程，火藥味越來越濃。友商科技頭部企業(yè)，如阿里巴巴、騰訊、華為、字節(jié)跳動(dòng)等，你追我趕。

圖源：微博

例如，就在前兩天，百度在Create2025AI開發(fā)者大會(huì)上，也發(fā)布了兩款開源大模型：文心大模型4.5 Turbo及深度思考模型X1 Turbo。百度大模型的實(shí)力也確實(shí)“不一般”。

圖源：微博

甚至，2025年來，全球基礎(chǔ)模型數(shù)量已經(jīng)突破了500個(gè)，純文本模型的性能差距逐漸收窄。因此，留給小米的壓力不小。

但無論如何，MiMo的開源已為中國AI發(fā)展提供新范式，至少，它證明技術(shù)突破未必需要千億參數(shù)的軍備競(jìng)賽，并且，生態(tài)共贏遠(yuǎn)比閉源壟斷更具生命力。

在大模型領(lǐng)域，小米究竟能掀起怎樣的浪潮，或許時(shí)間會(huì)給出答案，讓我們拭目以待。