Kimi硬剛多模態滿血版o1，首曝訓練細節！強化學習scaling新範式誕生

華爾街見聞

2025/01/21

還記得嗎，AI大神Karpathy曾說過，「英文是最熱門的編程語言」。兩年後的現在，這個規則徹底要被顛覆了。從今天起，中文很有可能成為全球最熱門的編程語言！就在啱啱，Kimi發布了k1.5 多模態思考模型。這是繼去年 11 月他們發布 k0-math 數學模型，12月發布 k1 視覺思考模型之後，連續第三個月帶來 k 系列強化學習模型的重磅升級。 Kimi k1.5的性能，如今已經全面追上...

網頁鏈接

免責聲明：投資有風險，本文並非投資建議，以上內容不應被視為任何金融產品的購買或出售要約、建議或邀請，作者或其他用戶的任何相關討論、評論或帖子也不應被視為此類內容。本文僅供一般參考，不考慮您的個人投資目標、財務狀況或需求。TTM對信息的準確性和完整性不承擔任何責任或保證，投資者應自行研究並在投資前尋求專業建議。

熱議股票

{"basename":"/hant","ssrTDKData":{"titleTemplate":"%s - 老虎證券","title":"老虎证券全球投资理财平台| 一站式投资美股新股港股A股","description":"老虎证券助您一站式投资美股，新股，港股，A股等全球金融理财产品。新加坡华人最信赖的在线投资平台，现在加入即享低费用，24/5 无时差炒美股投资理财！","keywords":"老虎證券,老虎證券開戶,老虎券商,老虎證券官網,老虎證券app,tigertrade老虎證券,股票,炒股,新加坡股票交易平臺,投資,投資理財","social":{"ogDescription":"老虎证券助您一站式投资美股，新股，港股，A股等全球金融理财产品。新加坡华人最信赖的在线投资平台，现在加入即享低费用，24/5 无时差炒美股投资理财！","ogImage":"https://c1.itigergrowtha.com/portal5/static/media/og-logo.be62fbe1.png","ogUrl":"https://www.itiger.com/hant/news/2505257208"},"companyName":"老虎證券"},"pageData":{"isMobile":false,"isTiger":false,"isTTM":true,"region":"SGP","license":"TBSG","edition":"fundamental"},"isCrawlerRequest":true,"__swrFallback__":{"@#url:\"https://stock-news.skytigris.cn/v3/news\",params:#id:\"2505257208\",edition:\"fundamental\",auth_exemption:1,,,undefined,":{"share":"https://ttm.financial/m/news/2505257208?lang=zh_TW&edition=fundamental","thumbnail":"https://wpimg-wscn.awtmt.com/3ad6739d-ad7d-49cd-b659-18f31bde5824.jpeg","is_english":false,"pubTime":"2025-01-21 08:13","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"2505257208","market":"hk","top_or_hot":-1,"title":"Kimi硬剛多模態滿血版o1，首曝訓練細節！強化學習scaling新範式誕生","media":"華爾街見聞","content":"<div>\n<p>還記得嗎，AI大神Karpathy曾說過，「英文是最熱門的編程語言」。\n兩年後的現在，這個規則徹底要被顛覆了。\n從今天起，中文很有可能成為全球最熱門的編程語言！\n\n就在啱啱，Kimi發布了k1.5 多模態思考模型。這是繼去年 11 月他們發布 k0-math 數學模型，12月發布 k1 視覺思考模型之後，連續第三個月帶來 k 系列強化學習模型的重磅升級。\nKimi k1.5的性能，如今已經全面追上...</p>\n\n<a href=\"https://wallstreetcn.com/articles/3739619\">網頁鏈接</a>\n\n</div>\n","source":"wallstreetcn_hot_news","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>Kimi硬剛多模態滿血版o1，首曝訓練細節！強化學習scaling新範式誕生</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 12.5px; color: #7E829C; margin: 0;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\nKimi硬剛多模態滿血版o1，首曝訓練細節！強化學習scaling新範式誕生\n</h2>\n<h4 class=\"meta\">\n<p class=\"head\">\n<strong class=\"h-name small\">華爾街見聞</strong><span class=\"h-time small\">2025-01-21 08:13</span>\n</p>\n</h4>\n</header>\n<article>\n<div>\n<p>還記得嗎，AI大神Karpathy曾說過，「英文是最熱門的編程語言」。\n兩年後的現在，這個規則徹底要被顛覆了。\n從今天起，中文很有可能成為全球最熱門的編程語言！\n\n就在啱啱，Kimi發布了k1.5 多模態思考模型。這是繼去年 11 月他們發布 k0-math 數學模型，12月發布 k1 視覺思考模型之後，連續第三個月帶來 k 系列強化學習模型的重磅升級。\nKimi k1.5的性能，如今已經全面追上...</p>\n\n<a href=\"https://wallstreetcn.com/articles/3739619\">網頁鏈接</a>\n\n</div>\n\n<div class=\"bt-text\">\n\n\n<p> 來源：<a href=\"https://wallstreetcn.com/articles/3739619\">華爾街見聞</a></p>\n<p>為提升您的閱讀體驗，我們對本頁面進行了排版優化</p>\n\n\n</div>\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"LU0006061336.USD","symbol_name":"Blackrock US Small and MidCap Opportunities A2 USD","start_time":0,"source_url":"https://wallstreetcn.com/articles/3739619","article_id":"2505257208","we_media_id":null,"thumbnails":["https://wpimg-wscn.awtmt.com/3ad6739d-ad7d-49cd-b659-18f31bde5824.jpeg"],"rights":{"source":"wallstreetcn_hot_news","url":"https://wallstreetcn.com/articles/3739619","rn_cache_url":null,"directOrigin":true},"url":"https://stock-news.laohu8.com/highlight/detail?id=2505257208","pubTimestamp":1737418407,"columns":[],"sourceInfo":{"source_id":"wallstreetcn_hot_news","name":"华尔街见闻"},"weMediaInfo":null,"summary":"當前，基於下一個token預測的語言模型，在計算規模上的擴展，已經得到了有效證明。但模型Scaling仍受限於可用的數據量，為此，Kimi團隊創新性地擴展了強化學習（RL）的應用，開闢出一條全新的路徑。它能夠讓LLM通過獎勵機制進行探索性學習，從而自主擴展訓練數據，從而實現計算規模有效擴展。","collect":0,"end_time":0,"defaultTopTitle":"wallstreetcn.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"LU0006061336.USD":"Blackrock US Small and MidCap Opportunities A2 USD","BK4588":"碎股","RL":"拉夫劳伦","BK4585":"ETF&股票定投概念","BK4202":"服装、服饰与奢侈品"},"translate_title":"Kimi hard multi-modal full-blood version o1, first exposure of training details! A new paradigm of reinforcement learning scaling is born","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"RL":1},"content_text":"還記得嗎，AI大神Karpathy曾説過，「英文是最熱門的編程語言」。\n兩年後的現在，這個規則徹底要被顛覆了。\n從今天起，中文很有可能成為全球最熱門的編程語言！\n\n就在啱啱，Kimi發布了k1.5 多模態思考模型。這是繼去年 11 月他們發布 k0-math 數學模型，12月發布 k1 視覺思考模型之後，連續第三個月帶來 k 系列強化學習模型的重磅升級。\nKimi k1.5的性能，如今已經全面追上現役全球最強模型——OpenAI o1滿血版。\n\n具體來説，在Long CoT模式下，Kimi k1.5的數學、代碼、多模態推理能力，達到了長思考SOTA模型OpenAI o1滿血版的水平。這也是全球範圍內，首次有OpenAI之外的公司達到。\n而在Short CoT模式下，Kimi k1.5大幅領先GPT-4o 和Claude 3.5的水平。\n\n短COT模式下，數學成績顯著高於GPT-4o和Claude Sonnet 3.5\n同時，月之暗面也大方公開了這個滿血版o1水平的強化學習模型的訓練技術細節。\n簡單出奇跡，首創long2short思維鏈\n扒開Kimi k1.5 25頁技術報告，可以清晰看到這款模型的技術創新之處。\n當前，基於下一個token預測的語言模型，在計算規模上的擴展，已經得到了有效證明。\n但模型Scaling仍受限於可用的數據量，為此，Kimi團隊創新性地擴展了強化學習（RL）的應用，開闢出一條全新的路徑。\n它能夠讓LLM通過獎勵機制進行探索性學習，從而自主擴展訓練數據，從而實現計算規模有效擴展。\n\n論文地址：https://github.com/MoonshotAI/kimi-k1.5\n以下，是k1.5設計和訓練的四大關鍵要素：\n1. 長上下文擴展\n2. 改進的策略優化\n3. 簡化框架\n4. 多模態\n接下來，我們一起深挖一下這些技術細節吧。\n短CoT模型的上下文壓縮\n與業界普遍採用複雜技術做法不同，Kimi團隊選擇了一條更為優雅的技術路線——迴歸第一性原理。\n他們證明了，無需依賴蒙特卡洛樹搜索、價值函數、過程獎勵模型，也能讓模型取得卓越的性能。\n如上所見，我們已經看到了Kimi k1.5在多個權威基準測試中，取得了顯著的突破。\n那麼，long2short是如何被實現的呢？\nKimi團隊認為，可以將長CoT模型的推理先驗轉移到短CoT模型中，從而即使在有限的測試Token預算下也能提高性能。\n模型合併\n將長CoT模型和短CoT模型進行合併，除了可以在泛化性上起到積極的作用，還可以提高Token的使用效率。\n這種方法通過簡單地平均兩個模型的權重，將一個長CoT模型與一個短模型結合，得到一個新的模型，而無需進行訓練。\n最短篩選採樣\n由於模型對於同一問題生成的響應長度變化很大，因此團隊設計了一種最短篩選採樣方法。\n也就是，先對同一問題採樣n次，然後選擇最短的正確響應進行監督微調。\nDPO\n利用長CoT模型生成多個響應樣本，然後選擇最短的正確解作為正樣本，並將較長的響應視為負樣本，包括正確但長度是選定正樣本1.5倍的較長響應。\n這些正負樣本對數據集形成了用於DPO訓練的成對偏好數據。\nlong2short強化學習\n在標準強化學習訓練階段之後，團隊選擇了一個在性能與Token使用效率之間提供最佳平衡的模型作為基礎模型，並進行單獨的long2short強化學習訓練階段。\n在第二階段中，他們應用了「長度懲罰」，並顯著減少了最大展開長度，以進一步懲罰可能正確但超出期望長度的響應。\n強化學習基礎設施\nKimi k1.5系統設計了一種迭代同步的RL框架，旨在通過持續的學習與適應來增強模型的推理能力。\n該系統的一項關鍵創新是引入了部分回滾（Partial Rollout）技術，用於減少計算開銷並優化複雜推理軌跡的處理。\n如下圖3a所示，RL訓練系統通過迭代同步的方法運行，每次迭代包含回滾階段和訓練階段。\n在回滾階段，由中央主控協調的回滾工作節點通過與模型交互生成回滾軌跡，這些軌跡是模型對各種輸入生成的響應序列。在隨後的訓練階段，訓練工作節點訪問這些經驗以更新模型的權重。\n這個循環過程使模型能夠持續從其行為中學習，隨着時間的推移調整其策略以提升性能。\n\n長CoT強化學習的部分回滾技術\n部分回滾（Partial Rollouts）能夠通過同時管理長軌跡和短軌跡的回滾，有效地解決處理長CoT特性時的資源分配和效率挑戰，進而實現長上下文強化學習（RL）訓練的規模擴展。\n該技術設定了一個固定的輸出Token預算，對每個回滾軌跡的長度進行限制。如果某個軌跡在回滾階段超過了Token限制，其未完成部分被保存到重放緩衝區，並在後續迭代中繼續處理。\n此外，由於回滾工作節點是異步運行的，當某些節點處理長軌跡時，其他節點可以獨立地處理新的短回滾任務。\n如圖3b所示，部分回滾系統通過在多次迭代中將長響應分解為多個片段來運行，顯著降低了計算開銷——系統無需一次性處理整個響應，而是逐步處理和存儲片段，從而在保持快速迭代時間的同時生成更長的響應。\n部分回滾的實現還提供了重複檢測功能。系統能夠識別生成內容中的重複序列並提前終止，從而減少不必要的計算，同時保持輸出質量。\n\n訓練與推理的混合部署\n研究者提出了一種用於訓練和推理任務的混合部署策略，該策略利用Kubernetes的Sidecar容器共享所有可用GPU，將兩種任務協同部署在同一個Pod中。這一策略的主要優勢包括：\n\n\n促進了資源的高效共享與管理，避免了訓練節點因等待推理節點而處於空閒狀態（當兩者部署在不同節點時）\n\n\n通過使用不同的部署鏡像，訓練和推理可以獨立迭代，從而實現更好的性能\n\n\n架構並不限於vLLM，還可以方便地集成其他框架\n\n\n如圖4所示，研究者在Megatron和vLLM的基礎上實現了這一混合部署框架，從訓練到推理階段不到一分鐘的轉換時間，反向轉換則約為十秒鐘。\n\n實驗結果\n由於k1.5是一個多模態模型，研究者對不同模態的各種基準進行了綜合評估。基準測試主要包括以下三類：\n\n\nText Benchmark：MMLU, IF-Eval, CLUEWSC, C-EVAL\n\n\nReasoning Benchmark：HumanEval-Mul, LiveCodeBench, Codeforces, AIME 2024, MATH500\n\n\nVision Benchmark：MMMU, MATH-Vision, MathVista\n\n\nk1.5長CoT模型\nKimi的k1.5長CoT模型通過長CoT監督微調和視覺-文本聯合強化學習，在長距離推理上獲得了顯著的增強。\n評估顯示，模型在長上下文中的推理、理解和信息綜合能力方面有了顯著提升，標誌着多模態AI能力的顯著進步。\n\nk1.5短CoT模型\nKimi的k1.5短CoT模型集成了多種技術，包括傳統監督微調方法、強化學習以及長到短知識蒸餾。\n如表3所示，k1.5短CoT模型在覆蓋多個領域的多項任務中表現出與領先的開源和專有模型相當或更優的性能。\n\n長上下文Scaling\n研究者使用一箇中型模型，來研究結合LLM的強化學習的擴展特性。如圖5所示，隨着訓練的進行，模型響應長度和性能準確率同時增加。\n尤其值得注意的是，在更具挑戰性的基準測試中，響應長度的增長更為陡峭，這表明模型在處理複雜問題時學會生成更詳盡的解決方案。\n\n圖6表明，模型輸出的上下文長度與其問題解決能力之間存在顯著的相關性。\n最終，k1.5模型的運行能支持128k上下文長度，並在困難的推理基準測試中持續取得改進。\n\n由長到短\n研究者重點研究了long2short問題中的Token效率，特別是長CoT模型如何提升短模型性能。\n如圖7所示，提出的long2short強化學習算法在Token效率方面優於其他方法（如DPO和模型合併）。\n值得注意的是，k1.5系列的所有模型（用橙色標記）在Token效率上都優於其他模型（用藍色標記）。\n\n思考模型，進入衝刺\n可以看到，在多模態推理技術路線上，Kimi又進了一步。\n從2024年11月，他們首次推出的數學推理模型K0-math就展現出了在數學領域的領先性。\n緊接着一個月後，K1視覺思考模型誕生，不僅繼承了K0-math的數學底藴，更突破性地解鎖了視覺理解能力。\n這意味着，K1不僅「會算」，還能「會看」——通過理解圖片中的信息，並通過逐步推理得出答案。\n如今，k1.5又繼續向前推進了一步，在多個領域數理化、代碼、通用中，刷新了SOTA，甚至能夠媲美世界頂尖模型。\n\n下一步，Kimi依舊會發力多模態推理，繼續迭代出能夠在更多模態、更多領域、具備更強通用能力的Kn系列的模型。\nk1.5已經帶來了諸多驚喜，還真是有點期待下一代模型的到來。\n文章來源：新智元，原文標題：《Kimi硬剛多模態滿血版o1，首曝訓練細節！強化學習scaling新範式誕生》風險提示及免責條款\n\n            市場有風險，投資需謹慎。本文不構成個人投資建議，也未考慮到個別用户特殊的投資目標、財務狀況或需要。用户應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資，責任自負。","kind":"news","is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":1,"need_auth":false,"code":"91000000","status":"200"}}}