IT之家 1 月 17 日消息，研究公司 Snowflake 公布了一款名為「SwiftKV」的 AI 模型調校技術，並在 Hugging Face 開源三款利用「SwiftKV」技術進行調校的 Llama 3.1 AI 模型（點此訪問）。

IT之家獲悉，SwiftKV 技術的核心在於優化模型提示詞處理過程。研究人員指出，通常情況下大模型最為消耗計算資源的環節在於處理用戶為模型輸入的提示詞，而許多企業為模型自定義了極長的提示詞，據稱平均情況「大約是輸出生成內容的 10 倍」。

據 Snowflake 介紹，這一「SwiftKV」模型調校技術專門為相應預製的提示詞處理進行優化，號稱突破了傳統的鍵值（Key-Value，KV）緩存壓縮技術，還在模型推理過程中引入模型重組與知識保存自我蒸餾方法，從而有效提升模型吞吐量、降低了延遲和運算成本，號稱可以幫助 AI 模型顯著縮短推理時間，可以降低模型 50% 推論時間。

實驗結果表明，在利用 SwiftKV 技術優化 Llama 3.1 的 80 億和 700 億參數模型後，相應模型的整體吞吐量可提升兩倍，同時相應模型也在代碼自動補全、文本摘要等方面表現出色。