來源:南方能源觀察 時間:2025-02-06 11:46
農歷新年期間,筆者問了深度求索(DeepSeek)一個問題:相比GPT-4,你能節省多少算力?以下節選了部分DeepSeek的回答:
目前沒有官方公開的詳細數據,但可以通過模型架構和已知信息進行合理推測:
模型規模優化:GPT-4的參數量約為1.8萬億(推測),采用混合專家(MoE)架構,訓練消耗約2.15e25 FLOPs。DeepSeek公開的模型(如DeepSeek-R1)參數量顯著更小(約百億級),通過稀疏激活和架構優化實現高效計算,理論上訓練算力需求可能降低1-2個數量級。
實際場景差異:在同等任務下,DeepSeek的推理速度可達GPT-4的3-5倍(部分公開測試數據),顯存占用降低約60%。
根據Visual Capitalist網站數據,截至2024年3月,美國擁有全世界最多的數據中心,達5381個,德國、英國、中國均擁有500個左右,分別為521個、514個和449個。2024年,美國科技公司仍在四處“求電”。
隨著生成式AI技術研發進入爆發期,其激增的能源電力需求給美國電網帶來巨大壓力,eo此前轉引彭博社的一份報告顯示,美國超過3/4的高度失真功率讀數位于大型數據中心50英里范圍之內,表明數據中心可能引發諧波問題,進而影響電力系統平穩運行。
2024年9月,英偉達和谷歌等多家科技公司負責人拜訪美國白宮,提出請政府資助建設強大能源設施來支持頂級AI模型訓練的設想,建議建造多個巨型數據中心,每個數據中心的電力需求堪比整個紐約市的用電量。
除了希望政府支持發展數據中心,為生成式AI大模型發展蓄力外,它們還看中了核電這種性能與數據中心需求相對匹配的電源品種,并嘗試投資新的核能利用技術,核電巨頭Constellation Energy以及部分初創公司如Oklo也因此成為炙手可熱的合作對象。
這種新的巨大用能需求曾一度讓部分電力從業者認為,變革者來了。但DeepSeek的出現,可能改變剛剛出現的變化。通過更高效的計算,DeepSeek的算力需求相比OpenAI銳減,“分布式“部署算力,即人手一套DeepSeek也成為選項之一,AI可能不再是電力“巨獸”。
不過,美國麻省理工學院技術評論(MIT Technology Review)網站發表的一篇文章提到,在40個提示的測試中,DeepSeek被發現與Meta模型具有類似的能源效率,但DeepSeek傾向于生成更長的回答,因此被發現多使用了87%的能源。
只是不同模型具有不同的用途,尚未進行科學合理的研究來比較DeepSeek相對于其競爭對手的能源使用情況。
由AI技術不斷演進帶來的還有具身智能制造業的發展,其可能是未來用電量的重要增長點之一。在筆者看來,由于散熱往往消耗較多電量,數據中心未來更傾向于部署在相對涼快的地方,以減少空調負荷消耗,而隨著國內對綠電消費的要求逐步提高,水(儲)、風、光一體化或核電將成為其優選。在DeepSeek看來,AI驅動的協同優化,將是電算協同的技術支撐和創新方向之一,即通過AI模型同時優化算力分配任務和電力調度,例如任務遷移,將高耗能計算任務遷移至綠電充足時段;動態降頻,在電力緊張時降低服務器頻率以減少能耗等。
DeepSeek總結:
電力與算力的協同不僅是技術問題,更是涉及經濟、政策、生態的系統工程,將成為全球碳中和與數字化轉型的核心交匯點。(姜黎)
責任編輯:王萍