臺積電董事長劉德音預測:未來 15 年每瓦 GPU 性能提升 1000 倍,GPU 晶體管數(shù)破萬億

          (圖片來源:brookings.edu)

          通用人工智能(AGI)領(lǐng)域又出一系列重磅消息。

          3月29日上午,IEEE的頭版刊登臺積電董事長劉德音聯(lián)合撰寫題為《我們?nèi)绾螌崿F(xiàn)1萬億個晶體管GPU》的文章。

          劉德音在文中預測,半導體技術(shù)的突破給AI技術(shù)帶來重要貢獻。在未來10年,GPU集成的晶體管數(shù)將達到1萬億。而且,GPU能效性能每2年提高3倍,未來15年(到2040年)內(nèi),每瓦GPU性能將提高1000倍。

          同時,有消息稱,華人團隊創(chuàng)立的 AI 龍頭Scale AI正在進行新一輪融資,估值高達130億美元,比2021 年的73億美元估值提高近 80%。報道指,2023年,Scale AI產(chǎn)生超過 6.75 億美元的收入,同比增長約 150%。

          此外,馬斯克還發(fā)布了Grok 1.5,不僅支持長文本,而且性能“遙遙領(lǐng)先”。

          臺積電董事長:未來15年,每瓦GPU性能將提高1000倍

          在IEEE文章中,臺積電董事長劉德音及臺積電首席科學家H.-S Philip Wong講述了臺積電是如何達成1萬億晶體管芯片的目標。

          文章指出,從1997年擊敗國際象棋人類冠軍的IBM深藍超級計算機,到2023年爆火的ChatGPT,再過15年,人工智能(AI)將發(fā)展到可以“合成知識”(synthesize knowledge)的地步,可以創(chuàng)作詩歌、編寫總結(jié)報告和計算機代碼,甚至可以設(shè)計集成電路。

          GTC 2024大會上,黃仁勛祭出世界最強GPU——Blackwell B200 ,整整封裝了超2080億個晶體管。比起上一代H100(800億),B200晶體管數(shù)是其2倍多,AI推理性能直接飆升5倍,運行速度提升30倍。

          所有這些奇妙的人工智能應(yīng)用都歸功于三個因素:高效機器學習算法的創(chuàng)新、訓練神經(jīng)網(wǎng)絡(luò)的大量數(shù)據(jù)的可用性,以及通過半導體技術(shù)的進步實現(xiàn)節(jié)能計算的進步。

          文章內(nèi)容稱,如果AI要以目前的速度發(fā)展下去,它將需要半導體產(chǎn)業(yè)做出更多貢獻。10年內(nèi),它將需要1個1萬億晶體管的GPU,也就是說,GPU的設(shè)備數(shù)量是當今典型設(shè)備數(shù)量的10倍。

          文章稱,CoWoS是臺積電的硅晶圓上芯片先進封裝技術(shù),目前已在產(chǎn)品中得到應(yīng)用。示例包括英偉達Ampere和Hopper GPU。Ampere有540億個晶體管,Hopper有800億個。從7 nm技術(shù)到更密集的4nm技術(shù)的轉(zhuǎn)變使得在基本相同的面積上封裝的晶體管數(shù)量增加了50%。Ampere和Hopper是當今大型語言模型 ( LLM ) 訓練的主力,訓練ChatGPT需要數(shù)萬個這樣的處理器。

          HBM是對AI日益重要的另一項關(guān)鍵半導體技術(shù)的一個例子,通過將芯片堆疊在一起來整合系統(tǒng)的能力,臺積電稱之為SoIC(system-on-integrated-chips)。

          文章預測,10年內(nèi),多芯片GPU將擁有超過1萬億個晶體管。

          那么,所有這些創(chuàng)新的硬件技術(shù)如何提高系統(tǒng)的性能呢?

          劉德音在文章中表示,GPU芯片需要節(jié)能性能的指標的穩(wěn)步改進,比如 EEP 芯片是系統(tǒng)能源效率和速度的綜合衡量標準。過去 15 年來,半導體行業(yè)的能效性能,每兩年就提高了三倍左右。

          “我們相信這一趨勢將以歷史速度持續(xù)下去。它將受到多方面創(chuàng)新的推動,包括新材料、器件和集成技術(shù)、極紫外(EUV)光刻、電路設(shè)計、系統(tǒng)架構(gòu)設(shè)計以及所有這些技術(shù)元素的共同優(yōu)化等。特別是,EEP 的增加將通過我們在此討論的先進封裝技術(shù)來實現(xiàn)。此外,系統(tǒng)技術(shù)協(xié)同優(yōu)化 (STCO)等概念將變得越來越重要,其中 GPU 的不同功能部分被分離到各自的小芯片上,并使用性能最佳和最經(jīng)濟的技術(shù)來構(gòu)建每個部分?!?/span>

          文章配圖中指出,2025年-2040年之間,每瓦GPU性能將從0.019(Energy-efficient 0.019892 performance,1/femtojoulespicoseconds),提升到126.337,未來15年每瓦GPU效能將提高1000倍。

          文章結(jié)論認為,在智能時代,半導體技術(shù)是人工智能新能力和應(yīng)用的關(guān)鍵推動者。新的GPU不再受過去的標準尺寸和外形尺寸的限制。新的半導體技術(shù)不再局限于在二維平面上縮小下一代晶體管。整合人工智能系統(tǒng)可以由盡可能多的節(jié)能晶體管、用于專門計算工作負載的高效系統(tǒng)架構(gòu)以及軟件和硬件之間的最佳化關(guān)系組成。

          “過去 50 年來,半導體技術(shù)的發(fā)展就像走在隧道里一樣。前面的路很清晰,因為有一條明確的道路。每個人都知道需要做什么:縮小晶體管。現(xiàn)在,我們已經(jīng)到達隧道的盡頭。從這里開始,半導體技術(shù)將變得更加難以發(fā)展。然而,在隧道之外,還有更多的可能性。我們不再受過去的束縛?!眲⒌乱舯硎尽?/span>

          Scale AI:估值高達130億美金,去年收入超 6.75 億美元

          3月29日,據(jù)The information報道,總部位于舊金山的美國 AI 初創(chuàng)企業(yè)Scale AI 正在進行新一輪數(shù)億美元的融資,風險投資公司 Accel有望領(lǐng)投,投資估值達到約 130 億美元,比2021 年的73億美元估值提高近 80%。

          報道還稱,Scale AI公司2023年的營收超過6.75億美元,比2022年增長約150%。

          報道稱,本輪融資尚未最終敲定,條款可能會有變化。Accel 的發(fā)言人拒絕發(fā)表評論,Scale AI 的代表沒有回復置評請求。

          Scale AI 首席執(zhí)行官 Alexandr Wang(圖片來源:ZeeBiz WebDesk)

          公開資料顯示,Scale AI成立于2016年,主要為 AI 訓練提供數(shù)據(jù)服務(wù),創(chuàng)始人為華裔青年Alexandr Wang。據(jù)報道,Alexandr Wang的父母均為物理學家。他從小就表現(xiàn)出了杰出的數(shù)理天賦與才能,曾被麻省理工大學錄取,但在出色地完成第一年學業(yè)后便選擇了輟學創(chuàng)業(yè),與Lucy Guo共同創(chuàng)辦了Scale AI。

          值得注意的是,Scale AI創(chuàng)業(yè)初期就得到了創(chuàng)業(yè)孵化公司Y Combinator的支持。彼時,Y Combinator的總裁為山姆·奧特曼,也即OpenAI的聯(lián)合創(chuàng)始人及現(xiàn)任首席執(zhí)行官。

          Scale AI主要從事的AI訓練數(shù)據(jù)標注,通俗理解,就是通過分類、畫框、標注、注釋等對圖片、語音、文本、視頻等原始的數(shù)據(jù)進行處理,標記對象的特征,以作為機器學習基礎(chǔ)素材。比如,如果要訓練AI識別出圖片中的狗,則需要采集大量有關(guān)于狗的圖片,將其中的關(guān)鍵信息標注出來,供AI識別,在多次識別的過程中讓AI形成識別各式各樣的狗的能力。

          Scale AI從創(chuàng)立至今,融資過程可謂順風順水,而且融資金額節(jié)節(jié)攀升。創(chuàng)辦伊始,Y Combinator向其提供了12萬美元的投資;2017年,獲得了450萬美元的A輪融資;2018年,成功完成1800萬美元的B輪融資;2019年,再獲1億美元C輪融資;2021年1月,完成1.5億美元D輪融資;同年4月,順利完成3.25億美元E輪融資。至此,Scale AI用5年的時間將估值水平提升至73億美元的水平,成為AI數(shù)據(jù)標注領(lǐng)域的獨角獸。

          Scale AI 通過向 OpenAI 和其他對話式人工智能初創(chuàng)公司銷售服務(wù)而獲得了發(fā)展。報道稱,本輪融資將為公司未來幾年可能的IPO做準備。目前尚不清楚還有哪些投資者參與了本輪投資。

          不過,目前,Scale AI公司估值依然低于OpenAI。本周二,Accel 的合伙人 Rich Wong 表示,該公司對 Scale AI 這樣的 "鋤頭和鏟子 "企業(yè)更感興趣。

          “它是數(shù)據(jù)引擎,是許多基礎(chǔ)企業(yè)以及試圖為其垂直應(yīng)用進行調(diào)整的企業(yè)的模型背后的數(shù)據(jù)引。我們認為,將成為重要客戶的將遠不止五大模式。”Rich Wong表示。

          馬斯克發(fā)布Grok 1.5

          在Grok 1開源十天后,馬斯克創(chuàng)立的xAI宣布推出其大模型最新版本 Grok 1.5。

          事實上,為了尋求替代微軟支持的 OpenAI 和 Google 大模型的解決方案,馬斯克去年創(chuàng)立了 AI 公司 xAI,以創(chuàng)建他所說的“最大程度尋求真相的人工智能” 。2023年 12 月,xAI 為 X 的 Premium+ 訂閱者推出了 Grok。

          如今,馬斯克更新到Grok 1.5模型。新一代模型實現(xiàn)了長上下文理解和高級推理能力,計劃將在未來幾天內(nèi)向早期測試人員和 X 平臺(前 Twitter)上的現(xiàn)有 Grok 用戶提供。

          具體來說,首先,Grok-1.5 最明顯的改進之一是其在代碼和數(shù)學相關(guān)任務(wù)中的性能。在 xAI 的測試中,Grok-1.5 在 MATH 基準上取得了 50.6% 的成績,在 GSM8K 基準上取得了 90% 的成績,這兩個數(shù)學基準涵蓋了廣泛的小學到高中的競賽問題。同時,它在評估代碼生成和解決問題能力的 HumanEval 基準測試中得分為 74.1%。

          其次,Grok-1.5 中的另一個重要升級是在其上下文窗口內(nèi)可以處理多達 128K token 的長上下文。這使得 Grok 的容量增加到之前上下文長度的 16 倍,從而能夠利用更長文檔中的信息。

          再次,該模型還可以處理更長、更復雜的提示(prompt),同時在上下文窗口擴展時仍然能保持其指令跟蹤能力。在大海撈針(NIAH)評估中,Grok-1.5 展示了強大的檢索能力,可以在長度高達 128K token 的上下文中嵌入文本,實現(xiàn)完美的檢索結(jié)果。

          最后,xAI 介紹了用于訓練模型的算力設(shè)施。Grok-1.5 構(gòu)建在基于 JAX、Rust 和 Kubernetes 的自定義分布式訓練框架之上。該訓練堆棧允許開發(fā)團隊能夠以最小的精力構(gòu)建想法原型并大規(guī)模訓練新架構(gòu)。而在大型計算集群上訓練 LLM 的主要挑戰(zhàn)是最大限度提高訓練作業(yè)的可靠性和正常運行時間。xAI 提出的自定義訓練協(xié)調(diào)器可確保自動檢測到有問題的節(jié)點,并將其從訓練作業(yè)中剔除。工程師還優(yōu)化了檢查點、數(shù)據(jù)加載和訓練作業(yè)重新啟動等問題,以最大限度地減少發(fā)生故障時的停機時間。

          xAI 表示,Grok-1.5 很快就會向早期測試者開放,其團隊將繼續(xù)改進 Grok。隨著新版本推向公眾,在未來幾天 X 上的大模型將陸續(xù)推出一些新功能。

           
          偷拍精品视频一区二区三区,亚洲精品无码久久毛片村妓,亚洲国产中文字幕视频,亚洲人人玩人人添人人