新媒网 · 跨境数据社区

「Elon Musk的Grok 3新模型：NVIDIA、Cerebras & Groq的晶片競賽」 Elon Musk在2/18發佈了Grok 3，到目前為止最聰明的AI模型。 Grok 3在很多測試下都比目前幾個有名的前沿AI的模型如OpenAI o3mini(high)、DeepSeekR1…….的表現還好。 不過他們使用了大量模型訓練後的Test-Time Compute來Boost模型的性能，這代表AI發展上什麼樣的變化？會對半導體市場產生什麼樣的影響？ 我們今天就來聊一下這個話題。 首先複習一下我們前一篇提到AI的Scaling Law，Scaling Law從原本單純訓練AI模型的Scaling Law，延伸到訓練模型後的Post-Training & Test-Time Scaling Laws。 這代表了不管是Training用的晶片，或是主要做Inference的晶片，接下來都可以用來提升AI模型的性能。 而這樣的延伸，也代表了AI市場的發展已經進入到下一個階段，對AI晶片硬體的需求已經從主要的Training用的晶片系統，到需要更多Inference晶片系統。 ▌1. 會產生什麼影響：AI Training和AI Inference晶片的規格需求差異 再來，我們可以看一下AI Training和AI Inference晶片規格需求上的主要差異。 我們可以從Meta、Microsoft….等公司分享的對於這兩類晶片的規格需求差異可以看得出來，Gen AI Training的需求注重在Model Size和Scale (更多Node數量)，而Gen AI Inference晶片系統的需求更著重Memory Bandwidth和Network Latency。 AI Inference在做什麼？AI Inference基本上是在模型訓練完以後，進行模型使用完成工作的過程，因此可以說，將AI Inference整合在AI產品中並發揮效用，是AI能發揮價值的重要一步。 而Test-Time Scaling這件事情，基本上在說的是，在模型訓練完以後，我們還能再用延長Inference時間的方式，讓模型有更好的效果。 不過，AI Inferece晶片的規格配置需求和做Training的需求不一樣，因此接下來會影響到AI晶片的市場需求。 ▌2. AI晶片市場的演化 AI模型+系統的發展，目前正在往Training之後的Fine Tuning和讓AI Inference做更多的Test-Time Scaling(如使用CoT: Chain of Thought的方式)。因此，我們已經看到很多公司，開始聚焦在AI Inference，提供更為Inference優化的晶片方案。 而我們前面提到，AI Inference和Training晶片系統的規格需求不同，就讓很多公司有新的機會。從市場策略的角度下，很多新的公司開始在AI Inference的市場做出差異化，如Cerebras、Groq、SambaNova……等公司，都開始主打AI Inference的系統。 因此，AI晶片市場的競爭已經演化到了下一個階段，從NVIDIA在Training晶片的獨佔，到現在Inference晶片開始有更特別的晶片設計來和NVIDIA競爭。 ▌3. NVIDIA、Cerebras & Groq在AI Inference的競爭 GPU運算的重點，就是把很多工作平行化處理。而在面對比較大的AI Inference的工作時，GPU的做法也是將這些工作平行分給一堆GPU去處理。不過，在需要較快速互動的情境中，Memory Bandwidth和Latency就較容易變成整個系統的bottleneck。 也因此，GPU和GPU之間的溝通速度，就很容易變成GPU Token產出的bottleneck。 現在在AI Inference晶片上有很多挑戰者，如Cerebras和Groq。 Cerebras的做法，是將一整片Wafer做成一整個系統，這樣的系統因為Wafer內的各個die能有較快速的溝通速度，因此能有較快的Token產出速度。 Groq的作法則是反過來，把晶片設計整個簡化，拿掉大部分的控制單元用軟體來代替，把多出來的空間放進更多運算電晶體，然後把Router也做進晶片裡，加速晶片和晶片之間的溝通。 這三種晶片，雖然晶片架構很不一樣，但是可以看得出來，讓Inference Token產生速度加快的關鍵，都是在優化晶片和晶片之間的溝通速度。 從Ayar Labs的分析來看，NVIDIA要提升Token產出速度的很大的瓶頸其實是在晶片與晶片之間的傳輸速度。 因此，如果要像Grok 3這樣持續用更多的GPU＆Test-Time Scaling來提升模型性能的話，Optical I/O還有CPO技術的發展將會是未來半導體產業的重點。 ▌4. 對半導體產業的影響 而從前面的討論我們可以發現，在使用的AI晶片cluster還在持續增加的情況 (市場還沒有滿足於目前的AI性能!)，整合運算晶片和矽光子技術 (如前述的Optical I/O還有CPO技術)，就會變成一個半導體產業未來發展的重要方向。 而這邊就可以延伸出幾個重點： A. 先進封裝將會從運算晶片互相整合的chiplet，延伸到更多跟矽光子相關的封裝技術 B. 因為AI Inference晶片的規格需求差異，我們將會在市場上看到更多針對AI Inference特化的晶片設計 C. 因為先進封裝的快速發展，原本專注在先進製程的半導體設備，也會推出更多先進封裝相關的設備 (ASML就推出了可以一次曝光兩個die size以上的新型曝光機) 所以對於半導體產業的人來說，目前AI模型的發展以及AI晶片設計的趨勢其實是很值得了解的。 因為AI終端市場的發展，會快速的影響目前晶片設計的趨勢，進而影響到供應鏈其他部分的需求，如矽光子和先進封裝的需求。 因此，目前的快速發展，值得有在關注半導體公司市場策略和佈局的人持續觀察和思考，以便提前進行市場佈局，跟大家分享。 ▌半導體供應鏈如何制定未來策略？ 在進到AI晶片發展的下一個階段後 (第一階段是Training晶片的發展，現在延伸到第二階段，大家對Inference晶片的重視)，晶片市場開始有新的發展。 由於AI晶片設計的演進，先進封裝/Chiplet的設計方式以及矽光子技術的需求，將會在半導體產業佔據更重要的地位。客製化晶片ASIC的作法，比重也會越來越高。 市場快速發展代表有更多新的機會會發生，但重點是，你有沒有一套方法能夠快速的了解市場，找到這些新的機會，並提前佈局？ 很多跨國半導體公司其實有一套市場策略框架，來根據市場變化快速進行市場策略規劃。 而如何設計打造出一個有用的市場策略，其實是一個專門的學問。這也是我們之前開設Semiconductor Mini MBA中，市場策略模組的重點。 如果你對於探討在半導體產業如何設計一套有用的市場策略有興趣 (如探討NVIDIA目前的市場策略，或是探討如何為公司打造一套客製化的市場策略......等)，我們的Semiconductor Mini MBA - 市場策略模組，目前有開放線上課程的選項，會用16小時、8個模組，來探討半導體產業目前最新的發展，以及如何打造一套有效的市場策略，並將市場策略落地成產品開發。 在這8個模組中，我們會用NVIDIA、TSMC、ASML這三家公司當作case study，幫助在半導體產業中不同性質公司的從業人員去理解，如何去打造半導體產業的公司策略，進而能夠打造屬於自己公司的獨特策略。 對半導體產業市場策略有興趣的朋友，歡迎參加～ ▌Semiconductor Mini MBA - Strategic Marketing模組報名資訊： - 講者：Redefine Innovation 顧問服務負責人 Vince Liu（前ASML荷蘭總部產品經理） - 課程簡介＆報名連結： https://www.redef.tech/MKT_PD - 課程長度：8個模組，共16小時左右 - 價格：新台幣20000元