近兩個(gè)月來(lái)，全世界的網(wǎng)友們都在興致勃勃的“調(diào)教”ChatGPT，小編的朋友圈一直被分享ChatGPT,但第一個(gè)受不了的卻是ChatGPT的所有者。

為了更長(zhǎng)遠(yuǎn)的發(fā)展，OpenAI宣布了付費(fèi)訂閱版ChatGPT Plus，按月收費(fèi)。

雖然OpenAI表示，將持續(xù)提供免費(fèi)版，并且收費(fèi)項(xiàng)目也將更好的“幫助盡可能多的人使用免費(fèi)服務(wù)”。但是《紐約時(shí)報(bào)》也指出“在高峰時(shí)段，免費(fèi)版訪問人數(shù)將受到限制。”

顯然，收費(fèi)會(huì)是ChatGPT這類AI服務(wù)長(zhǎng)久發(fā)展的必然選擇。

究其根源，在于ChatGPT“越來(lái)越聰明”的背后，需要龐大的費(fèi)用支撐。其中，算力成本是最重要的，也是最不能偷工減料的一部分。

那么，ChatGPT到底需要多少算力來(lái)支撐？

01 “吞金獸”ChatGPT的算力消耗

ChatGPT對(duì)算力的消耗可以分為三個(gè)主要場(chǎng)景：

一是模型預(yù)訓(xùn)練過程，這是ChatGPT消耗算力的最主要場(chǎng)景。

ChatGPT采用預(yù)訓(xùn)練語(yǔ)言模型，在Transformer的模型架構(gòu)下，語(yǔ)言預(yù)訓(xùn)練過程可以根據(jù)上下文一次處理所有輸入，實(shí)現(xiàn)大規(guī)模并行計(jì)算。

通過堆疊多個(gè)解碼模塊，模型的層數(shù)規(guī)模也會(huì)隨著提升，可承載的參數(shù)量同步增長(zhǎng)。與之相對(duì)應(yīng)的，模型訓(xùn)練所需要消耗的算力也就越大。

據(jù)OpenAI團(tuán)隊(duì)發(fā)表于2020年的論文《Language Models are Few-Shot Learners》，訓(xùn)練一次1746億參數(shù)的 GPT-3模型需要的算力約為3640 PFlop/s-day。

即假如每秒計(jì)算一千萬(wàn)億次，也需要計(jì)算3640天。

考慮到ChatGPT訓(xùn)練所用的模型是基于GPT-3.5模型微調(diào)而來(lái)，GPT-3.5模型增加了參數(shù)量和訓(xùn)練樣本量，包含超過1746億個(gè)參數(shù)，那么預(yù)估訓(xùn)練一次ChatGPT所需算力至少需要約3640 PFlop/s-day的算力。

東吳證券研報(bào)分析認(rèn)為，ChatGPT的優(yōu)化主要來(lái)自模型的增大，以及因此帶來(lái)的算力增加。

GPT、GPT-2和GPT-3的參數(shù)量從1.17億增加到1750億，預(yù)訓(xùn)練數(shù)據(jù)量從5GB增加到45TB，其中GPT-3訓(xùn)練單次的成本就高達(dá)460萬(wàn)美元。

同時(shí)，模型開發(fā)過程很難一次取得成功，整個(gè)開發(fā)階段可能需要進(jìn)行多次預(yù)訓(xùn)練過程，因此對(duì)于算力的需求是持續(xù)的。

此外，從基礎(chǔ)大模型向特定場(chǎng)景遷移的過程，如基于ChatGPT構(gòu)建醫(yī)療AI大模型，需要使用特定領(lǐng)域數(shù)據(jù)進(jìn)行模型二次訓(xùn)練，同樣會(huì)增加訓(xùn)練算力需求。

二是模型迭代過程。

從模型迭代的角度來(lái)看，ChatGPT模型并不是靜態(tài)的，而是需要不斷進(jìn)行模型調(diào)優(yōu)，以確保模型處于最佳應(yīng)用狀態(tài)。

這一過程中，一方面是需要開發(fā)者對(duì)模型參數(shù)進(jìn)行調(diào)整，確保輸出內(nèi)容不是有害和失真的；另一方面，需要基于用戶反饋和PPO策略，對(duì)模型進(jìn)行大規(guī)模或小規(guī)模的迭代訓(xùn)練。

因此，模型調(diào)優(yōu)同樣會(huì)為ChatGPT帶來(lái)算力成本，具體算力需求和成本金額取決于模型的迭代速度。

三是日常運(yùn)營(yíng)過程。

在日常運(yùn)營(yíng)過程中，用戶交互帶來(lái)的數(shù)據(jù)處理需求同樣也是一筆不小的算力開支。考慮到ChatGPT面向全球大眾用戶，用的人越多，帶寬消耗越大，服務(wù)器成本只會(huì)更高。

據(jù)SimilarWeb數(shù)據(jù)，2023年1月ChatGPT官網(wǎng)總訪問量為6.16億次。

據(jù)Fortune雜志，每次用戶與ChatGPT互動(dòng)，產(chǎn)生的算力云服務(wù)成本約0.01美元。

基于此，ChatGPT單月運(yùn)營(yíng)對(duì)應(yīng)成本約616萬(wàn)美元。

據(jù)上文，我們已知訓(xùn)練一次1746億參數(shù)的GPT-3模型需要3640 PFlop/s-day的算力及460萬(wàn)美元的成本，假設(shè)單位算力成本固定，測(cè)算ChatGPT單月運(yùn)營(yíng)所需算力約 4874.4PFlop/s-day。

直觀對(duì)比，如果使用總投資30.2億、算力500P的數(shù)據(jù)中心來(lái)支撐ChatGPT的運(yùn)行，至少需要7-8個(gè)這樣的數(shù)據(jù)中心，基礎(chǔ)設(shè)施的投入都是以百億記的。

當(dāng)然，基礎(chǔ)設(shè)施可以通過租用的方式來(lái)解決，但算力需求帶來(lái)的本壓力依然巨大。

隨著國(guó)內(nèi)外廠商相繼入局研發(fā)類似大模型，將進(jìn)一步加大對(duì)算力的需求。

02 AI算力霸權(quán)時(shí)代的到來(lái)

模型算力需求增速超越芯片性能增速，算力霸權(quán)時(shí)代或?qū)⒌絹?lái)。

據(jù)OpenAI測(cè)算，自2012年以來(lái)，全球頭部AI模型訓(xùn)練算力需求3-4個(gè)月翻一番，每年頭部訓(xùn)練模型所需算力增長(zhǎng)幅度高達(dá)10倍。

而摩爾定律認(rèn)為，芯片計(jì)算性能大約每18-24個(gè)月翻一番。

數(shù)據(jù)顯示，從2012年到2018年，訓(xùn)練AI所耗費(fèi)的算力增長(zhǎng)了30萬(wàn)倍，而摩爾定律在相同時(shí)間只有7倍的增長(zhǎng)。

因此，AI訓(xùn)練模型算力需求增長(zhǎng)與芯片計(jì)算性能增長(zhǎng)之間的不匹配，或?qū)?lái)對(duì)算力基礎(chǔ)設(shè)施供給需求的快速增長(zhǎng)。

考慮到算力對(duì)于AI模型訓(xùn)練效果的關(guān)鍵性作用，擁有更豐富算力資源的模型開發(fā)者，或?qū)⒛軌蛴?xùn)練出更優(yōu)秀的AI模型。

所以現(xiàn)在有一種說(shuō)法：AI進(jìn)入了新的算力霸權(quán)時(shí)代，大家要用千倍、萬(wàn)倍的算力才能訓(xùn)練出世界上最好的算法。

那么無(wú)論是誰(shuí)參與進(jìn)來(lái)，都需要回答一個(gè)問題：算力成本怎么解決？

在中國(guó)，這個(gè)答案就藏在國(guó)家如火如荼推進(jìn)的“東數(shù)西算”工程里。

數(shù)據(jù)顯示，我國(guó)算力產(chǎn)業(yè)規(guī)模快速增長(zhǎng)，近五年平均增速超過30%，算力規(guī)模排名全球第二。

但在發(fā)展的過程中仍面臨人均算力尚低、算力隨需處理的需求難以滿足、算力應(yīng)用廣度和深度不夠等問題。

因此，國(guó)家“東數(shù)西算”工程通過構(gòu)建全國(guó)一體化的新型算力網(wǎng)絡(luò)，優(yōu)化數(shù)據(jù)中心建設(shè)布局，將東部算力需求有序引導(dǎo)到西部，利用西部的資源優(yōu)勢(shì)，為數(shù)字中國(guó)的發(fā)展提供低碳、低成本的優(yōu)質(zhì)算力。

對(duì)于AI產(chǎn)業(yè)來(lái)說(shuō)，“東數(shù)西算”也可以成為“東數(shù)西訓(xùn)”，即龐大的訓(xùn)練算力需求完全可以轉(zhuǎn)移到算力成本更低，同時(shí)規(guī)模更具優(yōu)勢(shì)的西部數(shù)據(jù)中心中進(jìn)行。

對(duì)應(yīng)的，這些承載智能訓(xùn)練的數(shù)據(jù)中心本身，也將為更好的適應(yīng)智能訓(xùn)練需求進(jìn)行針對(duì)性改造，比如在能源供給、散熱結(jié)構(gòu)、機(jī)柜形態(tài)等方面更適合使用了大量智能訓(xùn)練芯片的服務(wù)器等。

這也為數(shù)據(jù)中心未來(lái)發(fā)展提出了新的思路。

數(shù)據(jù)中心建設(shè)將告別千篇一律的通用時(shí)代，進(jìn)入以場(chǎng)景為指引、以應(yīng)用為導(dǎo)向的“專用”時(shí)代，“東數(shù)西訓(xùn)”、“東數(shù)西渲”、“東數(shù)西存”等應(yīng)用將成為主流方向。

目前，我國(guó)算力產(chǎn)業(yè)仍在高速增長(zhǎng)。

據(jù)IDC與浪潮信息聯(lián)合發(fā)布的《2022－2023中國(guó)人工智能計(jì)算力發(fā)展評(píng)估報(bào)告》顯示，相較于2020年我國(guó)135EFLOPS的算力總規(guī)模，2022年我國(guó)智能算力規(guī)模近乎翻倍，達(dá)到268EFLOPS，超過通用算力規(guī)模；預(yù)計(jì)未來(lái)5年我國(guó)智能算力規(guī)模的年復(fù)合增長(zhǎng)率將達(dá)52.3％。

未來(lái)，我國(guó)還應(yīng)在算力方面進(jìn)一步加強(qiáng)超算中心、智算中心和邊緣數(shù)據(jù)中心建設(shè)，不斷滿足政府、行業(yè)、企業(yè)甚至個(gè)人等多樣化的智能場(chǎng)景需要，以算力賦能智慧城市、智慧醫(yī)療、智慧農(nóng)業(yè)等千行百業(yè)的高質(zhì)量發(fā)展。

不僅如此，大力加強(qiáng)自主可控高端芯片生產(chǎn)能力，爭(zhēng)取在量子芯片領(lǐng)域?qū)崿F(xiàn)換道超車，加強(qiáng)算力人才培養(yǎng)，同樣是保持我國(guó)AI算力領(lǐng)先的重要手段。