ChatGPT 走入大眾視野之後，AIGC 行業迎來了爆發，尤其是上個月，彷彿每一天都可能是「歷史性」的一天。
一覺醒來，世界又變了。ChatGPT 走入大眾視野之後，AIGC 行業迎來了爆發，尤其是上個月，彷彿每一天都可能是「歷史性」的一天。
以ChatGPT 為代表的生成式AI，看似超前，但卻以一種極其「古典」的交互形式出現在大眾面前。
它沒有花俏的圖標，也沒有深入人心的UI 設計，而是用最簡單的對話框來「震撼」世界。
不過，如此簡單的形式，卻成為了當下網絡上和現實裡最火熱的話題，果然「好看的皮囊千篇一律，有趣的靈魂萬裡挑一」。只是存在於一個個web 網頁，一條條簡單的問答中，往往會讓我們忽略不少問題。
看似毫無負擔的一個個「回答」，背後卻用著世界上屈指可數的雲端算力。隨著ChatGPT 成為常態，隱藏在ChatGPT 們背後的這些角落也逐步被報導出來。
燒錢費電，還喜歡喝水
生成式AI 耗費顯示卡這種情況，有些類似於「挖礦」。
對大語言模型（LLMs）進行訓練，參數越多，性能越好。2018 年的LLM 大約有1 億個參數，而到了現在，大約就要對2000 億個參數進行訓練。
運行他們需要算力更強的GPU，輝達也在2020 年推出了相對應的A100 高性能GPU，並且也可以打包八張A100 形成DGX A100 伺服器。
這些計算伺服器，或者說顯示卡組，最終被安放在所謂的伺服器計算中心，比如說微軟的就是Azure 雲端服務。
不光訓練大語言模型需要大量算力，當每個用戶請求一次，ChatGPT 們回答一次，都要調用部分算力。
流量就是金錢，我想OpenAI、微軟應該有刻骨銘心的體會。
根據Similarweb 的數據，上個月ChatGPT 吸引了全球16 億次訪問，是一月時的近三倍。
這種情況下，即便微軟有所準備，給ChatGPT 準備了一萬多張A100，但面對如此的流量，OpenAI 還是堅持不住了，出現了當機、封號和暫停Plus 會員的開通。
有人做過預估，想要吃下當下的流量，微軟還得買幾萬張A100、H100 顯示卡，Azure 現在的算力遠遠不夠。
但買更多的顯示卡，除了燒錢，也會衍生出許多問題。
八張A100 組成的DGX A100 伺服器大概售價19.9 萬美元，最高功率為6.5kW。
按照一萬張來算的話，光在影體上微軟就要花2.5億美元，運行一個月就要用掉585萬度電。
除了顯示卡本身的價值，以及維持他們工作所需的電能外，給他們創造一個涼爽的環境，配置一套蒸發冷卻裝置。
原理也比較簡單，就是利用蒸發水來散熱，但運行起來需要消耗大量的清水，並且在循環的過程裡，大概會有1%～2% 的水會作為細水霧被風吹走。
雖然站在宏觀角度，水仍然維持著動態平衡，但在冷卻塔的小環境中，卻是一種無形的消耗。
結合AIGC 需要龐大算力的計算中心，卡羅拉多大學與德克薩斯大學的研究人員就在論文裡預估了在訓練過程中所消耗的清水。
以GPT-3 為例，訓練過程中所需的清潔淡水相當於填滿核反應堆冷卻塔所需的水量。果然AI 最終還是要跟核電掛上鉤。
如果再具體點，則大約消耗了70 萬升，並且他們還算出，一個用戶與ChatGPT 進行25～50 個問題的對話，大概就相當於請ChatGPT 喝了500ml 水。
同時，他們也發現，蒸發冷卻塔在工作時，平均每消耗一度電，就會讓一加侖水（3.78L）消失。其實不止是微軟，Google 在2019 年為其三個數據中心使用了超過23 億加侖的清水。
在美國本土，Google 擁有14 個數據中心，為其搜索和現在的LaMDA 和Bard 提供算力。且在訓練LaMDA 語言模型的過程要比GPT-3 還耗能費水。
原來，AI 不止費顯示卡，住恆溫的大house，胃口還出奇的好，大口吃電，大口喝水。
無處不在的AI 鴻溝
在AIGC 行業裡，一個簡單的，能準確響應的對話框，背後不止是展示技術實力，也展示了雄厚的金錢實力。
Sasha Luccioni 博士就表示，大型複雜的語言模型，世界上只有少數的公司和組織才有資源訓練它們。
還是以GPT-3 為例，訓練1800 億參數，成本大約是460 萬美元，還不包括後續的運行和迭代維護等等。這些有形和運行過程中帶來的無形成本，很多公司很難承受。由此，在AIGC 浪潮裡，無形之中有了那麼一個AI 鴻溝，大概也分成了兩類公司。
一種是，花得起耗得起資金，能夠訓練先進複雜的大預言模型的大型科技公司。另一種就是無法承擔成本的的非盈利組織和小型公司。
在許多關於AIGC 到底消耗了多少電力、資源的許多研究報告中，大多是以GPT-3，或者用「預估」等字眼。
就像對訓練GPT-3 用了多少水的研究裡，由於OpenAI 並沒有披露GPT-3 訓練所需的時間長度，因此研究人員只能從微軟所公佈的Azure 計算中心冷卻塔的數據來預估。
而關於碳排放等一系列參考數據，也多是從2019 年的Bert 訓練模型中預測而得。
除了資金、GPU、數據中心、網絡帶寬等等硬實力，Google、微軟也把大語言模型的訓練算法、過程、時間、參數等等都列成了最高機密。
我們想使用和了解它，只能通過提供的API ，或者直接詢問ChatGPT 或者Bard 本身。
無形之中，這也成為了一個「AI 鴻溝」。
AIGC 發展的如此迅速，並且能力也在無限擴大，許多國家地區和組織都在考慮如何給AIGC 設立一些規範，免得它（產生自我意識，開始覺醒……）恣意妄為。
但就如同相關的研究人員一般，目前AIGC（如GPT-4）幾乎沒有公開的信息，更像是一個黑盒。誠然對於大公司而言，AIGC 可能就是下一個新時代的開端，塑造科技壁壘，無可厚非。
但對於資源的消耗，無論是對於立法機構，還是對於大眾，都該保持一些透明度，這也是AI 在提供便利的同時，為何研究人員不斷挖掘和道明相應的代價。
發展AI，其實也是人類的一次登月
對於AI 耗電、排碳，以及最新的費水等研究，並非是在譴責、或者說反對發展AIGC 用資源去換取技術的改進。這些數據，其實是提供了AIGC 行業的另外一個角度，在一條條符合「人味」回答的背後，到底我們，或者說大型科技公司為此付出了什麼。
也並非是要呼籲Google、微軟立刻做碳中和，並為耗費的水資源、電能和間接的一些環境問題買單，讓它們變成Google Green 或者是綠軟。
AIGC 的爆發，並不是一簇而就，也不是簡單開竅式的技術爆發，它背後涵蓋了相當多的產業鏈，更像「水到渠成」。
大公司雲端計算中心算力的增強，以及GPU 對複雜算法的高效計算，以及大語言模型參數的複雜化，再加上AIGC 企業本身一直在不計成本的投入。
而在GPT-3 出現之前，AI 們的能力還顯得比較稚嫩，大眾也沒意識到AI 可能會改變世界。
但隨著GPT-4、Midjourey V5 等等湧現，AIGC 也終於成為了矽谷寵兒。
此時此刻，OpenAI、微軟、Google 等大企業對資源的消耗，對大算力的使用也有了一個初步的成果。
同樣地，當下的AIGC 節點，有些類似於阿姆斯特朗剛踏上月球的那一刻。登月動用了當時相當的資金財力資源，但月球上並沒有所謂的水和可利用資源（暫時）。但並不能否認登月沒有意義，就如同現在花去大量的資源、財力餵給AI，發展AIGC。
只是，AIGC 能發展到如何，誰也說不准，它可能像是《終結者》裡的天網，也可能是《星戰》裡的CP30，有著無限可能。
Ref: https://www.bnext.com.tw/article/74929/chatgpt-spec-ifanr-april-23
留言列表
