H100
H100直接就是衝著GPT3來的,目前只能靠雲端的GPT3,很快地之後可以自架在自己的電腦上。
這有一個非常重要的點,雲端被禁止的功能會在個人端被釋放。
比如midjourney因為是雲端幫你運算,同時也會鎖住一些安全性的功能,比如要畫色圖就會比較需要繞過或靠特殊的prompt下法,但是用自己電腦上GPU運算的Stable Diffusion,很容易掛上不同的plugin或者整合別人寫好的package去生成各種色圖。
目前GPT3只能連OpenAI的網頁或api,因此會鎖住很多安全性功能。當可以用自己電腦上的H100去跑GPT3的時候,就能做很多原本被限制或者被禁止的事情。
一樣再度提到圍棋界以來的重演,社群的力量訓練網路也是很快的,deepmind雖然沒有公開AlphaGo的網路,但是因為有公開論文,所以社群實作了開源版的leela zero和katago,然後網路參數是靠社群大家用自己的GPU幫忙train出來一個一個更新上去的katago可以說是目前最廣泛的圍棋AI,可以說幾乎是圍棋圈人手一隻的程度XD。
現在因為midjourney禁止免費帳號使用了,也是往人人手上一隻Stable Diffusion的路上前行XD。
因此可以預見GPT3很快就會出現開源版的網路參數和社群一起幫忙訓練的結果。
再延伸一個小討論 假設人人手上都有一隻GPT3可以用,要如何訓練?
很簡單,只要接上GPT4的API
把GPT4的對話當作個人版GPT3的ground truth去做back propagation即可XDDDDD