世界各国が血眼になってGPUを確保する中、とてつもないLLMがリリース、1ビットLLM 全ての推論を加算のみ　GPU不要になる可能性も

2024年02月29日

カテゴリ:
時事ニュース
技術ニュース

Comment(24)

1: 稼げる名無しさん：2024/02/29(木) 16:34:34.47 ID:/Cz/NJMF9.net

Microsoftの中国チームがとてつもないLLMをリリースした。それが「BitNet 1.58Bits(https://arxiv.org/pdf/2402.17764.pdf)」だ。
彼らが発表したグラフを引用しよう。
画像
https://wirelesswire.jp/wp-content/uploads/2024/02/21622e3ce0b3cdc355c5a6679c4ea640-1536x1031.png

Microsoftが1.58ビットの大規模言語モデルをリリース、行列計算を足し算にできて計算コスト激減へhttps://t.co/KKRA5bw9MZ
— GIGAZINE(ギガジン) (@gigazine) February 29, 2024

詳細はソース 2024/2/29
https://gigazine.net/news/20240229-microsoft-1bit-llm/

1001: 以下名無しさんに代わりまして管理人がお伝えします 1848/01/24(？)00:00:00 ID:money_soku

スレタイで「GPUが不要になる可能性」ってあるけれど、行列の加算でもGPUが圧倒的なのでは？
乗算だけなんだっけ？

　加算でも同様にGPUのほうが早かったと記憶しているが、最新のアーキテクチャは確認していないのでちょっと調べてみたいな。
　スレ内ではNVIDIA終了という声も見られたが、恐らく問題なくNVIDIA一強状態は続くのではと思っている。（株価は上昇一服状態に入っているが）

MSI GeForce RTX 4090 SUPRIM X 24G グラフィックスボード VD8262

1001: 以下名無しさんに代わりまして管理人がお伝えします 1848/01/24(？)00:00:00 ID:money_soku

現在よく読まれているニュース！：

以下2chの反応と管理人の反応です

3: 稼げる名無しさん：2024/02/29(木) 16:35:47.29 ID:fbqN50KT0.net

何の話してんのか全然わからん

4: 稼げる名無しさん：2024/02/29(木) 16:37:28.33 ID:uWp7j9nh0.net

ふむふむなるほど全くわからん

5: 稼げる名無しさん：2024/02/29(木) 16:38:10.67 ID:QqzsS9+y0.net

なるほどーふーむ

7: 稼げる名無しさん：2024/02/29(木) 16:38:31.35 ID:r0KBiFNw0.net

1ビットなのに3つの値が分からん

27: 稼げる名無しさん：2024/02/29(木) 16:43:38.75 ID:/RYO2aKb0.net

>>7
1.58ビットと書いてあるじゃん

365: 稼げる名無しさん：2024/02/29(木) 18:27:51.31 ID:CJ4LhImc0.net

>>27
どの道わからんなそれ
なんなんだその半端は

424: 稼げる名無しさん：2024/02/29(木) 18:45:15.59 ID:/RYO2aKb0.net

>>365
情報理論を勉強すれば分かるようになるよ

11: 稼げる名無しさん：2024/02/29(木) 16:40:10.59 ID:2lku4xnd0.net

天才っているんだなぁ

17: 稼げる名無しさん：2024/02/29(木) 16:40:35.25 ID:Ujt5AlD60.net

メモリ使用効率良すぎだろ
ブレイクスルーレベルだはこんなの

22: 稼げる名無しさん：2024/02/29(木) 16:41:10.55 ID:SgsmzYaV0.net

よく分からんけどすごいな

23: 稼げる名無しさん：2024/02/29(木) 16:42:05.96 ID:UA/pLDLs0.net

つまり人類は滅亡するって事だな！

31: 稼げる名無しさん：2024/02/29(木) 16:45:32.46 ID:YMsuL2FO0.net

全く理解不能

32: 稼げる名無しさん：2024/02/29(木) 16:46:00.00 ID:xKXTDXCD0.net

NVDA暴落きちゃうの？

34: 稼げる名無しさん：2024/02/29(木) 16:47:00.51 ID:lLZKIRuT0.net

>>32
既にナイアガラ状態だよ

53: 稼げる名無しさん：2024/02/29(木) 16:51:59.48 ID:xKXTDXCD0.net

>>34
700ドル割ってから起こして

36: 稼げる名無しさん：2024/02/29(木) 16:47:38.01 ID:xsv53fBF0.net

エヌビ死亡かよ、半導体銘柄も死亡で日経終わるじゃん

38: 稼げる名無しさん：2024/02/29(木) 16:47:46.67 ID:Cbj8E8Fv0.net

GPUが不要になる

39: 稼げる名無しさん：2024/02/29(木) 16:47:47.92 ID:5zuC3Z9G0.net

まじかよ！
ちょっとコンビニでLLM買ってくる！

1001: 以下名無しさんに代わりまして管理人がお伝えします 1848/01/24(？)00:00:00 ID:money_soku

現在よく読まれている記事：

https://asahi.5ch.net/test/read.cgi/newsplus/1709192074/

タグ：: #NVIDIA; #マイクロソフト; #GPU; #AI; #人工知能

スポンサードリンク：

楽天広告：

コメント一覧 (24)

- 1. 稼げる名無しさん
- 2024年02月29日 19:24
- 投資だけじゃなくGPUのアーキテクチャに関しても詳しいのはほんまレアだと思う
- 0
  
  money_soku
  
  がしました
- 2. 稼げる名無しさん
- 2024年02月29日 19:30
- 16ビットで演算しても結果はあんま変わらんけど1.5ビットはスゴイな
  微分できるんかしら？
- 0
  
  money_soku
  
  がしました
- - 5. 稼げる名無しさん
  - 2024年02月29日 19:39
  - >>2
    追記
    元論文によると2枚の80GB A100を使ってベンチマークの計測はしたって書いてあるな
    バッチサイズをデカくしてメモリの限界まで計算資源を使いまくったって書いてあるし、nvidia終了って訳じゃない
    ただ、1.5ビット演算用のハードウェアがあればもっと早くできるかもとも書いてある
  - 0
    
    money_soku
    
    がしました
- - 8. 稼げる名無しさん
  - 2024年02月29日 19:47
  - >>2
    そもそも微分するのか？
    データはあくまで離散の世界なのに、連続の世界で微分可能関数を仮定してることに違和感ある
    
    あと一応だけど、微分という概念自体は離散の世界でもあるよ
    可換環Rに対する多項式環R[X]上で微分が定義できるので
  - 0
    
    money_soku
    
    がしました
- - 14. 暇つぶしの名無しさん
  - 2024年02月29日 22:43
  - >>8
    コーシーの微分判読あたりを勉強してくださいな
  - 0
    
    money_soku
    
    がしました
- - 22. 稼げる名無しさん
  - 2024年03月01日 06:22
  - >>2
    ビット＝ 2^1
    だから、
    1.58ビット = 2^1.58 ≒ 3
    のことね。
    行列に{-1,0,1}の3値を使っているのが特徴なので、ビット表記自体にはあんまり意味はない。
    
    あと、この主張が正しいとすると、行列に整数値を採用してもせいぜい数倍〜数十倍の計算コストにしかならないからそっちの方の理論が出てくるかもね。あるいはビットシフトで済む2^n値とか。
  - 0
    
    money_soku
    
    がしました
- 3. 稼げる名無しさん
- 2024年02月29日 19:36
- つまり･･･増税だ
- 0
  
  money_soku
  
  がしました
- 4. 稼げる名無しさん
- 2024年02月29日 19:36
- Microsoftの中国チーム？信用していいのか？
- 0
  
  money_soku
  
  がしました
- - 11. 稼げる名無しさん
  - 2024年02月29日 20:26
  - >>4
    爆発しそうだよね
  - 0
    
    money_soku
    
    がしました
- 6. 稼げる名無しさん
- 2024年02月29日 19:42
- ええー?ほんとにござるかぁ
- 0
  
  money_soku
  
  がしました
- 7. 稼げる名無しさん
- 2024年02月29日 19:46
- 仮にそのすんごいのが出来たとしてGPUより安価で一般に普及できるのかっていうのがよくわからん
  GPU自体が結構お値段するから安く便利になるなら歓迎だわ
- 0
  
  money_soku
  
  がしました
- 9. 稼げる名無しさん
- 2024年02月29日 19:54
- -1,0,1の3種ってことは多分、活性化関数はReLU関数だよね
  そして3元なのは線形性を破壊するための最低限だからだと思う
- 0
  
  money_soku
  
  がしました
- - 23. 稼げる名無しさん
  - 2024年03月01日 06:25
  - >>9
    3値を使うならintでもせいぜい数十倍の計算コストぐらいしか違わない気がするけど、桁溢れ処理とかでコストかかるのかしらん。
  - 0
    
    money_soku
    
    がしました
- 10. 稼げる名無しさん
- 2024年02月29日 20:02
- サイパン最高設定4K240でりゅ？🥺
- 0
  
  money_soku
  
  がしました
- 12. 暇つぶしの名無しさん
- 2024年02月29日 22:26
- そもそもgpuは生成ai向けだろ
  他ならcpuでもいけるしなんならRpiでも
- 0
  
  money_soku
  
  がしました
- - 13. 稼げる名無しさん
  - 2024年02月29日 22:28
  - >>12
    この記事も生成AIの話なんだがちゃんと記事よんだ？
  - 0
    
    money_soku
    
    がしました
- - 15. 暇つぶしの名無しさん
  - 2024年02月29日 23:37
  - >>13
    うーん大規模言語モデルの話でしょ
    確かに生成aiでよく使われるけどさ
  - 0
    
    money_soku
    
    がしました
- - 17. 稼げる名無しさん
  - 2024年02月29日 23:45
  - >>15
    それに加えて今回のは行列演算の話
    CPUでもいける、RPIでもいける
    確かにね、GPUに比べてめっちゃ遅いけど
  - 0
    
    money_soku
    
    がしました
- 16. 稼げる名無しさん
- 2024年02月29日 23:43
- GPUでもCPUより早いかもしれんが、効率がいいかは分からん
  確かなのはGPUよりもCPUよりも1bit加算演算に特化したハードウェアの方が効率が良いということ
  これまでもAI用ハードウェアは存在したが、やってる内容はGPUに近かったからコスパに大きく差は無かったけど今後はそうはいかない
  
  現行のGPUやCPUとまるで設計が違うだろうからこれまでの設計のアドバンテージがリセットされかねないし、そうなるとファブレスのNVIDIAよりも半導体製造自体を抑えているTSMCが安定して上がりそうなのかな
- 0
  
  money_soku
  
  がしました
- - 19. 稼げる名無しさん
  - 2024年02月29日 23:47
  - >>16
    今後より良いアルゴリズムが考案されるかもしれないのにそれのみに特化した（というよりそれしかできない）ハードウェアを開発すんの？
    リスクでかすぎない？
  - 0
    
    money_soku
    
    がしました
- - 21. 稼げる名無しさん
  - 2024年03月01日 03:44
  - >>19
    横からだけど、そんなにリスクは高くないんじゃないかな？
    たとえばGoogleはTPUっていう行列演算に特化したハードウェア作ってるし、
    アルゴリズムに特化した手法じゃなくて加算演算に特化したハードウェアでいいわけだし、GPUと違って複雑じゃなくて何かの計算のみに特化したハードウェアだから開発コストが低くてリスクは小さいよ
    ただ、この手法の信頼度や可用性みたいなのは不透明っていう点でMicrosoft以外はしばらく静観すると思う。
    TPUと違って、コードをこのアルゴリズムに対応させなきゃいけないことと、LLMに使えても一般的な深層学習で精度が出ないかもしれないことが、この手法が普及するか否かの障害かな。
    普及する公算が高ければ、GoogleがTPUを提供するようにMicrosoftが加算演算に特化したハードウェアを提供しても不思議ではないよ
    ちなみに、古いけど「AdderNet:」で検索すればヒットする論文で、「そもそも深層学習に掛け算って要らないかも？」って主張する研究者もいるから、加算演算で深層学習をする潮流っていうのはある
  - 0
    
    money_soku
    
    がしました
- 18. 稼げる名無しさん
- 2024年02月29日 23:46
- ビット演算とかで乗算を代用するやつかな
  
  としたら、これまたオールドスクールな技術
  
  省メモリだけど、コーディングもアルゴリズムも面倒くさくて、拡張性も低ければエラッタも出やすいと、ハイリスクなんよな
- 0
  
  money_soku
  
  がしました
- 20. 稼げる名無しさん
- 2024年03月01日 03:23
- 普通の深層学習では積和計算が必要だからその計算に長けてるGPUがハードウェアとして適しているけど、この方法だと足し算だけでいいから足し算だけが高速にできるハードウェアが将来的には主流になってGPUが不要になるかもって話だよ
  
  今は加算に特化したGPUに匹敵するハードウェアはないから、現状一般に手に入れられるハードウェアでこの手法に最も適してるのはGPU
- 0
  
  money_soku
  
  がしました
- 24. 稼げる名無しさん
- 2024年03月01日 06:27
- そもそも行列計算は超並列計算だから、GPU有利は変わらないのでは？
- 0
  
  money_soku
  
  がしました