返信先: 第四次産業革命・シンギュラリティ系ビジネス・技術３０

[光の如来]

https://twitter.com/bioshok3/status/1606510293571764224

2. GPT-3.5(ChatGPT)は、文明を変える。10倍以上のGPT-4が来年第2四半期に登場する。これらは、AGI – チューリングテストとあらゆる標準的なテストをクリアしている。
a. Googleはコードレッドを宣言し、Sundar Pichaiは個人的にAl検索をPMしている。

— bioshok(INFJ) (@bioshok3) December 24, 2022

3. 重要な洞察。モデル構成と学習パラメータは重要でない。知能はトレーニングに費やされるGPUエクサフロップスのみ。
4. (3)が真の場合。文明の均衡は分散型暗号ネットワークであり、コンピュータはトレーニングのために貢献し、トークンを獲得。そして、モデルへの問い合わせはトークンを消費する。

— bioshok(INFJ) (@bioshok3) December 24, 2022

6. 勾配降下は誤差補正のプロセスであり、N層モデルが出力を予測。それが目標から遠い場合、すべての層の重みを少し修正し、再目標化。これはO(N^2)であり、i層は前の層の差分をすべて見てその差分を計算する必要があるため、同期が必要。
(人間の脳はこれをO(N)で行っており、その方法は不可解である

— bioshok(INFJ) (@bioshok3) December 24, 2022

私は専門家ではありません（バカです）。どなたか、この問題に取り組んでおられる方はいらっしゃいますか？

— bioshok(INFJ) (@bioshok3) December 24, 2022

10. しかし、重要な洞察は、これらの構成の多くは、同様にうまく動作するということです。同じGPUのエクサフロプスをモデルに投じれば、ほぼ同じパフォーマンスが得られます。おそらく、脳を発明するのが進化的に簡単だった理由でしょう。

— bioshok(INFJ) (@bioshok3) December 24, 2022

11. モデルがあまりに優れているため、もはや専門家のトレーニングのみが問題となる。X用のCo-pilotが登場。誰か私のブラウザのためのCo-pilotを作りませんか？ブラウザはテキストベースが多く、GPTはそれを十分に理解している。

— bioshok(INFJ) (@bioshok3) December 24, 2022