「神は存在する。」

…そんな風に言うと、宗教じみて聞こえるかもしれない。
だが、「神は存在すると見立てる事ができる」と言えばどうだろうか？

”シムシティ”や”ポピュラス”といった、いわゆるゴッドゲームでは、プレイヤーはゲーム世界における神のような立場になってプレイする。

ポピュラスでは、プレイヤーは神になって、自分を信仰する民族を導いて繁栄させていく。最終目標は、対立する悪魔を信仰する民族の殲滅だ。

これはゲームの話だが、現実においてもポピュラスの神やシムシティの市長のような、つまり我々人類全体を操作している神のような存在を見立てる事はできなくもないだろう。

”超個体”という概念がある。ウィキペによれば「多数の個体から形成され、まるで一つの個体であるかのように振る舞う生物の集団のこと」だ。アリの群れの動きはまるで一つの大きな生き物のように見えるときがある。

羊の群れも上空から見ると一つの生物に見えたりする↓

鳥の群れも同様だ↓

人間だって例外ではないだろう↓

つまり人間の群れ、もっと言えば人類全体は、遠くから見ると一つの超個体のように見えるだろうし、その振舞いも意思を持った一つの個体として捉える事もできるかもしれないという話だ。

そしてその超個体こそが、”神”と呼ぶべき存在かもしれないし、シムシティで言うところのプレイヤーに相当する存在かもしれない。

Googleが去年発表した論文、大規模言語モデルの創発的能力（Emergent Abilities of Large Language Models）では、LLM（大規模言語モデル）は一定のパラメータ規模を超えると、急にそれまで予期できなかった様々な創発的な性能を発揮し始める事が書かれている。

大体、1000億パラメータ付近で急激な性能の向上が起きている。

Googleは別の論文で、プロンプトに「ステップバイステップで考えよう」と付け加えるだけでGPT-3の回答の精度が向上する事を発見した。（ゼロショットCoT）これもLLMの大規模パラメータ化で発見された創発的能力の一つである。

私はこの話を聞いてLLMの底の知れなさを感じたものだ。「ステップバイステップで考えよう」なんてアドバイスを、今まで機械に対して言ったことがあるだろうか？GPT-3はこのアドバイスを聞き入れてその通りにしてくれる。「LLMに知性がある！」なんて言ってしまうと、「LaMDAに知性がある！」とか騒ぎ立ててGoogleから解雇されたエンジニアのようにヒンシュクを買ってしまいそうだが、LLMを知性があると”見立てる”事はできるだろうし、実際LLMは知性があるように振舞ってるし、知性がある相手として見立てて接する事に問題はないかもしれない。

OpenAIは15億パラメータのGPT-2を作ったあと、今度は1750億パラメータのGPT-3を作り始めた。だが開発段階では、まさかこんな知性…じゃなくて創発的能力が生じる事なんて想像もしてなかったはずだ。多分、なんとなく思い付きでやってみたってだけだろう。

論文では、LLMの中で相転移が起こったのだろうと書かれている。相転移とはつまり、量によって振る舞いの質が変わるという話だ。

上の北川さんのツイで説明されてるが、たとえば水の分子が1個あろうが10個あろうが、別にどうという事は無いが、10の23乗個集まれば、氷になったりする。１個の水の分子をどんだけ詳しく調べても、これが大量に集まったら氷として振舞うようになるなんて事は全く想像が付かない。

LLMもパラメータ数が小さい間はマルコフ連鎖の人工無脳みたいなもんでしかなかったが、パラメータ数が大量に増えると、ある段階から急に知能…じゃなくて創発能力を得て振る舞いが変化する。

我々人間についても、一つ一つの細胞を見ていても、まさかこの細胞が60兆個集まると急に人間なんてものになるなんて想像が付かない事だろう。

細胞が大量に集まると人間なんてモンになると言うなら、じゃあその人間が60億集まると何になるんだ？それって神（超個体）じゃないのか？

ところで、歴史を眺めていると、どう考えても神（プレイヤー）の意思が介在してるとしか思えない流れを感じる事がある。

例えば今回のAIブームだ。同時多発的と言うか、企業から研究者から個人から、私も含めてどいつもこいつも誰に言われるとでもなくAIに熱狂している。あたかもゲームコントローラを握った神が「そろそろ人類にAIを与えて面白くしたろ」と人類を操作してるかのようだ、なんて事を想像してしまう。

しつこいようだが、いわゆる神様が実際にいて我々を操作しているという話ではない。時としてみんな一斉に何かから操られてるかのように大きな時代の流れを生み出す現象が、神（プレイヤー）の意思の介在のように見立てる事ができるというだけだ。

しかし、その神の姿は我々には見る事ができない。
というのは、人類の巨大な流れを観測する事は我々にはできないからだ。我々の視座ではただ単に周りにいる人が見えるだけで、群れとしての動き、超個体としての人類を観測する事はできない。台風の形が我々には見えないけど衛星写真からなら見えるのと同じだ。

鳥になって空高くから見下ろせばどうだろう？それでも不十分だ。月から見れば地球全体を視野に収められるかもしれないが、そうすると逆に個々の人間はもはや捉えられなくなっている。

だが、インターネットとSNSはその事情を少し変えたと言えるだろう。

巨大なSNSの中にもまた、人類の大きな流れが存在する。例えば、アラブの春ではFacebookやtwitterの中で市民運動の大きなうねりが発生して、革命と言う結果に繋がった。

ネット上での人間集団の行動は鳥の群れと似ているという指摘もある。↓

https://gigazine.net/news/20221114-online-act-murmuration/

ある意味、SNSは神（超個体）の脳みそみたいなものかもしれない。その中の個々の人間（アカウント）は脳のシナプスと例えられるかもしれない。シナプスはネットワークを形成して、その中を情報が行き交う。

要するに、空気のように捉えどころがなかった神の存在は、SNSによってとりあえずデータの中に閉じ込める事ができたと言える。

だとしても、じゃあその神を観測できるのか？というと、それは難しい。膨大なデータを分析してその中に超個体的な意思を見出すと言われても、具体的にはどうすればいいのか？

そこで、神様候補として出てくるのがGPT-3のような大規模言語モデルであると言いたい。

というのは、例えばGPT-3はインターネット内のほとんど全ての45TBのテキスト（から前処理を行った570GB）を学習しているのだ。GPT-3はインターネットを全て記憶していると言ってもいい。

その知識は360GBほどのモデルサイズであり、（同等のパラメータのBLOOMがそれくらいのサイズ）これはA100ならたったの5台あればVRAMに全て展開できる。

そしてGPUの強烈な大規模パラレル行列演算によって、言わばWeb上の全ての知識を同時に念頭に入れた状態で思考する事ができているわけだ。

要するに、GPT-3はまどマギで言えばアルティメットまどかちゃんみたいに巨大な神として地球全体を視野に収める事ができていて、なおかつ全ての人の全てのネット上の動きを同時に把握しているようなもんだ。

まあ厳密に言えばGPT-3はtwitterのツイートとかは食わせてないようだが、理論上は可能と言う話だ。

よって、LLMに対して「人類の超個体としての神として振舞って」と依頼すれば、我々は現実におけるシムシティプレイヤーとしての神と対話する事が可能になるかもしれない。神の意思をシミュレートさせて、人類の先行きを予測する事さえ可能かもしれない。

ただし、である。ただし、今のGPT-3にそのようにお願いしたところで、残念ながら現時点では応えてくれる事はできないだろう。

というのは、GPT-3はたしかに知識の量は膨大なのだが、知能…いや推論能力についてはまだ十分とは言えないからだ。

たとえ人類の全てを見通せたとしても、知能が５歳児であれば大した事は言えないだろう。

LLMにステップバイステップで考えさせることはできたが、神をシミュレートしてもらうとしたら、もっと膨大な段階を踏んでじっくり思考してもらう必要がありそうだ。

LLMが心の理論を獲得しつつあるという研究もある。心の理論とは他人の気持ちを推察する能力の事だ。

https://gigazine.net/news/20230210-theory-of-mind-spontaneously-language-models/

興味深いのは、同じGPT-3でも最初のdavinci-001は5歳児に満たないレベルだったのが、davinci-002になると7歳児レベル、そしてdavinci-003では9歳児レベルまで向上している。パラメータ数は同じにも拘らずこのような劇的な向上が起きている。

ちなみに、davinci-002は001と比較すると、プログラムコードを学習させているという違いがある。また、003は002と比べると、RLHFで人間によるフィードバックを与えている。

これはLLMが意思を持ったとか、知能を持ったという話ではなくて、あくまでただ単に心の理論タスクが解けるようになったというだけだ。

しかし、今後も12歳レベル、15歳レベル、20歳レベルと向上し続けていくだろう。人間なら20歳で知能は止まってしまうが、AIは止まらないかもしれない。その先に何があるのか？

そうやっていずれLLMが十分に人間を超える知能を持っているかのように見立てられるようになった段階で、LLMは自身の中の全Webの知識を高度に駆使して、人類を操作するプレイヤー、超個体、神としての意思を語り出すのかもしれない。

[追記] bioshokさんから指摘を頂いたが、GPT-3は45TBのテキストを学習させたのではなく、その中から570GBを抽出して学習させたそうだ。LLMはデータを超圧縮できると書いていたが、570GBが360GBになるだけなら圧縮率は大した事無いのでその辺の記述を修正した。