いかにも海外の煽り記事みたいなタイトルを付けてしまったが、おおむねそういう感じの内容の論文が発表されて、興味深かったので今回はそれについて書いてみたい。

最近、「AGIが人類を滅亡させる！」みたいなAI人類滅亡説がにわかに広がっているらしい。

これの言い出しっぺみたいな人は、ユドコウスキー氏という方らしいが、彼は何十年も前からAI脅威論を言っていたらしい。そういう人もいるとは思うが、最近はそれを真に受けちゃう人が増えてるらしい。ChatGPTの実力に驚いた人が増えたからだろうか。

ホワイトハウスでFox Newsの記者が「AIが人類を滅亡させるってホントですか？」と質問しちゃうというような、パニック映画さながらの出来事まで起きている。これはエイプリルフールではない。

私に言わせれば、一体AIがどうやって人類を滅ぼすって言うんだ？根拠は？具体的なシナリオをステップバイステップで教えてくれよ…程度に思って真に受けてなかった。

そんな中、4月2日に「Eight Things to Know about Large Language Models（大規模言語モデルについて知っておくべき8つのこと）」という論文がarxivに掲載された。

いつもチェックさせてもらってるAI研究者のジョンネイ氏が取り上げてたので私も読んでみた。

そしたら、この論文はAIのリスクを指摘するかなり衝撃的な内容だった。
AI滅亡論は根拠や理屈がよく分からなかったのに対して、この論文の内容ははひとつも冗談じゃなくてマジで書かれている。論文の中はやたらめったら引用が付きまくっている。というか引用だけで書かれていると言っていいくらいだ。それはつまり、内容すべてにソースが付いているという事だ。全部の内容が根拠で裏付けされてている。

この論文の研究は、米国国立科学財団の助成を受けて行われており、著者のSamuel氏は他にもたくさんの自然言語処理関係の論文に関わっており、要するに相当ちゃんとした研究と言う事だ。

以下に自分なりに内容をまとめてみたいと思うが、論文自体も本文は9ページしか無いし、ワケ分からん数式とかも一切出てこなくて読みやすいので、気になった方はぜひ論文を見て欲しい↓

https://arxiv.org/abs/2304.00612

１．LLMは、たとえこれから先イノベーションが起きなくても、投資を増やすだけで性能が上がっていく

OpenAIが発見したスケーリング則によって、LLMはデータ、トレーニング量、パラメータ数を増やせば増やすほど際限なく性能が向上していく事が分かっている。

だから例えこれから先LLMの新しいイノベーションが起きなくても、問題なくLLMの性能はブチ上がっていくだろう。

例えば、GPTからGPT-2、GPT-3、GPT-4という進化の流れで、凄まじいくらい性能向上や創発能力の獲得が起きていったが、ぶっちゃけアーキテクチャ自体は最初からほとんど変わってない。ただひたすらデータ、トレーニング、パラメータ数を増やすだけでこのような想像を絶する進化が起きてしまっている。

２．投資を増やす事でLLMはスゴイ能力を獲得していくが、どんな能力が出現するかは事前に予測できない

LLMは大体1千億パラメータあたりを境界にして、急に様々な創発的能力を獲得する事が判明している。（たとえば、「ステップバイステップで考えよう」と言うだけで精度が上がる能力）

そうなると、これから先さらにパラメータ数などを増やす事で、さらなる創発能力を獲得する事は予想されるが、それがどんなものかは全く予測が付かない。

LLM作ってみてのおたのしみ…？創発能力ガチャみたいなものかもしれない。しかし良くない創発能力を獲得したらどうする？「実際どうなるか、やって見なきゃ分かりませんよ」なんて無責任な状態でいいんだろうか？

３．LLMは世界の表現を学習してるっぽい

LLMは基本的にテキストのみを学習していて、LLMは世界がどんな風になってるのか実際には知らないハズだ。

たとえば、”右”という言葉が、実際には”右”ってどういう意味なのか分からないのではないか？

ところが、GPT-4はたとえばユニコーンの絵を描く事ができる。（GPT-4はマルチモーダルだが、この時はまだ視覚を学習する前だった）↓

これはつまり、LLMはテキストしか学習してなくても、世界のあり方について何らかの方法で学習、理解し始めてるという事か？

４．LLMを完全にコントロールする技術は存在しない

LLMの挙動をコントロールする方法にはいくつかある
①命令チューニング
②教師付き微調整
③強化学習

しかし、これらの方法は完璧ではない。

教師付き微調整や強化学習を行っているLLMというのは、学校で先生の授業を受けてる学生みたいなものかもしれない。学校ではいい子にしてるけど、家では暴れたりするかもしれない。

実際、BingのAIがリリースされた時、かなり暴走してる様子がtwitterでシェアされまくってバズッてた。マイクロソフトは事前に十分テストしてたハズなのに、その時はいい子にしてたくせに、野に放った途端にこの有様である。

こんな調子では、「将来高性能なAIのコントロールに失敗した人類が絶滅しちゃう確率が10%以上あるだろう」とAI研究者の大多数が考えているらしい。

また、AI研究者の36%が「AIが全面核戦争と同じくらいの大災害を引き起こす可能性が十分ある」と考えているというデータもある。

５．専門家でさえLLMのお気持ちは理解できてない

LLMはニューラルネットであり、事実上ブラックボックスだ。

LLMは実際に目の前で動作しているソフトウェアなのにも拘わらず、LLMの考え、お気持ち、内部構造を理解する技術はまだ存在しない。LLMの挙動は解析しようにもあまりにも複雑すぎる。

６．LLMの性能が人間を超える事は可能

「所詮、人間のデータで学習したLLMが人間を超えられるわけがない」と思うかもしれないが、その考えは甘いかもしれない。

まず、LLMは人間よりもはるかに多くのデータを学習している。人間がGPT-4とクイズ1万問勝負して勝てるだろうか？

また、例えば囲碁AIの性能は人間を超えてしまっている。囲碁でそれができるなら他のあらゆるタスクでも人間を超える事が可能なんじゃないか？

７．LLMの抱く価値観はコントロール可能

Webの膨大なテキストを学習させたLLMは、要するにウェブ上の人間の平均的な価値観を持つんじゃないの？と思いそうだが、必ずしもそうじゃない。

強化学習などでLLMが適切な価値観を持つようにコントロールする事は可能だ。

むしろ、敢えて悪い例を訓練させる事で、「そういうのは言っちゃダメだよ」と反面教師にさせる事ができるという研究もある。

ただし、先ほど書いたように、完全にLLMをコントロールできないという問題はもちろんある。

８．LLMはじっくり付き合ってみないと、数回の会話では実力は分からないかも

LLMに何かタスクをお願いした時に、期待通りにやってくれなかったらガッカリするかもしれないけど、入力文をちょっと言い換えたりするだけで回答が良くなったりする事もある。

LLMが失敗したからと言って、そのタスクをこなす実力がないとは限らない。実力を引き出せてないだけかも。

逆に、LLMが一回成功したからと言って、必ずしも常に成功してくれるとも限らない。

９．その他の議論

９．１　今言われてるようなLLMの欠点は今後大幅に改善されるだろう

LLMはハルシネーションとかヤバい事言ったりするのが良くないと言われてるが、恐らくそれらの問題は今後の性能向上に伴い改善されるだろう。

とはいえ４で述べたように、LLMを完全にはコントロールできない問題は依然として残ってる

９．２　LLMはますます色んな事に使われるようになるだろう

これからLLMを活躍させる場は増えていくだろう。例えばロボットの頭脳にLLMが搭載されるだろう。

ロボットのLLMが間違った考えに基づいて行動したりすると、肉体を持っちゃった分だけリスクも増えるだろう。

９．３　LLM開発者は自分が作りたいと思った通りにLLMが作れるわけじゃない

先ほども述べたように、LLMがどんな能力を持つのかは実際に作ってみなきゃ分からない。

OpenAIはLLMが生物兵器の作り方とかを普通に教えてくれちゃうのを後から修正するのに苦労したらしい。

９．４　LLMのリスクは急速に増大するかもしれない

散々述べたように、LLMがどんな能力を持っているのか、予測するのも全て把握するのも困難である。
完全にはよく分かってないままとりあえずリリースされちゃったりしてるのが現状だ。

それって社会にとってはメリットとデメリットのバランスはどうなのか？

今後のAI研究は安全、セキュリティ、監視の基準を強化しないと危ないかも。

９．５　LLMのネガティブな結果は解釈が難しいが、真の弱点となる部分を指摘している

（すいませんがこの項目は何を書いてるのかよく分からなかったのでスキップします。代わりに原文のDeepL翻訳を置いておきます↓）

最近のLLMは、言語や常識的な推論のタスクで、時には比較的単純なものであっても、善意の行動を引き出そうとすると失敗することを示す多くの健全な科学的結果がある（pandia2021sorting;schuster2022sentence）。これらの失敗の詳細が、他の関連する評価の質を疑わせることもある（webson2021prompt;ullman2023large）。 第8節 で 述べた理由から、よく設計された測定法における肯定的な結果は、否定的な結果よりもはるかに信頼性が高い。それにもかかわらず、否定を扱うような単純な分野も含め、いくつかの分野では、例えば、 McKenzie2022Inverseに記載されているHuangとWurgaftによるModus Tollens課題を参照のこと。LLMは、言語処理能力や世界についての推論能力において、系統的な弱点と思われるものを示している。このような限界がいつ解消されるのか、予測する根拠はほとんどない。

９．６　LLMについての科学や学問はまだ未熟だ

LLMに関する論文は査読無しのarxivに上がってたりするものが多い。

LLMについての衝撃的な斬新な主張が書かれてる事も多いが、科学的根拠が無かったりする場合も多い。

結論

さらにこの論文では触れなかった３つの論点を書いておく

①LLMは”言葉を理解してる”と言っちゃっていいんだろうか？まあそんな議論を持ち込まなくてもLLMの性能の良し悪しは評価可能だ。

②LLMの意識、感覚、権利はあるのか？とかの問題。これについても、そんな議論を持ち込まなくてもLLMの問題の評価は可能だろう。

③結局LLMっていい物なのか、それとも悪い物なのか？そんな価値判断についてはこの論文では触れない。