今回は、以前のツイートの内容をちょっと掘り下げて書いてみる。
あらゆるコンテンツは脳の予測的符号化理論に基づいている？
まず、この前ジェフホーキンス氏の「脳は世界をどう見ているのか」という本を読んだ話はこのブログでも書いた。
私はこの本を読んで、人間の脳が常に予測を行っている事を初めて知った。
普段、ボゲーッとしてて何も考えてないつもりでも、実は自分の脳は何でもかんでも予測し続けてフル回転してるらしい。
我々は脳の中に、現実世界をそっくりそのままモデル化した、モデル世界を構築してるらしい。
そのモデル世界を元に、脳は予測を行っている。
たとえば、自分の部屋なんかはかなり正確に現実をコピーしたモデル世界が脳内にあるはずだ。自分の部屋を見渡す時は、「あそこにはアレがあるハズだ」などと全て無意識で予測している。そしてもしも予測が外れたら驚く。
もし自分がいつも使ってるコーヒーカップが青色から黄色に変わったりしてたら、「あれっ！？」と言ってかなり驚くだろう。それは予測と一致しなかったからだ。
このような脳の仕組みを予測的符号化理論と呼んでいるらしい。
とは言え、本当に脳がそのような仕組みで動いている事は証明されてるのか？というと、そうでもないだろう。
まだ我々は脳みそをリバースエンジニアリングして構造を完全に把握する所まではいってない。
とは言え、現時点では暫定的に一番確からしい理論のようだ。運動野などについてはかなり理論的に確かめられてるらしい。
この本を読んでて興味深かったのは、書かれている脳の仕組みがChatGPTのようなAI（LLM）の仕組みに似ている事だ。人間の脳が常に先を予測するように、LLMも次の単語を常に予測して出力している。
そして最近ではAIと人間の脳の仕組みが似ている事を実証するような興味深い研究が続々と登場している。
たとえばこちらだ。
この研究は、fMRIの画像からその人が見ているものを画像AIで再構築するという事をやっているが、それと同時に、画像AIの処理を人間の脳の処理に対応付けてみると、かなりもっともらしい結果になったという実験を行っている。
つまり、人間の脳の視覚処理が画像AIの処理と似ている可能性が示唆されていると言える。
他にもこのような研究もある。
人間とLLM(GPT-2)にそれぞれ短編小説を読み聞かせてみた時に、人間のfMRIデータとLLMの処理を人間の脳に対応付けたものの脳活動が結構似ていたという研究だ。
人間の脳は話を聞いてる時にも常に先を予測している事が確かめられたと言ってもいい結果だろう。
Transformerを使ってfMRIによってスキャンした脳データからその人が頭で考えてる言葉を文字に起こすという研究まである。
そこから冒頭のツイートに繋がる。
つまり、この脳の予測理論で何でもかんでも説明が付くんじゃね？と言う話だ。
例えば、我々は音楽を聴く時も、常に先を予測しながら聴いている。音楽が基本的に繰り返しで構成されてるのは、脳にフレーズを学習させて次を予測させるためだ。
予測が当たると脳は歓喜する。しかしずっと同じ事を繰り返してると脳は飽きる。だからAメロからBメロ→サビって展開していく。展開が変わると予測が外れて脳は驚いて食い付く。
音楽は脳の無意識の予測機能をハックしてると言えるかもしれない。
これは私のオリジナルのアイデアではない。音楽は予測させるために繰り返しで作られているという話は、なんか音楽理論の解説サイトかどこかで読んだ話だ。
音楽のような、予測があってて嬉しい、予測が外れて驚く、という仕組みは他のどんなコンテンツにも当てはまる共通の基盤のようなものかもしれないと思った。
たとえばゲームだ。
このブログでは以前に、「「ついやってしまう」体験のつくりかた」という本について書いた。
この本では、面白いゲームの作り方として、直感のデザインと驚きのデザインについて書いている。
ゲームでは予測とは少し違って、プレイヤーに仮説を立てさせる。ゲーム中に仕込んだシグニファイアによって「～できるかな？」と仮説を立てさせて、実際に試行させて、仮説が正解だったら歓喜する。これが直感のデザインだ。
とは言え、ずっと延々と仮説→試行→歓喜を繰り返してるとだんだんと疲れてくる。その時にプレイヤーが予想もしなかった事を起こして、敢えて仮説を外させる。
するとプレイヤーは驚いて、ゲームに食い付いてやめられなくなってしまう。これが驚きのデザインだ。
この話は、音楽が基本的に繰り返しを予測してるけど、それだけだと飽きるから展開して予測を外させる事とまったく同じだ。
ただし、音楽のような受け身のコンテンツでは予測と一致するのが気持ちいいのに対して、ゲームのように能動的な行動が求められるコンテンツでは、仮説→試行して正解するのが気持ちいいという形になるのだと思う。
この調子だと、アニメや映画のようなストーリーについても、同じような予測理論が成り立つのかもしれないと思った。例えば、まどマギは最初、いわゆるありがちな魔法少女アニメのフリをして始まった。視聴者だって、てっきりそういうアニメだと思ってテンプレパターンに当てはめて予測してたのしんでいたかもしれない。そうしていたら３話でまったく思いもよらなかった展開が待ち受けてたわけだ。
メチャメチャパターン通りに始まって、途中でのパターン外しも最大級の驚きを仕込んできた。このような事が面白さの一因だったのかもしれない。
「観察力の鍛え方」について
さて次に、直近で読んだ本が佐渡島庸平さんの「観察力の鍛え方」だ。
この本では最初に、佐渡島さんは観察力の重要性を説く。いいクリエイターの条件は観察力を持っている事だという。
とはいえ、観察って何だろう？よく見るという事？なかなかフワッとした言葉だと思う
しかし、佐渡島さんは長年観察力について考えてきた結果、現時点で観察とは
「いい観察は、ある主体が、物事に対して仮説をもちながら、客観的に物事を観て、仮説とその物事の状態のズレに気づき、仮説の更新を促す。一方、悪い観察は、仮説とモノゴトの状態に差がないと感じ、わかった状態になり、仮説の更新が止まる」
というものだという。
観察って具体的にどういう事なのか、ここまで具体化して書かれているのは初めて見た。
つまり、佐渡島さんが考える観察とは”仮説を持って物事を見る”という事なのだ。
「問いのデザイン」と言う本では、問い→仮説→観察というサイクルを回す事が重要だと書かれているらしい。
しかし、佐渡島さんは問いと言われてもそんな簡単に思い付かないから、仮説から始めるのがいいという。まず仮説を最初に立てる。そして仮説を検証するために観察する。すると仮説と観察結果の間にズレがある事に気付く。そのズレが問いになるという事だ。
さらに、佐渡島さんは観察のサイクルを回すための５つのアクションを解説している。
①まずは愚直なディスクリプション
たとえば絵画を鑑賞する時に、どうやって観察すればいいのか？
シロウトが絵画をただ見ていても、なんの仮説も問いも生まれないかもしれない。
そういう時は、とにかく見えてみるものを全部言葉に書き記してみるといいという。言葉にしている内に自然と問いが浮かび上がってきて、仮説が生まれてくる。主観的な感想じゃなくて、客観的事実だけを書き記すのが重要らしい。
②外部の評価を参考軸にする
佐渡島さんは、映画を見に行く時に、あらかじめ予告編やあらすじを見ておくらしい。そうしておけば、「きっとこういう映画なんじゃないか？」と仮説を立てられる。つまりストーリーを予測しておくわけだ。
また、他人のレビューもチェックしたりするらしい。レビューなんて見たら先入観を抱いてしまいそうだけど、佐渡島さんが言うには参考にするというよりも、あとでレビューをボコボコにするくらいの気分で読んでおくらしい。たとえば、「つまんなかった」ってレビューを見ておいて「いや、こいつの見る目が無いだけで実際面白いんじゃね？」と思いながら映画を見れば、それは仮説を立てておくことになるだろう。
③記憶は信用せずデータにあたる
観察のサイクルを回すのに、記憶はあてにならない。ちゃんとデータを書き記しておいた方がちゃんと観察できる。佐渡島さんは睡眠のデータを取ってみたら、明らかにお酒を飲むとどうあがいても睡眠が悪くなるデータに直面した。いやそんなはずは…と思ったけど実際にお酒を止めたら睡眠が向上したらしい。
④徹底的に真似る。型に気付く
漫画家になるための観察なら、例えば自分が好きな漫画家の絵を真似てみる。真似して描いた絵を本物と見比べると、全く似ていない事に気づくだろう。そのズレは何故だろう？という問いが生まれて、次はどうしたらいいか？という仮説が生まれる。これを繰り返して”型”を身に付けるのがまず重要だという。
⑤自分だけのモノサシを育む
佐渡島さんのコルクでは、「物語の力で一人一人の世界を変える」というミッションを掲げている。こういうモノサシがあると、企画を立てるときにも「これは物語の力で一人一人の世界を変える事になるだろうか？」という問いを立てる事ができる。
佐渡島さんの本についてはこのような感じだった。
私は例によって「これも脳の予測の理論の話と全く同じやんけ！」と驚いた。
たまたま読んだ本や情報が、こうやって立て続けに脳の仕組みの話に繋がっていくというのは一体どういうセレンディピティなんだろうか？
脳の予測の理論はAIに繋がり、それから音楽、ゲーム、映画、そして観察力の話にまで繋がっていった。これはたまたまなのか？
佐渡島さんの本には脳科学を参考にしたとかいう話は書かれてなかった。「ついやってしまう」の本の参考文献には脳科学の本も挙げられていたので、予測理論を参考にしたのかもしれない。
観察力＝予測力？
脳の予測の理論があらゆるコンテンツのオモシロさの源泉になっているのかもしれない話はとても興味深かったが、佐渡島さんによればクリエイターに求められるのもまた観察力であり、そして観察力を鍛えるのもやっぱり脳の予測の理論的な話に繋がっているとはやはり言い尽くせないくらい驚くべき事だ。
佐渡島さんは、クリエイターには観察力が重要だと書いていて、観察力を鍛える方法も書いているが、観察力が上がる事で具体的にどういう風にマンガなり映画なりが作れるようになる事に結びつくのかについては書いてなかった。（読み落としてるのかもしれない）
佐渡島さんの観察における仮説とは、予測と言い換える事もできると思う。予測して、観測して、ずれを修正する。それを繰り返すという事だ。
つまり、観察力を鍛えるという事は、予測力を上げる事でもあると思う。私はこの予測力こそがクリエイティブの能力だと考える。
どういう事か？例えば予測力を極めた人は、映画のポスターを見ただけで筋書きを全部予測できちゃうかもしれない。それは事実上、自分のオリジナル作品を一つ思い付いたのと同じではないだろうか。そうして考えると予測する事は創造する事と同じようなもんかもしれない。
どうして毎日音楽を聴いているのに作曲家になれないのか？
先ほど、人間の脳は音楽を聴いてる時も常に先を予測していると書いた。
しかし、私は大体毎日音楽を聴いてるんだから、そんなんだったら私はメチャメチャ予測力が鍛えられてるハズだから、今ごろ天才作曲家にでもなってなければおかしいハズではないのか？
残念ながら、そうは問屋が卸さない。
というのも、音楽とかを聴く時に脳が行ってる予測は、無意識のレベルで行われてるからだ。そもそも我々は、脳の予測理論を知るまで自分が常に予測している事に気付きもしなかったはずだ。自分の頭の中に自分の部屋のモデル世界があって、コーヒーカップを持つときでさえ脳のモデルを元に予測を行っていたなんて！全然知らなかった。
つまり、無意識レベルの予測処理は我々の意識にまったく上がってこないし、予測の結果を取り出す事は不可能なのだ。無意識のまま作曲したりマンガ描いたりなんて事ができるわけがない。無意識にはアウトプットする能力が無いようだ。
（ちなみに、結果を取り出す事ができないだけで、無意識は本当に天才クリエイターかもしれない。私は夢の中で凄い大長編の傑作マンガを読んだり、聴いた事が無い名曲がBGMで流れたりする事がある。これらは無意識のクリエイティブの産物かもしれない）
じゃあどうすればいいの？というと、無意識じゃなくて、意識のレベルで予測できるようにならなければいけないだろう。つまり、言葉にする事、言語化する事だ。予測を言語化できれば、それをそのまま書けば作品になる。
例えば音楽で言えば、ちゃんと音楽を学んだ人なら「今鳴ってるコードはCだな」みたいな感じで、音楽のコードの概念を言語化できるだろう。そして、「Cの次にFが来たからその次はGが来るに違いない」と意識レベルで先が予測できる。
そして、最初の４小説のコード進行を聴けば、残りの曲全体がどんな感じかまで予測できてしまえるかもしれない。そうなったとしたら、それは映画のポスター見て筋書きを予測した時と同様に、オリジナル曲を１曲作曲したも同然である。
概念を言語化する事で、意識のレベルで予測する事ができるようになる。それがすなわちクリエイティブ能力という事だろう。佐渡島さんも観察力を鍛えるアクションとして、真っ先にディスクリプションを挙げている。言語化する事は観察力、そして予測力を鍛える第一歩なのだ。
私は普段、音楽を聴いてる時にスケールだのコードだの、ややこしい事を何も考えずに聴いている。これでは観察ではない。漫然と聴いてるだけだ。これでは何百万回聴いたって作曲できるようになるわけがない。
しかし、そんな風に漫然と聴いていても音楽を聴いてて気持ちいいという感覚はある。それは無意識レベルでは脳はしっかり予測しているからだ。
消費者としてたのしむだけなら無意識に任せた予測で問題無いが、クリエイターになるなら意識レベルで予測できるようになる必要がある。
そしてそれが漫然と見る事と観察する事の違いだ。
クリエイターになるためのトレーニング法
私はラストアクションヒーローと言う映画が好きなのだが、この映画の中で、ダニーと言う少年は劇中劇の映画を鑑賞している。そして常に、次に映画の展開がどうなるかつぶやいている。「このわき役はすぐ死んじゃうよ」みたいな感じだ。ダニーは映画ファンだから、映画のお決まりの展開は大体予測ができてしまうわけだ。
また、私はアニメを観る時に、海外のYoutubeのライブリアクションマッシュアップ動画を隣に並べて観たりする。リアクション動画のユーチューバーはとにかくアニメで起きてる出来事を全部口で説明するような人もいる。佐渡島さんが言うところのディスクリプションにあたるだろう。そして、かなり分析的にアニメを観ている人もいるがそういう人なんかは次に何が起こるか当ててしまう。アニメを観まくってるから展開が予測できるようになっちゃってるわけだ。
さっきも書いたが、こんな風に意識レベルで先の展開が予測できるようになれば、クリエイターになったも同然だ。そうなるためには予測力を鍛えるトレーニングをすればいいだろう。
これはまだ構想段階で、実際に効果があるかまだ私も試してないから分からないが、かなり効果ありそうだと思ってる。例えば、映画の予測力を鍛えるトレーニング方法を考えてみよう。
具体的に言えば、自分もライブリアクション動画を作ってみるという事だ。
まず初めに、佐渡島さんが言うような”型”を身に付ける必要があるだろう。映画で言うと、SAVE THE CATの法則と言う、映画の型を教えてくれる素晴らしい本がある。この本を読めば脚本の構造を分析できるビートシートと、映画の脚本の１０個のタイプについて理解できる。これらを頭に入れておけば、とりあえず映画のシナリオを予想する事は出来るようになるはずだ。
映画を見る前に、ポスターやあらすじだけを見て、その映画のストーリーをあらかじめ予想しておく。これは佐渡島さんがやっている事と同じだ。
そしてリアクション動画を録りながら映画を観る。大体始まって１０分時点でキャラの紹介とかされるから、その時点であらためてストーリーを予測し直す。３０分経過時点、１時間経過時点、１時間３０分経過時点でも同じようにやってみる。
そして自分の予測と実際のストーリーの違いを観察して、そのズレについて考える。佐渡島さんがいう観察のサイクルを回すわけだ。
これを繰り返す事で映画シナリオの予測能力はメキメキ鍛えられると思われる。
おそらく、最初は正解より全然劣ってる予測しか立てられないだろう。しかし観察のサイクルを回す内に予測誤差は小さくなっていき、完全に正解を当てられるようになるだろう。この時点でかなり立派なクリエイティブ能力を身に付けているはずだ。
しかし、それでもさらに観察のサイクルを回してる内に、むしろ自分の予測の方が正解より断然面白いじゃねえか！という領域に辿り着きそうな気がする。ここまで行けばもはや神クリエイターだろう。だって既存のプロの映画より面白いものを思い付いちゃってんだから。
多分、チェンソーマンの作者の藤本タツキ先生はこの領域だろうと思う。チェンソーマンは常に我々読者に驚きを与え続ける。驚きと言うのは、ただ何もかもハチャメチャならいいってもんじゃない。先を予測できるような上手い前フリがあった上で、その予測を外してくるから驚くのだ。そんな芸当は完全な予測能力を意識レベルで身に付けていなければできない事だ。
ただ、このようなトレーニング方法には結構イヤな副作用が伴うだろうと思う。恐らく、どんな映画を観ても先の展開が予測できるようになってしまうのだ。何を見ても先が分かってしまうならつまらないに決まってる。映画を楽しめない身体になってしまうだろうという事だ。
このような予測トレーニングは映画以外でも応用できるだろう。例えばアニメならAパートを見た時点でBパートの展開を当てるとか、４コマ漫画なら最初の２コマだけ見て残りの展開を当てる遊びなんかが良さそうだ。
AIの予測、人間の予測
最後にどんでん返しみたいな話をしてしまうと、実は先ほど書いたような予測トレーニングと言うのはChatGPTのようなLLMがやっているトレーニングとほとんど同じだ。
LLMも予測誤差が最小になるように大量のテキストでトレーニングしている。
だから予測トレーニングをするのはむしろ人間の方からAIに寄せて行ってる感がなくもない。
しかし、その事は予測トレーニングが実際に効果がある証拠なのかもしれない。
実際、ChatGPTはストーリーやポエムみたいな創作が結構上手い。
だから、もしかすると今後、GPTなどのAIがさらにアップデートされて能力が増していく中で、クリエイティブ能力も人間より高くなっていって、人間がクリエイティブ能力を身に付ける必要は無くなってしまったりするかもしれない。
まあ実際どうなるかは不透明だが、予測トレーニングをするなかで、ChatGPTにも予測させたりして手伝ってもらうみたいなのもアリかもしれない。
私としては、今回考えた理論を元に、さっそく予測トレーニングに挑戦してみようかなと思ったりしている。
ちなみに、クリエイターには予測力が必要なのは間違いないが、予測力だけでクリエイターになれるかどうかはちょっと分からない。リアクション動画のユーチューバーだって予測力はすごいけど、じゃあ彼らがクリエイターというわけでもないだろう。クリエイターをクリエイターたらしめる要素は予測能力以外にも何か”核”のようなものが必要なのかもしれないが、それが何なのかはよく分からない。