知識の蒸溜器である皆さま

知識の源は何処か。

文明を築くためには高度な「知識」が必要だ。この「知識」はどこから来ているのだろうか。ひとつは、人間が無から生み出しているという説があるだろう。

この説は前に考えたことがあって、それは5億年ボタンについて考えたときだ。その時はああ、じゃぁ自分はずっと何もない空間で数学でもやるかと思った。無料で数学ができるだけでもお得ではないか。

しかしすぐに別の、妙に嫌な感情が湧いてきた。「それは無理なのではないか」という勘だ。数学をやり続けることが無理なのではない。何もない「無」の空間で、果たして新しいアイディアを自分の中だけで引き出すことができるのか。イメージが湧かなかった。

そう考えると、知識というのはそこら中に存在しており、宇宙から降り注いでいる知識を人間が吸収しているのだと考えた方が腑に落ちる。 人間は空間に存在している薄い知識を吸収し、取捨選別して寄り濃い知識へ濃縮しているのだ。僕はこの能力のことを「知能」と呼ぶことにした。

知能の一番大きな構成要素は注意(Attention)だろう。

たとえばアイザック・ニュートンが重力を発見したときに、たまたまリンゴが落ちたところから着想したという有名すぎる逸話があるが、これもそうだ。一様にランダムで進行している風景の中から、リンゴが落ちたその瞬間だけを「意味がある」と注意したわけだ。

人間にはどうやら知能があるらしい。これは歴史的に明らかだろう(きっと。エイリアンが濃い知識を誰かに注入しているという荒唐無稽な陰謀論も存在してはいるが)。

LLMに知能はあるのか。

AIとは人工知能であることから、LLMをAIと呼ぶためにはLLMに知能があることを証明しなければならない。

今の話の流れからすると、知能とは「薄い知識をより濃い知識に蒸溜できること」だ。

これを証明するのは、あるセンテンスの「知識濃度」を定義して、それがLLMに入力する前と入力した後でより濃くなるかを測定すればよい。

濃縮率が0.99%であれば残念。LLMはどれだけがんばってもそれ単体では文明を成長に繋げることはできず、最終的に人間の助けが必要であることが分かる。1.01%であればこれは明確にシンギュラリティだ。

より深く理解するための例として、例えばGoogle検索の知識濃縮率について考えてみる。おそらくこれは等倍になるべきであろう。

観方によっては単語しか知らないユーザーが情報を得ているのだから、1倍以上なのでは？という気持ちになる。 でもそういうことではない。あくまでも、システムに与えている「知識」の濃さを観る。情報の量ではない。

この通りこの主張がはらんでいる問題は、「あるセンテンスが持つ知識濃度」を測定することが非常に難しいことだ。「ラーメン」と「カレー」のどちらが知識が濃いですか？とか、分かるわけがない。

でもこれは非常に重要な概念になってくる気がする。人間が蒸溜器の座を引退するのは、知識の濃さをきちんと測定することができて、LLMがきちんと情報を濃くできることを証明してからでも遅くはないだろう。