AIの限界
The limitation of AI
ChatGPTから始まったLLMは、いまだその動作原理は解明されないまま、利用範囲が拡大中。既存の論理を学習し組み上げ、答えを出す能力は止まるところを知らないように見える。これを見たM7の中にはひたすら規模を拡大すれば超知能が生まれると考えて研究開発を続けるところもある。Large language models (LLMs), which began with ChatGPT, are expanding their range of applications even though their underlying mechanisms are still not fully understood. Their ability to absorb existing logic, assemble it, and produce answers appears to have no clear limit. Among the “M7,” some believe that simply scaling these systems will eventually give rise to superintelligence, and they continue their research and development accordingly.
しかし、その光景を遠くから見ると、LLMベースの知性と、人間とでは大きな違いがあるのに気づく。それは高次概念の発明が出来るか出来ないかだ。もっと下流のフレーム問題に帰着するのかもしれない。However, when viewed from a distance, a fundamental difference between LLM-based intelligence and human intelligence becomes apparent. The key question is whether higher-order concepts can be invented. Perhaps this ultimately reduces to the frame problem at a deeper level.
LLMはもれなく学習した広範な既存の概念をくみ上げる。このため、一般業務はもちろん、既存の概念を「組み合わせて」できる発明も可能。マーケティングで言うセグメント解析で、今まで試されてこなかったハイパーキューブの一セグメントがヒットとなる可能性を指摘できる。様々な芸術、作品を真似た作品を生成できる。過去の音楽をまねた音楽を無限に生成できる。しかし、LLMにできるのはそこまでだ。より高次の概念を生成し、そこから新たな理論体系を構築することはできない。新たな芸術を作り上げることはできない。LLMs universally draw upon a vast body of learned, pre-existing concepts. As a result, they can handle general tasks and even produce inventions that arise from “combinations” of existing ideas. In marketing terms, they can identify a previously unexplored segment within a high-dimensional “hypercube” that might become a hit. They can generate works that imitate various forms of art, and produce music endlessly in the style of past compositions. However, that is the limit of what LLMs can do. They cannot generate fundamentally higher-order concepts and build entirely new theoretical frameworks from them. Nor can they create genuinely new forms of art.
考えてみると、世の中で人が「新しい」とか「発明」とか言っているものには二種類あるのだ。一つは過去試されていなかった組み合わせを試すことでできたもの。これがほぼ９９％だろう。残りの１％は過去の組み合わせでは不可能なもの。Upon reflection, what people call “new” or “invention” in this world falls into two categories. One consists of things created by trying combinations that had not previously been attempted—this likely accounts for about 99%. The remaining 1% consists of things that cannot arise from any combination of prior elements.
簡単な思考実験を示そう。数学についてLLMを江戸時代のレベルで教育しよう。四則演算はできるようになるだろう。その教育段階のLLMを複数対話させながら新しい数学について研究させるとする。そこから果たして三角関数や、整数論、確率統計論、線形代数、解析学などが出てくるだろうか？ いいや、実際には、ほぼ確実に四則演算のループから出ることは出来ないだろう。Consider a simple thought experiment. Suppose we train an LLM on mathematics only up to the level of the Edo period. It would likely master basic arithmetic. Now imagine letting multiple such LLMs interact and “research” new mathematics. Would trigonometry, number theory, probability and statistics, linear algebra, or analysis emerge from this process? No—in reality, they would almost certainly remain trapped within the loop of basic arithmetic.
以上の簡単な思考実験でも分かることはこうだ。LLMという、人間が唯一現状で手に入れた論理エンジンは、処理速度において人間を凌駕する。しかし能力は既存の知識の組合せが限度で、より高次の概念を構築することは出来ない。Even this simple thought experiment suggests the following: LLMs, the only “logic engines” humans currently possess, surpass humans in processing speed. However, their capabilities are limited to recombining existing knowledge; they cannot construct higher-order concepts.
ある意味良かった。In a sense, that is reassuring.
人間にはまだやることがありそうだ。It seems humans still have work to do.