言語モデルが自信を持って誤答する六つの問題を、エンジンが計算した答えと並べて。
パターンから答えるアシスタントは、無視できない頻度で間違え、しかも特徴的な間違え方をします。答えの形は正しいのです。級数の最初の数項は合っている。積分は有名な値に間違った範囲が付いている。因数分解は、目視で見抜ける限界のところで止まる。下の各行は、パターンの答え、それが崩れる項、そしてエンジンが計算して返した答えを示しています。
このページではモデル名を挙げていません。左の列はこれらの問題に対してパターンマッチングが一般に生み出すものであり、どれか一つのモデルが改善した時点で古くなります。右の列はビルドごとにエンジンで再検証され、ずれが生じればこのページは出荷できません。
誤った項： 31x^9/2835
ビルド時にエンジンで検証
The first four coefficients are common enough to be recalled correctly; the fifth is not. The true coefficient is 62/2835. A series that is right to four terms and wrong at the fifth looks like knowledge and is the shape of a guess.
誤った項： -1
ビルド時にエンジンで検証
A 4x4 characteristic polynomial has enough terms for one sign to go wrong on the way to the answer, and a wrong sign produces a wrong eigenvalue that still looks like one. Here the matrix decouples into two 2x2 blocks; the engine finds all four exactly rather than approximating the quartic.
誤った項： Pi
ビルド時にエンジンで検証
The Dirichlet integral is famous enough to be recalled, and famous enough to be recalled with the wrong limits: the value over (-inf, inf) is Pi, over (0, inf) it is Pi/2. Both facts are true; attaching the right one to the limits written down is the computation.
誤った項： 329218123329 declared prime
ビルド時にエンジンで検証
Dividing out the 3 is easy; deciding whether the twelve-digit cofactor is prime is not something inspection can do, so a plausible answer stops there and calls it prime. The engine factors it, and it is not.
誤った項： 1
ビルド時にエンジンで検証
The theorem is real and the shape of the problem invites it, but 10^6 is not 10^9+6. The correct residue is reached only by actually reducing, which is a few hundred squarings - trivial for an engine and impossible by inspection.
誤った項： Pi^4/96
ビルド時にエンジンで検証
zeta(2) = Pi^2/6 is remembered by everyone; zeta(4) is remembered as 'Pi^4 over something', and the something is where a recalled answer diverges from a computed one. 90 is right; 96 and 45 both appear in nearby identities and are both wrong here.
Qurak は MCP サーバーです。接続すれば、Claude、Cursor、VS Code をはじめどの MCP クライアントも、推測する代わりに計算します。無料プランで使えます。あるいは、アカウントなしでここで式を一つ試してください。