Zes problemen die een taalmodel zelfverzekerd en fout beantwoordt, naast wat de engine berekent.
Een assistent die uit patronen antwoordt zit net vaak genoeg fout om ertoe te doen, en fout op een bepaalde manier: het antwoord heeft de juiste vorm. De reeks heeft de juiste eerste termen; de integraal is een beroemde waarde met de verkeerde grenzen eraan; de factorisatie stopt op het punt waar het kijken ophoudt. Elke rij hieronder toont het antwoord van het patroon, de term waar het faalt, en wat de engine teruggeeft wanneer hij in plaats daarvan rekent.
Op deze pagina wordt geen model genoemd. De linkerkolom is wat patroonherkenning in het algemeen op deze problemen oplevert, en ze veroudert op het moment dat om het even welk model beter wordt; de rechterkolom wordt bij elke build opnieuw geverifieerd tegen de engine, en deze pagina kan niet worden uitgebracht als ze afdrijft.
De foute term: 31x^9/2835
bij de build geverifieerd tegen de engine
The first four coefficients are common enough to be recalled correctly; the fifth is not. The true coefficient is 62/2835. A series that is right to four terms and wrong at the fifth looks like knowledge and is the shape of a guess.
De foute term: -1
bij de build geverifieerd tegen de engine
A 4x4 characteristic polynomial has enough terms for one sign to go wrong on the way to the answer, and a wrong sign produces a wrong eigenvalue that still looks like one. Here the matrix decouples into two 2x2 blocks; the engine finds all four exactly rather than approximating the quartic.
De foute term: Pi
bij de build geverifieerd tegen de engine
The Dirichlet integral is famous enough to be recalled, and famous enough to be recalled with the wrong limits: the value over (-inf, inf) is Pi, over (0, inf) it is Pi/2. Both facts are true; attaching the right one to the limits written down is the computation.
De foute term: 329218123329 declared prime
bij de build geverifieerd tegen de engine
Dividing out the 3 is easy; deciding whether the twelve-digit cofactor is prime is not something inspection can do, so a plausible answer stops there and calls it prime. The engine factors it, and it is not.
De foute term: 1
bij de build geverifieerd tegen de engine
The theorem is real and the shape of the problem invites it, but 10^6 is not 10^9+6. The correct residue is reached only by actually reducing, which is a few hundred squarings - trivial for an engine and impossible by inspection.
De foute term: Pi^4/96
bij de build geverifieerd tegen de engine
zeta(2) = Pi^2/6 is remembered by everyone; zeta(4) is remembered as 'Pi^4 over something', and the something is where a recalled answer diverges from a computed one. 90 is right; 96 and 45 both appear in nearby identities and are both wrong here.
Qurak is een MCP-server. Eenmaal verbonden rekent Claude, Cursor, VS Code of elke andere MCP-client in plaats van te gokken - en dat staat open op het gratis abonnement. Of probeer hier meteen één uitdrukking, zonder account.