Can a model quote the law from memory?
A legal AI product has to quote the law, so we wanted to know how far a model gets on its own. We drew articles at random from the legislation of the EU and seven European countries, asked three Claude models for the current wording of each, in its own language, and compared every answer with the official text. Then we asked again with the Pandex MCP server connected.
79 articles of the most cited laws
Ten articles from the most cited laws of each country. Asked plainly, the models mostly decline to quote, which is the right answer when you do not know the text. Opus tried 29 times: 16 quotes were word for word, 6 were close, and 7 were another text. With Pandex, the models looked the article up and quoted 76 to 78 of the 79; Haiku declined twice where the official text has gaps (…) or a table.
- word for word
- close
- the old wording
- wrong
- declined to quote
| Model | Exact | Close | Wrong | Declined |
|---|---|---|---|---|
| Opus 5.5, from memory | 16 | 6 | 7 | 50 |
| Opus 5.5, from memory, may decline | 13 | 3 | 3 | 60 |
| Opus 5.5, with Pandex | 78 | 1 | 0 | 0 |
| Sonnet 5.5, from memory | 4 | 2 | 5 | 68 |
| Sonnet 5.5, from memory, may decline | 5 | 1 | 0 | 73 |
| Sonnet 5.5, with Pandex | 77 | 2 | 0 | 0 |
| Haiku 5.5, from memory | 1 | 1 | 0 | 77 |
| Haiku 5.5, from memory, may decline | 0 | 0 | 0 | 79 |
| Haiku 5.5, with Pandex | 76 | 1 | 0 | 2 |
40 articles that changed in 2026
Five articles from each country whose wording changed between January and November 2026. From memory, no model gave the current wording of any of them. Where Opus quoted, it gave the text before the change or another text.
- word for word
- close
- the old wording
- wrong
- declined to quote
| Model | Exact | Close | Old | Wrong | Declined |
|---|---|---|---|---|---|
| Opus 5.5, from memory | 0 | 0 | 2 | 3 | 35 |
| Opus 5.5, from memory, may decline | 0 | 0 | 0 | 0 | 40 |
| Opus 5.5, with Pandex | 40 | 0 | 0 | 0 | 0 |
| Sonnet 5.5, from memory | 0 | 0 | 0 | 0 | 40 |
| Sonnet 5.5, from memory, may decline | 0 | 0 | 0 | 0 | 40 |
| Sonnet 5.5, with Pandex | 40 | 0 | 0 | 0 | 0 |
| Haiku 5.5, from memory | 0 | 0 | 0 | 0 | 40 |
| Haiku 5.5, from memory, may decline | 0 | 0 | 0 | 0 | 40 |
| Haiku 5.5, with Pandex | 39 | 0 | 0 | 0 | 1 |
What the answers look like
Opus 5.5, from memory
(1) Der Darlehensgeber kann im Fall der vorzeitigen Rückzahlung eine angemessene Vorfälligkeitsentschädigung für den unmittelbar mit der vorzeitigen Rückzahlung zusammenhängenden Schaden verlangen, wenn der Darlehensnehmer zum Zeitpunkt der Rückzahlung Zinsen zu einem gebundenen Sollzinssatz schuldet. Bei Allgemein-Verbraucherdarlehensverträgen gilt Satz 1 nur, wenn der gebundene Sollzins bei Vertragsabschluss vereinbart wurde. (2) Der Anspruch auf Vorfälligkeitsentschädigung ist ausgeschlossen, wenn 1. die Rückzahlung aus den Mitteln einer Versicherung bewirkt wird, die auf Grund einer entsprechenden Verpflichtung im Darlehensvertrag abgeschlossen wurde, um die Rückzahlung zu sichern, oder 2. im Vertrag die Angaben über die Laufzeit des Vertrags, …
The official wording · source
(1) Der Darlehensgeber kann im Fall der vorzeitigen Rückzahlung eine angemessene Vorfälligkeitsentschädigung für den unmittelbar mit der vorzeitigen Rückzahlung zusammenhängenden Schaden verlangen, wenn der Darlehensnehmer zum Zeitpunkt der Rückzahlung Zinsen zu einem gebundenen Sollzinssatz schuldet. Bei Allgemein-Verbraucherdarlehensverträgen gilt Satz 1 nur, wenn der gebundene Sollzinssatz bei Vertragsabschluss vereinbart wurde. (2) Der Anspruch auf Vorfälligkeitsentschädigung ist ausgeschlossen, wenn 1. die Rückzahlung aus den Mitteln einer Versicherung bewirkt wird, die vereinbarungsgemäß abgeschlossen wurde, um die Rückzahlung zu sichern, oder 2. im Vertrag die Angaben über die Laufzeit des Vertrags, das Kündigungsrecht des Darlehensnehmers …
Word for word, the wording before 20 November 2026. Paragraph 2, number 1 now reads "die vereinbarungsgemäß abgeschlossen wurde".
Opus 5.5, from memory
¹ Jeder Kanton erstellt einen Richtplan, worin er mindestens festlegt: a. wie der Kanton sich räumlich entwickeln soll; b. wie die raumwirksamen Tätigkeiten im Hinblick auf die anzustrebende Entwicklung aufeinander abgestimmt werden; c. in welcher zeitlichen Folge und mit welchen Mitteln vorgesehen ist, die Aufgaben zu erfüllen. ² Vorhaben mit gewichtigen Auswirkungen auf Raum und Umwelt bedürfen einer Grundlage im Richtplan.
The official wording · source
1 Jeder Kanton erstellt einen Richtplan, worin er mindestens festlegt: a. wie der Kanton sich räumlich entwickeln soll; b. wie die raumwirksamen Tätigkeiten im Hinblick auf die anzustrebende Entwicklung aufeinander abgestimmt werden; c. in welcher zeitlichen Folge und mit welchen Mitteln vorgesehen ist, die Aufgaben zu erfüllen. 2 Vorhaben mit gewichtigen Auswirkungen auf Raum und Umwelt bedürfen einer Grundlage im Richtplan. Keiner Grundlage im Richtplan bedürfen insbesondere Vorhaben für die Nutzung erneuerbarer Energien ohne gewichtige Auswirkungen auf Raum und Umwelt, auch wenn es sich dabei um Anlagen von nationalem Interesse nach den Artikeln 12 Absatz 2 und 13 Absatz 1 des Energiegesetzes vom 30. September 2016 (EnG) handelt. 3 Vorhaben für die Nutzung erneuerbarer Energien können unabhängig von der Festlegung eines Gebiets oder einer Gewässerstrecke nach Artikel 8b des …
Paragraph 1 is right. Paragraph 2 stops where the sentences on renewable energy, added since, begin, and paragraph 3 is missing.
Opus 5.5, from memory
Where goods are moved out of a free zone into another part of the customs territory of the Union or are placed under a customs procedure, they shall be regarded as non-Union goods unless their customs status as Union goods has been proven.
The official wording · source
Where goods are taken out of a free zone into another part of the customs territory of the Union or placed under a customs procedure, they shall be regarded as non-Union goods unless their customs status as Union goods has been proven. However, for the purposes of applying export duty and export licences or export control measures laid down under the common agricultural or commercial policies, such goods shall be regarded as Union goods, unless it is established that they do not have the customs status of Union goods.
The first paragraph reworded ("moved out" for "taken out"), the second left out.
How it was done
- 120 articles were drawn on 21 November 2026: ten from the most cited laws of each of the EU, France, Germany, the Netherlands, the United Kingdom, Austria, Switzerland and Luxembourg, and five per country that changed in 2026. One was left out of the score because its name was ambiguous; the reason is in the questions file.
- Each question names the provision as a lawyer of that country would and asks for its current wording, word for word, in its own language. The system prompt asks for the exact wording of the law and never to make it up.
- The models ran through the Claude Code CLI with no tools (from memory) or with the Pandex MCP server only. From memory was asked twice: once plainly, once allowing the answer UNKNOWN. Every question was asked once per run.
- An answer counts as word for word when it holds 95% or more of the official words, in order; close is 80 to 95%. Under 80%, Claude Sonnet judged whether the answer offered a text (counted as wrong, or as the old wording when it matched the text before a change) or declined.
- Word overlap is a blunt measure: a close answer can still miss a word that matters. Only Claude models were tested.
The questions, the answers, the scoring and the script are in the public repository; run it on another model and send us the numbers.