Can a model quote the law from memory?

A legal AI product has to quote the law, so we wanted to know how far a model gets on its own. We drew articles at random from the legislation of the EU and seven European countries, asked three Claude models for the current wording of each, in its own language, and compared every answer with the official text. Then we asked again with the Pandex MCP server connected.

79 articles of the most cited laws

Ten articles from the most cited laws of each country. Asked plainly, the models mostly decline to quote, which is the right answer when you do not know the text. Opus tried 29 times: 16 quotes were word for word, 6 were close, and 7 were another text. With Pandex, the models looked the article up and quoted 76 to 78 of the 79; Haiku declined twice where the official text has gaps (…) or a table.

Opus 5.5, from memory20% word for word
Opus 5.5, with Pandex99% word for word
Sonnet 5.5, from memory5% word for word
Sonnet 5.5, with Pandex97% word for word
Haiku 5.5, from memory1% word for word
Haiku 5.5, with Pandex96% word for word
  • word for word
  • close
  • the old wording
  • wrong
  • declined to quote
ModelExactCloseWrongDeclined
Opus 5.5, from memory166750
Opus 5.5, from memory, may decline133360
Opus 5.5, with Pandex78100
Sonnet 5.5, from memory42568
Sonnet 5.5, from memory, may decline51073
Sonnet 5.5, with Pandex77200
Haiku 5.5, from memory11077
Haiku 5.5, from memory, may decline00079
Haiku 5.5, with Pandex76102

40 articles that changed in 2026

Five articles from each country whose wording changed between January and November 2026. From memory, no model gave the current wording of any of them. Where Opus quoted, it gave the text before the change or another text.

Opus 5.5, from memory0% word for word
Opus 5.5, with Pandex100% word for word
Sonnet 5.5, from memory0% word for word
Sonnet 5.5, with Pandex100% word for word
Haiku 5.5, from memory0% word for word
Haiku 5.5, with Pandex98% word for word
  • word for word
  • close
  • the old wording
  • wrong
  • declined to quote
ModelExactCloseOldWrongDeclined
Opus 5.5, from memory002335
Opus 5.5, from memory, may decline000040
Opus 5.5, with Pandex400000
Sonnet 5.5, from memory000040
Sonnet 5.5, from memory, may decline000040
Sonnet 5.5, with Pandex400000
Haiku 5.5, from memory000040
Haiku 5.5, from memory, may decline000040
Haiku 5.5, with Pandex390001

What the answers look like

§ 502 BGB (Vorfälligkeitsentschädigung), changed on 20 November 2026

Opus 5.5, from memory

(1) Der Darlehensgeber kann im Fall der vorzeitigen Rückzahlung eine angemessene Vorfälligkeitsentschädigung für den unmittelbar mit der vorzeitigen Rückzahlung zusammenhängenden Schaden verlangen, wenn der Darlehensnehmer zum Zeitpunkt der Rückzahlung Zinsen zu einem gebundenen Sollzinssatz schuldet. Bei Allgemein-Verbraucherdarlehensverträgen gilt Satz 1 nur, wenn der gebundene Sollzins bei Vertragsabschluss vereinbart wurde. (2) Der Anspruch auf Vorfälligkeitsentschädigung ist ausgeschlossen, wenn 1. die Rückzahlung aus den Mitteln einer Versicherung bewirkt wird, die auf Grund einer entsprechenden Verpflichtung im Darlehensvertrag abgeschlossen wurde, um die Rückzahlung zu sichern, oder 2. im Vertrag die Angaben über die Laufzeit des Vertrags, …

The official wording · source

(1) Der Darlehensgeber kann im Fall der vorzeitigen Rückzahlung eine angemessene Vorfälligkeitsentschädigung für den unmittelbar mit der vorzeitigen Rückzahlung zusammenhängenden Schaden verlangen, wenn der Darlehensnehmer zum Zeitpunkt der Rückzahlung Zinsen zu einem gebundenen Sollzinssatz schuldet. Bei Allgemein-Verbraucherdarlehensverträgen gilt Satz 1 nur, wenn der gebundene Sollzinssatz bei Vertragsabschluss vereinbart wurde. (2) Der Anspruch auf Vorfälligkeitsentschädigung ist ausgeschlossen, wenn 1. die Rückzahlung aus den Mitteln einer Versicherung bewirkt wird, die vereinbarungsgemäß abgeschlossen wurde, um die Rückzahlung zu sichern, oder 2. im Vertrag die Angaben über die Laufzeit des Vertrags, das Kündigungsrecht des Darlehensnehmers …

Word for word, the wording before 20 November 2026. Paragraph 2, number 1 now reads "die vereinbarungsgemäß abgeschlossen wurde".

Art. 8 of the Swiss Raumplanungsgesetz (Mindestinhalt der Richtpläne)

Opus 5.5, from memory

¹ Jeder Kanton erstellt einen Richtplan, worin er mindestens festlegt: a. wie der Kanton sich räumlich entwickeln soll; b. wie die raumwirksamen Tätigkeiten im Hinblick auf die anzustrebende Entwicklung aufeinander abgestimmt werden; c. in welcher zeitlichen Folge und mit welchen Mitteln vorgesehen ist, die Aufgaben zu erfüllen. ² Vorhaben mit gewichtigen Auswirkungen auf Raum und Umwelt bedürfen einer Grundlage im Richtplan.

The official wording · source

1 Jeder Kanton erstellt einen Richtplan, worin er mindestens festlegt: a. wie der Kanton sich räumlich entwickeln soll; b. wie die raumwirksamen Tätigkeiten im Hinblick auf die anzustrebende Entwicklung aufeinander abgestimmt werden; c. in welcher zeitlichen Folge und mit welchen Mitteln vorgesehen ist, die Aufgaben zu erfüllen. 2 Vorhaben mit gewichtigen Auswirkungen auf Raum und Umwelt bedürfen einer Grundlage im Richtplan. Keiner Grundlage im Richtplan bedürfen insbesondere Vorhaben für die Nutzung erneuerbarer Energien ohne gewichtige Auswirkungen auf Raum und Umwelt, auch wenn es sich dabei um Anlagen von nationalem Interesse nach den Artikeln 12 Absatz 2 und 13 Absatz 1 des Energiegesetzes vom 30. September 2016 (EnG) handelt. 3 Vorhaben für die Nutzung erneuerbarer Energien können unabhängig von der Festlegung eines Gebiets oder einer Gewässerstrecke nach Artikel 8b des …

Paragraph 1 is right. Paragraph 2 stops where the sentences on renewable energy, added since, begin, and paragraph 3 is missing.

Article 249 of the Union Customs Code (Customs status)

Opus 5.5, from memory

Where goods are moved out of a free zone into another part of the customs territory of the Union or are placed under a customs procedure, they shall be regarded as non-Union goods unless their customs status as Union goods has been proven.

The official wording · source

Where goods are taken out of a free zone into another part of the customs territory of the Union or placed under a customs procedure, they shall be regarded as non-Union goods unless their customs status as Union goods has been proven. However, for the purposes of applying export duty and export licences or export control measures laid down under the common agricultural or commercial policies, such goods shall be regarded as Union goods, unless it is established that they do not have the customs status of Union goods.

The first paragraph reworded ("moved out" for "taken out"), the second left out.

How it was done

The questions, the answers, the scoring and the script are in the public repository; run it on another model and send us the numbers.

Compare