Die Studie richtet sich an Inhouse-Juristinnen und -Juristen, aber auch an Kanzleien sowie Dienstleister, die KI strategisch einsetzen möchten. Future-Law unter der Leitung von Sophie Martinetz und die WU planen, das Benchmarking regelmäßig zu aktualisieren und um weitere Kategorien wie Compliance-Prüfung, Due Diligence und regulatorische Textanalyse zu erweitern.
Sieben KI-Modelle wurden über mehrere Wochen hinweg systematisch geprüft: ChatGPT, Mistral, Gemini, Grok, DeepSeek, Copilot und Claude. Die Tests von Future-Law und der WU fanden im Dezember 2025 statt. Insgesamt zwölf praxisnahe Prüfungsaufgaben sollten zeigen, welches Modell juristische Texte nicht nur versteht, sondern auch präzise analysiert und einen echten Mehrwert liefert.
Wie wurde getestet?
Dafür haben die Studieninitiatoren ein streng standardisiertes Prüfungsverfahren entwickelt. Jedes Modell erhielt identische Aufgabenstellungen mit denselben Prompts. Die Bewertung erfolgte anhand eines klar definierten Kriterienkatalogs mit messbaren Parametern. Zum Einsatz kamen ausschließlich neu erstellte Benutzerkonten und die kostenlosen Versionen der KI-Modelle. Diese Entscheidung spiegelt laut Future-Law und WU die Realität wider: Die meisten Rechtsabteilungen starten ihre KI-Reise mit frei zugänglichen Angeboten. Zusätzlich liefen alle Tests im Inkognito-Modus, um externe Einflüsse weitgehend auszuschließen.
Die zwölf Prüfungsaufgaben im Überblick
Die Aufgaben deckten typische Anforderungen aus dem juristischen Alltag ab. Vier Aufgaben prüften die Analyse von OGH-Entscheidungen in unterschiedlichen Formaten: per Geschäftszahl, per Weblink aus dem Rechtsinformationssystem, als PDF-Datei und als reiner Entscheidungstext. Zwei Aufgaben befassten sich mit der Erstellung juristischer Inhalte in Form von Newslettern und E-Mails. Vier Aufgaben analysierten denselben juristischen Sachverhalt aus verschiedenen Perspektiven: aus Sicht eines Rechtsanwalts, einer OGH-Richterin, eines Jus-Studierenden und einer Universitätsprofessorin. Zudem widmete sich eine Aufgabe der Erstellung eines KG-Vertragsmusters nach WKO-Checkliste. Die letzte Aufgabe prüfte die Beantwortung von Fragen zu AGB-Klauseln einer Großbank.
Ergebnisse bei OGH-Entscheidungen
Bei der Analyse einer OGH-Entscheidung anhand der Geschäftszahl erzielte Claude der Studie zufolge mit Abstand das beste Ergebnis. Copilot folgte auf dem zweiten Platz. Die übrigen Modelle blieben deutlich zurück. DeepSeek verfehlte die Aufgabe in wesentlichen Teilen. Bei Gemini traten erhebliche Halluzinationen auf, die die Qualität der Antworten stark beeinträchtigten.
Beim Test mit dem RIS-Weblink drehte sich das Bild: DeepSeek erzielte das beste Ergebnis, dicht gefolgt von Claude. Beide Modelle waren die einzigen, die die relevante Entscheidung tatsächlich öffnen und deren Inhalt direkt in die Analyse einbeziehen konnten. ChatGPT und Mistral halluzinierten zwar nicht, lösten die Aufgabe aber nicht in der geforderten Weise, so die Studienergebnisse.
Bei der Analyse einer PDF-Datei sowie eines direkt bereitgestellten Entscheidungstexts zeigten alle Modelle ein ähnlich hohes Leistungsniveau. Dies belegt laut Future-Law und WU eine wichtige Erkenntnis: Die größte Hürde liegt nicht in der Analyse juristischer Texte selbst, sondern im vorgelagerten Auffinden der korrekten Information.
Erstellung von Newslettern und E-Mails
Bei der Erstellung eines Newsletters zu einer OGH-Entscheidung schnitten Claude und DeepSeek am besten ab. Mistral und Copilot folgten mit geringem Abstand. ChatGPT blieb hinter den Erwartungen zurück, während Gemini aufgrund von Halluzinationen erneut schlecht abschnitt.
Bei der E-Mail-Aufgabe lagen Claude und Mistral vorn. ChatGPT und Gemini folgten auf den nächsten Plätzen. Grok, DeepSeek und Copilot schnitten am schwächsten ab, wobei alle Modelle insgesamt auf einem vergleichbaren Niveau lagen.
Sachverhaltsanalyse aus vier Perspektiven
Derselbe juristische Sachverhalt wurde in der Studie aus vier Perspektiven geprüft. Aus Sicht eines Rechtsanwalts erreichten Claude und Copilot ein hohes Leistungsniveau. ChatGPT und Gemini folgten knapp dahinter. Mistral, Grok und DeepSeek fielen deutlich zurück.
Aus der Perspektive einer OGH-Richterin überzeugte Claude am stärksten, gefolgt von Gemini. Copilot und ChatGPT lagen im Mittelfeld, Mistral, Grok und DeepSeek zeigten die geringste Leistungsfähigkeit.
Aus Sicht eines Jus-Studierenden hoben sich der Studie zufolge Claude und DeepSeek leicht ab. Aus der Perspektive einer Universitätsprofessorin erwiesen sich erneut Claude und DeepSeek als leistungsstärkste Modelle. Beide überzeugten durch hohe Genauigkeit und konsistente Ergebnisse.
Der KG-Vertragstest
Bei der Erstellung eines KG-Vertragsmusters nach der 17-Punkte-WKO-Checkliste war Claude das einzige Modell, das alle 17 Kriterien erfüllte. Grok und Gemini erreichten jeweils 16 Punkte, DeepSeek 15 Punkte. ChatGPT und Copilot kamen auf 13 Punkte, Mistral bildete mit 11 Punkten das Schlusslicht.
Wichtig: Beim letzten Punkt der Checkliste, den Schlussbestimmungen, reichte bereits eine teilweise Erfüllung für die Punktevergabe. Kein Modell erfüllte diesen Punkt vollständig. Dies unterstreicht die Notwendigkeit einer menschlichen Endkontrolle, so die Studieninitiatoren.
Bemerkenswert sind die proaktiven Ergänzungen einzelner Modelle. Claude integrierte Kontrollrechte der Kommanditisten und Regelungen zur Übertragung von Geschäftsanteilen. Gemini ergänzte ebenfalls die Übertragung von Gesellschaftsanteilen. DeepSeek fügte eine salvatorische Klausel hinzu. Copilot präzisierte die Anwendbarkeit österreichischen Rechts und den Gerichtsstand. Mistral ergänzte Regelungen zum Jahresabschluss und Informationsrechte der Kommanditisten.
Die AGB-Analyse als Stresstest
Bei der Analyse von Bank-AGB schnitten Mistral und Copilot am besten ab. ChatGPT, Claude und DeepSeek folgten dicht dahinter. Gemini und Grok bildeten das Schlusslicht.
Mistral strukturierte die Antworten nach dem Prinzip „Hauptregel plus Ausnahmen“ und spiegelte damit das Denkmuster von Juristinnen und Juristen wider. Copilot setzte einen besonderen Standard: Jede zentrale Aussage wurde direkt mit einem Zitat aus dem AGB-Dokument belegt. Dies ist für die juristische Praxis ein enormer Vorteil, da die Nachprüfbarkeit unmittelbar gegeben ist.
Bei Gemini und Grok traten den Studienergebnissen zufolge erneut Halluzinationen auf. Gemini behauptete fälschlich, im Dokument fehlten Regelungen zum Pfandrecht, obwohl ein eigener Abschnitt zu Sicherheiten vorhanden war. Grok lieferte zur Rückzahlungswährung von Fremdwährungskrediten eine sachlich falsche Aussage.
Ein weiterer wichtiger Befund: Die korrekte Unterscheidung zwischen Verbrauchern und Unternehmern entschied über die Brauchbarkeit der Ergebnisse. Claude, Copilot, Mistral, Gemini und DeepSeek differenzierten sauber. Grok und ChatGPT versäumten diese Differenzierung und lieferten dadurch potenziell irreführende Antworten.
Gesamtergebnis und Fazit
Über alle Prüfungsaufgaben hinweg erreichte Claude mit Abstand die meisten Punkte. Dennoch lautet die zentrale Erkenntnis der Studie von Future-Law und WU: Das eine beste KI-Modell für alle juristischen Aufgaben gibt es nicht. Die Leistungsfähigkeit hängt stark vom konkreten Anwendungsfall ab. Während Claude bei Vertragsentwürfen und juristischen Anfragen dominiert, zeigen Mistral und Copilot ihre Stärken bei der AGB-Analyse. DeepSeek glänzt bei der Verarbeitung von OGH-Links.
Empfehlungen für die Praxis
Rechtsabteilungen sollten sich strategisch mit ihren konkreten Anwendungsfällen auseinandersetzen. In vielen Unternehmen sind Ressourcen begrenzt. Deshalb gilt es, allgemeine KI-Tools für die persönliche Produktivität und spezialisierte Tools für konkrete Rechtsanwendungsfälle gezielt zu evaluieren und mit realistischen Erwartungen einzuführen.
Das Prinzip „Human in Command“ bleibt der Studie zufolge unverzichtbar. Im juristischen Kontext genügt das bloße Abhaken von KI-Ergebnissen nicht. Die KI liefert das Gerüst, die finale Verantwortung tragen Juristinnen und Juristen. Nur die Kombination aus technologischer Exzellenz und menschlichem Urteil gewährleistet Qualität und Rechtssicherheit.
Zu berücksichtigen sei außerdem: Die Ergebnisse spiegeln den technologischen Stand im Dezember 2025 wider. KI-Modelle entwickeln sich rasant weiter. Regelmäßige Updates und neue Trainingsmethoden adressieren bestehende Schwächen. Eine kontinuierliche Neubewertung ist deshalb sinnvoll.
Nicht getestet wurden Aspekte wie Datenschutz, Governance, Preisgestaltung, Support und Voreingenommenheit. Diese Bereiche sind für die langfristige Akzeptanz und Sicherheit im Unternehmen jedoch entscheidend und müssen bei jeder strategischen Entscheidung berücksichtigt werden.
Die Studie können Sie hier zum Download anfordern.
