Critical Online Reasoning im Rechtsreferendariat – Erfassung und digitale Trainings zur Förderung einer kompetenten Nutzung von digitalen Medien von angehenden Juristinnen und Juristen Online-Symposium »Rechtsdidaktik – Was wissen wir darüber; was wirkt?«

Die Didaktik der Rechtswissenschaft ist ein stetig wachsendes Forschungsgebiet im Spannungsfeld von allmählicher wissenschaftlicher Durchdringung und teils hitziger Reformdiskussion. Dafür sind belastbare empirische Erkenntnisse besonders wichtig, um beurteilen zu können, welche didaktischen Innovationen hilfreich sind, wo Verbesserungspotentiale bestehen und wie die juristische Ausbildung wirklich „funktioniert“. Ein R|E Online-Symposium widmet sich diesen Fragen und lässt im Verlauf mehrerer Monate Wissenschaftler:innen aller Karrierestufen zu Wort kommen. (Red.)

Die voranschreitende Digitalisierung prägt zunehmend die juristische Berufspraxis, in der digitale Medien unverzichtbar geworden sind. Mittlerweile werden die meisten etablierten juristischen Quellen auch online veröffentlicht. Die Nutzung des Internets und von Suchmaschinen hat sich in der juristischen Arbeit inzwischen fest etabliert, z.B. um aktuelle Gerichtsurteile heranzuziehen. Die zunehmende Nutzung von online Medien geht jedoch nicht automatisch mit höheren einschlägigen Kompetenzen einher, wie es aktuelle Studien offenlegen. So können Defizite in Internet-Recherchekompetenzen dazu führen, dass in der Vielfalt online verfügbarer Quellen weniger zuverlässige oder gar inkorrekte Informationen genutzt werden, was z.B. eine Anfechtbarkeit der darauf aufbauenden Argumentation nach sich ziehen kann.¹ Daher sind Kompetenzen im Umgang mit online Quellen für (angehende) Juristinnen und Juristen essentiell. Aktuelle Studien zeigen jedoch substantielle Defizite sowohl bezüglich der Auswahl und der Evaluation als auch der Nutzung digitaler Informationen.² Derartige Defizite scheinen dabei sowohl in juristischen Recherchefähigkeiten mit den etablierten Fachdatenbanken, wie juris oder Beck-online, zu liegen sowie auch speziell bei einer Internet-Recherche, in der z.B. wenig professionelle Quellen ausgewählt bzw. die Rechercheergebnisse nicht hinreichend geprüft werden. Diese Defizite könnten daran liegen, dass die Studierenden und Referendarinnen/Referendare in der juristischen Ausbildung i.d.R. nicht speziell darin geschult werden, nach hochqualitativen und zuverlässigen Online-Informationen zu suchen. Trotz ihrer hohen Relevanz werden Kompetenzen im kritischen Umgang mit Online-Quellen in der juristischen Ausbildung bislang selten gezielt vermittelt bzw. gefördert. Dies gilt auch für das Referendariat, in dem meist keine entsprechende Anleitung bzw. Kompetenzförderung erfolgt, was zu professionellen Fehlern führen kann. Oft wird angenommen, dass derartige Kompetenzen durch praktische Erfahrungen (autodidaktisch) erlernt werden, was jedoch oft nicht der Fall ist. So berichten Berufsanfängerinnen und Berufsanfänger nach dem Jura-Studium von Problemen im Umgang mit Online-Quellen.³ Insgesamt zeigen sowohl die Praxiserfahrungen als auch Studien, dass die Kompetenzen zum Umgang mit online Quellen einer expliziten Förderung in der berufspraktischen Ausbildung erfordern.⁴ Diesem Ziel widmet sich das Projekt BRIDGE⁵ (Berufspraktische Bildungsprozesse im Rechts- und Lehramtsreferendariat sowie der Medizin unter Nutzung digitaler Medien), in dem die Entwicklung und Förderung von Kompetenzen zum Umgang mit Online-Informationen u.a. bei Rechtsreferendarinnen und -referendaren adressiert wird.

In BRIDGE wird in einer Längsschnittstudie mit mehreren Messungen untersucht,

1) wie sich die Nutzung von Online-Informationen in berufspraktischen Bildungsprozessen im Rechtsreferendariat entwickelt und

2) wie die einschlägigen Kompetenzen in der juristischen Ausbildung mit einem neuen digitalen Training gefördert werden können.

Um die Kompetenzen zum Umgang mit digitalen Medien bei einer (realen) Online-Recherche valide erfassen und fördern zu können, basiert BRIDGE konzeptionell auf dem ganzheitlichen Kompetenzkonstrukt Critical Online Reasoning (COR), sowie methodisch auf einem korrespondierenden computerbasierten Messansatz (COR Assessment, CORA), welcher in Vorstudien entwickelt und validiert wurde.⁶ Das COR-Konstrukt beschreibt die interdependenten Fähigkeiten, Online-Informationen zu suchen, zu evaluieren, auszuwählen, zu verarbeiten und zur Lösung eines realen, praktischen Problems (z.B. Erstellung eines juristischen Gutachtens) zu nutzen. Dazu gehören z.B. die Unterscheidung von zuverlässigen vs. nicht zuverlässigen Quellen sowie das Ableiten argumentativ gestützter Urteile auf der Basis relevanter Online-Informationen. Insgesamt besteht das COR-Konstrukt aus drei zusammenhängenden Kompetenzfacetten, die unterschiedliche Teilfähigkeiten umfassen:

1) die Fähigkeit zur Online-Informationsbeschaffung (Online Information Acquisition, OIA), z.B. die Auswahl von professionellen Datenbanken (wie Beck-Online, Juris) und Spezifikation von geeigneten Suchanfragen (wie Passung und Modifikation der genutzten Suchbegriffe und deren Kombinationen),

2) die Fähigkeit zur kritischen Informationsbewertung (Critical Information Evaluation, CIE), z.B. die Bewertung der Zuverlässigkeit einer Online-Quelle auf der Grundlage geeigneter Qualitätsindikatoren wie deren Zuverlässigkeit, Relevanz, Aktualität etc.

3) die evidenz-basierte Argumentationsfähigkeit (Reasoning based on Argumentation, Evaluation and Synthesis, REAS), z.B. die Verwendung von Evidenzen im Sinne von Belegen, um auf Grundlage einer Synthese der recherchierten Online-Informationen schlüssige Argumente (z.B. für eine bestimmte Position im juristischen Gutachten) zu entwickeln; inklusive der Berücksichtigung möglicher (verdeckter) Bias sowie von (widersprüchlichen) Argumenten.

Des Weiteren unterscheiden wir je nach dem Anwendungsbereich zwischen den generellen COR-Kompetenzen (GEN-COR) zur Lösung von alltäglichen, nicht berufsspezifischen Aufgaben, und den domänenspezifischen COR-Kompetenzen (DOM-COR) zur Lösung von berufspraktischen Aufgaben. Zur Erfassung der GEN- und DOM-COR-Kompetenzen haben wir neue Aufgaben entwickelt und validiert. In Jura fokussieren die DOM-COR-Aufgaben auf die Erstellung eines Gutachtens zu einem juristischen Sachverhalt, wobei die Teilnehmerinnen und Teilnehmer fachbezogene Online-Informationen zur Lösung der Aufgaben nutzen sollen. In BRIDGE handelt es sich bei den DOM-COR-Aufgaben um die Bearbeitung von Probeklausuren im Zivilrecht, welche durch das Landesprüfungsamt zur Verfügung gestellt und online bearbeitet wurden.

Das digitale COR-Training orientiert sich strukturell an den zentralen Schritten zur Lösung eines Informationsproblems: die Definition des Informationsproblems, Informationssuche, Scannen der gefundenen Informationen, deren Verarbeitung, und Präsentation. Die Trainings-Aufgaben stellen damit eine ganzheitliche, prozessbezogene Förderung von COR-Kompetenzen sicher, um einen Transfer in den beruflichen Alltag zu erleichtern. Die Module bauen auf der Abfolge eines Rechercheprozesses auf (Abbildung 1). Sie adressieren die einzelnen Kompetenzfacetten von COR (OIA, CIE und REAS). In Zusammenarbeit mit den Praxispartnerinnen und Praxispartnern wurde ein domänenspezifisches Modul zu Jura entwickelt. Dieses Modul ist speziell ausgerichtet, die berufsspezifischen COR-Kompetenzen bei Berufsanfängerinnen und -anfängern in Jura zu fördern. Der Modulinhalt “Effektiv Recherchieren im Rechtsreferendariat” umfasst konkrete Anleitungen und Übungen zur Nutzung juristischer Datenbanken und zur Recherche von Online-Quellen. Viele der Referendarinnen und Referendare äußerten ihr Interesse an der Weiternutzung der Modulinhalte nach Beendigung der digitalen Trainings.

Alle COR-Erhebungen sowie das COR-Training finden über eine in BRIDGE entwickelte digitale Assessmentplattform statt. Dabei können die Teilnehmerinnen und Teilnehmer flexibel mit individuellen Zugangsdaten zu selbst gewählten Zeiten innerhalb vorgegebener Zeiträume an der Bearbeitung der COR-Aufgaben bzw. dem Training teilnehmen. Durch die Durchführung der Erhebungen und des Trainings über die digitale Plattform werden neben den Antworten der Teilnehmerinnen und Teilnehmer (wie erstellte juristische Gutachten) auch all ihre Aufgabenlösungsprozesse inkl. der recherchierten und verwendeten (Internet-)Quellen anhand der Aufzeichnung von Logfiles erfasst und ausgewertet. Die Logfiles umfassen neben aufgezeichneten Arbeitsschritten (z.B. „neue Webseite öffnen“) auch die Dauer von Teilschritten sowie Webseiten-URLs. Die Antworttexte (juristische Gutachten) werden unter Einbezug der erfassten Logdaten sowie der verwendeten Online-Quellen durch zwei geschulte Rater anhand eines entwickelten Ratingschemas bewertet. Um die Qualität der verwendeten Online-Quellen zu bewerten, erfolgte deren Kategorisierung bei der Auswertung der DOM-COR-Aufgaben ebenfalls in Abstimmung mit Praxispartnerinnen und -partnern vom Landesprüfungsamt.

Von den insgesamt 144 BRIDGE-Teilnehmerinnen und -Teilnehmern gehören 30 zu der Domäne Jura. Diese Teilnehmerinnen und Teilnehmer haben in den GEN-COR-Aufgaben mit 87 % richtiger Aufgabenlösungen im Vergleich zu den beiden anderen Domänen am besten abgeschnitten (Lehramt: 79 %; Medizin: 85 %). Die Unterschiede der Mittelwerte bei den GEN-COR-Kompetenzen zwischen Jura und Lehramt sind signifikant (auf einem 5 % Signifikanzniveau; p < 0,05) und scheinen demnach nicht zufällig zu sein.

An den DOM-COR-Assessments nahmen von den 30 angehenden Juristinnen und Juristen 22 teil. In den DOM-COR-Aufgaben lagen die Referendarinnen und Referendare in Jura mit 67 % richtiger Aufgabenlösungen (Tabelle 1) deutlich unter den Teilnehmerinnen und Teilnehmern der anderen Domänen (Lehramt: 72 %; Medizin: 79 %). Die Unterschiede der Mittelwerte bei den DOM-COR-Kompetenzen zwischen Jura und anderen Domänen sind signifikant (auf einem 5 % Signifikanzniveau; p < 0,05) und scheinen demnach nicht zufällig zu sein. Bei der Betrachtung der Teilfacetten zeigt sich, dass die Defizite in der DOM-COR-Aufgabenbearbeitung v.a. im versierten Umgang mit den digitalen Datenbanken und Suchmaschinen wie Nutzung von Suchbegriffen liegen (Tabelle 1). In Jura zeigten sich zudem die größten Unterschiede zwischen den stärksten und schwächsten Teilnehmerinnen und Teilnehmern in DOM-COR-Aufgaben: Während in DOM-COR-Medizin z.B. nur 8 % der Teilnehmerinnen und Teilnehmer unter der Schwelle von 50 % erfolgreicher Aufgabenlösung blieben, waren es in Jura über 18 %. Insgesamt legen die Ergebnisse zu den DOM-COR-Aufgaben einen fachspezifischen Förderbedarf von diesen Kompetenzen bei den Referendarinnen und Referendaren in Jura nahe.

Am Trainingsangebot für DOM-COR-Jura nahmen insgesamt 8 Referendarinnen und Referendare teil. Sie schnitten in der Post-Erhebung, die nach dem Training erfolgte, mit durchschnittlich 80% erfolgreicher Aufgabenbearbeitung ab. Dies ist eine deutliche Steigerung im Vergleich zur Erhebung vor dem Training, bei der das durchschnittliche Abschneiden der Teilnehmenden noch bei 67% lag (Tabelle 1).

Die signifikanten Unterschiede zwischen den GEN- und DOM-COR-Kompetenzen verweisen darauf, dass die spezifische Förderung von DOM-COR-Kompetenzen gezielt in die (reguläre) juristische Ausbildung integriert werden sollte. So gelingt es den Referendarinnen und Referendaren oft nicht, ihre hoch ausgeprägten generischen Kompetenzen bei der Lösung von domänenspezifischen Aufgaben in Jura erfolgreich einzusetzen. Grundlegend zeigt sich, dass Kernkompetenzen in COR bei den (angehenden) Juristinnen und Juristen vorliegen, diese jedoch nicht auf die fachspezifischen Besonderheiten der eigenen Domäne transferiert werden können. Das neue digitale COR-Training in der Kombination mit den DOM-COR-Assessments stellt einen Ansatz dar, um auf der Basis der ermittelten Stärken und Defizite eine gezielte Förderung anzubieten. Die ersten Ergebnisse des Trainings weisen auf das Potential solcher gezielter digitalen Lehr-Interventionen hin. Zugleich sollte die Förderung der COR-Kompetenzen in der curricularen Ausbildung stärker adressiert werden, um angehenden Juristinnen und Juristen diese grundlegenden Kompetenzen im Umgang mit einer sich stetig verändernden digitalen Medienlandschaft – wie es die aktuellen Entwicklungen zu ChatGPT eindrucksvoll zeigen – systematisch zu vermitteln.