Learning Outcomes (LOs)
Die Erstellung von E-Assessment Aufgaben (Items) erfordert zunächst die Definition von Learning Outcomes (LOs), zu deutsch intendierte Lernergebnisse. LOs sind messbare Kompetenzen, welche sich auf einen konkreten Inhalt beziehen, thematisch kategorisiert werden und jeweils in eine Lernzieltaxonomie eingeordnet werden. Mehrere Items können einem LO zugeordnet werden und sie forcieren im weiterem Verlauf die exakte Formulierung von Items, werden bei der kriterienbasierten Prüfungsgenerierung genutzt und erweitern Prüfungsanalysen um den Bereich Kompetenzen.
Die Abbildung zeigt ein LO aus dem Bereich Medienkompetenz. Es hat einen aussagekräftigen Titel (“Mediennutzung Jugendlicher”), eine interpretierbare Beschreibung (“Die Lernenden können das Mediennutzungsverhalten von Jugendlichen beschreiben”), ist in die Lernzieltaxonomie nach Anderson & Krathwohl eingeordnet (Erinnern/Fakt) und einem Thema zugeordnet (“Mediennutzung”).
E-Assessment Aufgaben (Items)
Items sind Aufgaben, mit denen Studierende in Prüfungssitutationen und im Rahmen von Micro-Assessments konfrontiert werden und dienen der Kompetenzeinschätzung derer. EAs.LiT unterstützt mehrere Item-Typen (aktuell Single Choice, Multiple Choice, Freitext, Zuordnung, Anordnung und Extern) und forciert die Zuordnung eines Items zu je einem LO. Die Abbildung zeigt ein Multiple-Choice Item, welches aktuell keinem LO zugeordnet ist (optional möglich).
Ein Item wird durch einen Titel, eine Fall-/Problemvignette, sowie eine Aufgabenstellung charakterisiert, wobei die Trennung des Fragebereichs in Vignette und Aufgabe die Wiederverwendbarkeit in großen Item-Pools erleichtert. Bereits verwendete Items zeigen eine empirische Schwierigkeit, die aus realen Prüfungen rückberechnet wird und mit der erwarteten Lösungswahrscheinlichkeit verglichen werden kann (Reflektionskriterium). Je nach Item-Typ gibt es mehrere Antwortoptionen mit zugehörigen Punktzahlen. Zusätzlich wird jedes Item in eine Matrix aus Anforderungsstufen (Erinnern, Verstehen, Anwenden, Analysieren, Evaluieren oder Erschaffen) und Wissensdimensionen (Fakten-, Konzept-, Prozess- und Metkognitives Wissen) eingeordnet. Abschließend wird jedes Item thematisch klassifiziert. Als Standardwert werden beim Erstellen eines Items die Zuordnungen des zugehörigen LO verwendet, die im Rahmen der Item-Erstellung aber verändert werden können.
Review-System (Begutachtung)
Der Item-Erstellprozess wird durch ein zweistufiges Peer-Review-Verfahren begleitet, um die Qualität der Items und damit des gesamten E-Assessments zu gewährleisten. Ähnlich dem Peer-Review-Verfahren bei wissenschaftlichen Zeitschriften geben die Lehrenden die von ihnen erstellten Items in einen Begutachtungsprozess. Andere Nutzende (Peers) erstellen daraufhin ein Gutachten und ordnen dem Item als Editor einen von drei Status (zu überarbeiten, zurückgestellt, veröffentlicht) zu. Der/die Autor:in kann daraufhin das Item überarbeiten und erneut einreichen, wobei zwischen erstmalig erstellten und überarbeiteten Items unterschieden wird. In Rahmen von Assessments können nur veröffentlichte Items genutzt werden.
Die Abbildung zeigt die verschiedenen Kategorien des Review-Systems, deren Farbkodierung überall in EAs.LiT für den Item-Status wiederverwendet wird. Jede Karte öffnet eine Liste von Items der jeweiligen Kategorie. Diese können wiederum zur Begutachtung geöffnet werden, wobei entsprechend des Status adaptiv verschiedene Optionen angeboten werden. Wesentlicher Review-Bestandteil ist die Einschätzung der Vignette, Aufgabe und Antwortoptionen bzgl. fachlicher Richtigkeit, Relevanz für das LO, sowie Formulierung, wobei auch Annotationen, wie Taxonomiezuordnung, sichtbar sind. Die Bewertung erfolgt im Rahmen einer Freitext-Eingabe und erlaubt so ausführliches Feedback.
Verknüpfung zu Fachlandkarten
Neben der Annotation von Items mit Taxonomiestufen und LOs wird auch die Verknüpfung von Items/LOs zu Fachlandkarten unterstützt. Letztere sind spezielle Ausprägungen von Domänenmodellen (wiss. Artikel) und können über das Fachlandkarte-Tool erzeugt und bearbeitet werden. Im Rahmen einer interaktiven Graphen-Darstellung ist es möglich Items/LOs mit Termen der Karte zu verbinden, was eine neue Kante der Relation “linked Term” erzeugt. Fachlandkarten und deren Terme können vielfältig genutzt werden, wie im Rahmen der Prüfungsgenerierung von EAs.LiT, die Karten und deren Terme als Themen und Unterthemen auffasst. Auch eine Nutzung außerhalb von EAs.LiT ist möglich, bspw. indem Chatbots anhand von Micro-Assessment-Ergebnissen interaktiv in der Karte hinterlegtes Material empfehlen können.
Im Bild ist eine Fachlandkarte zum Thema “Seminar 4” geladen und als Graph dargestellt (2. Quadrant). Zusätzlich werden alle Items im Graphen (1. und 3. Quadrant), eine Übersicht über den Gesamtgraphen (4. Quadrant) und eine Liste mit Kategorien der Knoten (links) angezeigt. Bei Auswahl eines Items/LOs öffnet sich ein interaktiver Dialog, der es erlaubt dieses mit Termen der Karte zu verknüpfen.
Prüfungsgenerierung
Wurde ein entsprechend großer Item-Pool aufgebaut und das Review-System durchlaufen können veröffentlichte Items im Rahmen der kriterienbasierten und äquivalenzorientierten Prüfungsgenerierung genutzt werden - dem Herzstück von EAs.LiT. Diese erlaubt es eine Anzahl Prüfungen (engl. Assessments) aus dem Item-Pool automatisiert zu erzeugen, die einander auf Basis einer variablen Anzahl von Kriterien (Einschränkungen) äquivalent sind. Die möglichen Kriterien umfassen:
- Item-Typen
- Wissensdimensionen (Taxonomie-Matrix)
- Anforderungsstufen (Taxonomie-Matrix)
- Learning Outcomes
- Themen
Eine vollständige Annotation von Items erlaubt es Prüfungen so valide, verlässlich und ausgewogen wie möglich zu erzeugen, wobei deren jeweilige Ausprägung detailliert gesteuert werden kann. So ist bspw. im Bild ersichtlich das Prüfungen mit je 5 Items erzeugt werden sollen, die mindestens 1 Single-Choice und 1 Freitext-Item, aber maximal 4 Multiple Chice Items enthalten (oberes Drittel der Abbildung). Daneben muss mindestens 1 Item der Wissensdimension Fakt und Prozess, sowie 1 Item des Themas pädagogische Grundbegriffe enthalten sein. Anforderungsstufen und Learning Outcomes wurden nicht eingeschränkt (mittleres Drittel). Im unteren Drittel der Abbildung kann die Prüfungsgenerierung gesteuert werden, wobei in diesem Fall 8 äquivalente Prüfungen erzeugt werden sollen, die sich maximal überschneiden dürfen. Wird der Prozess gestartet sucht ein intelligenter Algorithmus den Möglichkeitsraum nach kriterienerfüllenden Prüfungen ab, wobei in diesem Fall nicht länger als 3 Minuten gesucht werden soll. Wurden genug Prüfungen gefunden werden diese zum Herunterladen angeboten.
Interoperabilität
EAs.Lit erlaubt den Import von Items aus, sowie den Export von Items und Prüfungen in über 15 verschiedene(n) Formate(n). Dies ermöglicht die einfache Anbindung verschiedenster Drittsystem, wie die im deutschen Hochschulraum verbreiteten System Moodle, Ilias und Opal/Onyx. Dabei ist es egal ob ein vorhandener Item-Bestand vollständig zu EAs.Lit migriert wird oder ob nur die jeweiligen Stärken von EAs.LiT genutzt werden, der Item-Bestand aber weiterhin im Drittsystem verbleibt.
Neben dem Import bekannter Item-Typen bietet EAs.LiT die Option Items im Drittsystem zu belassen (in EAs.LiT als Remote Items bezeichnet), aber trotzdem deren Metadaten und Annotationen zu verwalten. Dies erlaubt es die Stärken beider Systeme (Drittsystem und EAs.LiT) zu vereinen, indem bspw. das Drittsystem komplexe und variable Items unterstützt, EAs.LiT hingegen deren Annotation verwaltet und zur Prüfungsgenerierung ausnutzt.
Projekte und Nutzerführung
Items, LOs und alle restlichen Daten werden innerhalb von Projekten organisiert, die einen Namen und ein Beschreibung erhalten. So können bspw. Projekt für Kurse, Dozenten:innen oder Lehrstühle angelegt und so die Ressourcen nach individueller Situation kategorisiert werden.
Die Projektübersicht (siehe Bild) teilt die Oberfläche in drei Bereiche auf: Ressourcen (oben), Aktionen (Mitte) und Analysen (unten). Ressourcen umfassen alle Daten, die EAs.LiT verwaltet, also LOs und Items, bietet aber auch die Weiterleitung zum angeschlossenem System für Fachlandkarten an. Im Rahmen der Aktionen können Items im- und exportiert, begutachtet (Review-System) und verlinkt (Verknüpfung zu Fachlandkarten) werden. Weiterhin kann aus Items ein Item-Korb (ähnlich Warenkorb) zusammengestellt werden, der zur Prüfungsgenerierung genutzt wird. Im Rahmen der Analyse können Prüfungsergebnisse aus Drittsystemen importiert und analysiert werden, wobei es optional möglich ist Items mit den importierten Ergebnissen zu aktualisieren, bspw. indem deren empirische Schwierigkeit neu berechnet wird.
Im Rahmen der Nutzerführung wird ein Tutorial eingeblendet, das hilft die verschiedenen Ansichten zu verstehen und das Arbeitsabläufe vorschlägt. Dieses Tutorial kann von erfahrenen Nutzenden ausgeblendet werden und ist jederzeit über das Hilfe-Symbol in der oberen Leiste wieder aufrufbar. Abhängig von vorhandenen Ressourcen sind verschiedene Optionen in der Projektübersicht (siehe Bild) deaktiviert, bis die nötigen Voraussetzungen zu deren Nutzung erfüllt sind. So ist bspw. in einem leerem Projekt das Review-System deaktiviert, da keine Items vorhanden sind, die begutachtet werden könnten.
Prüfungsanalyse
To be filled soon …
Konkurrenz versus Symbiose
EAs.LiT erweitert den Bereich E-Assessment um Merkmale, die in bisherigen Lösungen fehlen oder nicht betrachtet wurden, wie bspw. eines strukturierten Prozesses zur Prüfungsentwicklung. Es tritt dabei weniger in Konkurrenz zu Drittsystemen, als das es viel mehr eine Symbiose der jeweiligen Systemstärken ermöglicht. Dies wird nicht zuletzt durch EAs.LiTs anpassbare Architektur und interoperablen Technologien erreicht. Die Abbildung illustriert eine mögliche Verbindung EAs.LiTs mit Drittsystemen, welche in diesem Fall weiterhin die Nutzerverwaltung und Prüfung übernehmen. Genauso ist es aber möglich die Item-Verwaltung dem Drittsystem zu überlassen, EAs.LiT hingegen die Annotationen, das Review-System, die Prüfungserzeugung und -analyse.
