ELMO

„Open Book“ und „Online-Test“ Teil 2: Online-Prüfungen gestalten

Wie in Teil 1 beschrieben, stellen Online-Prüfungen die Prüfenden vor gewisse Herausforderungen: Überwachung mittels Video- und Audioübertragung ist nicht möglich, "Closed Book"- und "Vertrauensklausur"-Ansätze sind "schwierig", weil täuschungsanfällig.

Das "Open Book"-, eigentlich "Open Everything"-Konzept macht allerdings die Abfrage von (normalerweise auswendig gelernten) Grundwissen wie Definitionen, Formeln und Fachbegriffen ziemlich unsinnig, können diese doch recht einfach von Internetseiten, aus Skripten oder anderen Quellen kopiert oder abgeschrieben werden. Hier sollten andere Aufgabe- bzw. Fragearten zum Einsatz kommen.

Als Szenarien stehen an der THGA "Open Book"-Klausuren und "Online-Tests" zur Verfügung, die jeweils sowohl technische als auch didaktische Ausgestaltungmöglichkeiten bieten, um sie besser an das Distanz-Szenario anzupassen.

1. Allgemeines

Die THGA betreibt unter der URL https://proodle.thga.de ein Prüfungssystem. Das ist eine Moodle-Installation (ähnlich unserer Lernplattform), die ein paar Besonderheiten aufweist: Die Infrastruktur ist für viele gleichzeitige Zugriffe (bis zu 600 zeitgleiche Prüfungsereignisse) ausgelegt. Die Protokolldaten werden zeitlich länger gespeichert, da sie bei Widersprüchen und Täuschungsversuchen durchaus relevant werden. Die Prüfungen werden als Prüfungskurse und die angemeldeten Prüfungskandidat/-innen werden als Prüfungskursteilnehmende auf Basis der Daten im Campusmanagementsystem meine.thga importiert. Die Zugriffsberechtigungen für Kandidat/-innen und Bearbeitungsberechtigungen für Erst-, Zweit- und Dritt-Prüfende wird dabei ebenfalls direkt eingerichtet. Prüfende können mittels meine.thga oder z.B. über das Ankündigungsforum der Prüfungskurse mit den Kandidat/-innen kommunizieren.

Klausuren und Tests sollten daher zwingend über dieses Prüfungssystem und nicht mittels E-Mail oder sonstige Kommunikationswege abgewickelt werden. Nur damit können eine verlässliche Zeitsteuerung sichergestellt, verbindliche Erklärungen zu Eigenständigkeit und Prüfungsfähigkeit eingeholt und entsprechende Protokolldaten generiert werden.

Die Studierenden werden vor der jew. Prüfungsphase von der E-Learning Koordinationsstelle über das Prüfungssystem und die Login- und Zugriffs-Modalitäten informiert und in dem Zuge mittels Beispiel-Prüfungsszenarien für Dateiformate, Upload-Herausforderungen, Zeiteinstellungen, Scan- und weitere Digitalisierungmöglichkeiten sensibilisiert. Allerdings sind diese Informationen in allgemeiner Form gehalten, so dass sie nicht zwingend Ihre spezifischen Anforderungen widerspiegeln müssen.

2. Die "Open Book"-Klausur

Kurzbeschreibung: Bei einer Klausur werden Aufgabenstellungen, Klausurbögen und/oder Material zeitgesteuert über ein Prüfungssystem zugänglich gemacht. Diese können als Text, Dokument, Video oder als sonstige Medien vorliegen. Die Aufgaben und das Material werden von den Kandidat/-innen angesehen und/oder heruntergeladen und auf Papier, auf einem ebenfalls zur Verfügung gestellten Lösungsbogen, in einer Textverarbeitungssoftware oder mittels Texteingabe direkt auf der Webseite beantwortet. Handschriftlichen Lösungen werden gescannt oder abfotografiert und die Scans bzw. Fotos innerhalb einer Bearbeitungsfrist auf das Prüfungssystem wieder hochgeladen.

2.1 Technik

Als "Werkzeug" kommt die (Moodle-) Aktivität "Aufgabe" zur Anwendung. Neben dem Zeitpunkt, ab wann die Aufgaben, Materialien und/oder Klausurbögen für Kandidat/-innen sichtbar wird, können Abgabefristen und "Upload-Puffer" konfiguriert werden. Die eingeforderten Dateiformate sind einstellbar (z.B. Grafikformate, Textdateien, auch spezifischer, z.B. ausschließlich *.pdf- oder *.docx-Dateien) und sollten an die Aufgabe und geforderte Lösung angepasst werden: Eine Ausarbeitung kann z.B. als Textdokument eingefordert, Skizzen und handschriftliche Berechnungen als PDF (eingescannt) oder als Grafik (abfotografiert) hochgeladen werden.

Alle eingereichten Lösungen können als "Gesamtdownload" mit einem Klick in einem *.zip-Archiv heruntergeladen und Lösungsdateien als "Stapel-Upload" wieder hochgeladen werden. Die Ablage der Lösungen, die Dokumentation der Zugriffe, Bearbeitungs- und Uploadzeitpunkte und die optional hochgeladenen oder direkt online generierten Lösungsdateien können zur "Online-Klausureinsicht" genutzt werden. Weitere Informationen finden Sie hier.

2.2 Gestaltungshinweise

1. Orientieren Sie sich an den Lernzielen der Lehrveranstaltung:
Der inhärente Zweck von Prüfungen ist - entgegen landläufiger Meinung der Kandidat/-innen - nicht die Gängelung von Studierenden, sondern die Überprüfung, ob die Lernziele einer oder mehrerer Lehrveranstaltungen erreicht wurden. Diese sind im Vorfeld definiert, u.a. im Modulhandbuch des entspr. Studiengangs. Verlieren Sie dieses Hauptziel, welches Sie mit dem Aufgabendesign zu erreichen versuchen sollten, während der Prüfungsvorbereitung nicht aus den Augen 😉

2. Erläutern Sie die Prüfungsbedingungen:
Die Einreichung von Lösungen zu Open Book-Klausuren bieten die meisten Stolperfallen für Kandidat/-innen. Erläutern Sie detailliert, was genau von den Kandidat/-innen gefordert wird. Gehen Sie auf das geforderte Format ein, z.B. ob es eine Mindest- oder Höchstzahl von Seiten oder eine Dateigrößenbeschränkung gibt, ob Sie einen ausgefüllten Lösungsbogen oder handschriftliche Lösungen erwarten. Verweisen Sie evtl. auf die Anleitungen zu Scanner-Apps oder weisen Sie explizit darauf hin, dass Fotos in einem bestimmten Format gefordert sind. Schließen Sie Dateiformate aus (z.B. HEIF-komprimierte Fotos neuerer Smartphones), wenn Sie diese nicht öffnen können. Erläutern Sie die verpflichtenden Erklärungen zu Prüfungsfähigkeit und Eigenständigkeit, die Bearbeitungszeit, den Upload-Puffer und die Konfiguration Ihrer Aufgabe bzgl. des Entwurfstatus (Stichwort "Abgabetaste") und nachträgliche Bearbeitungsmöglichkeiten.

3. Lassen Sie Freitexte erstellen:
Bei "Open Book"-Szenarien sind alle Quellen erlaubt (bzw. unkontrolliert benutzbar). Daher sollten Sie Transferleistungen einfordern, bei denen die Inhalte der Lehrveranstaltung auf entsprechende Szenarien angewendet werden sollen. Denn indirekt kann auch darüber Fakten- (deklaratives) und Methoden- (prozedurales) Wissen überprüft werden, ohne direkt nach kopierbaren Definitionen oder Prozessbeschreibungen (Reproduktion, Reorganisation von Fakten) zu fragen. Weisen Sie darauf hin, dass wortgleiche Übernahmen aus Lehrveranstaltungsmaterial ("Copy-Paste-Definitionen" u.ä.) evtl. nicht bewertet oder mit Punktabzug belegt sind.

4. Arbeiten Sie mit Fallbeispielen:
Aufgabenstellungen sollten auffordern, Zusammenhänge zu erläutern, Lösungsstrategien zu entwickeln, Entscheidungen zu begründen oder Ansätze miteinander zu vergleichen. Berücksichtigen Sie einen fachtypischen Anwendungsbezug in der Aufgabenstellung.

5. Fordern Sie evtl. handschriftliche Lösungen:
Zur Vermeidung von aus Lehrmaterial und Internet zusammenkopierten Lösungen können Sie handschriftliche Lösungen einfordern. Suchen Sie im Korrekturprozess evtl. auffällige Satzkonstruktionen oder Formulierungen in den Lösungen über eine Suchmaschine, machen Sie diese Plagiate als solche kenntlich und bewerten Sie diese entsprechend. Überprüfen Sie verschiedene Lösungseinreichungen auf auffällige Gemeinsamkeiten, diese können evtl. Hinweise auf Absprachen zwischen mehreren Kandidat/-innen sein.

6. Formulieren Sie klar und präzise, ohne Tipps zu geben:
Dazu gehören z.B. Angaben, auf wie viele Stellen Rechenergebnisse gerundet werden sollen und das Vermeiden von Abkürzungen genauso wie der Verzicht auf irrelevante, evtl. verwirrende Informationen. Verwenden Sie keine Schlagworte (sofern nicht unbedingt notwendig) in der Fragestellung, die bereits in die Richtung der Lösung weisen können.

7. Passen Sie Bearbeitungszeit und Aufgabe aneinander an:
Je mehr Zeit die Kandidat/-innen haben bzw. die Bearbeitung der Aufgaben in Anspruch nimmt, desto mehr Möglichkeiten für Absprachen und Recherchen stehen zur Verfügung. Kalkulieren Sie die Bearbeitungszeit eher knapp, ohne eine unlösbare Klausur zu stellen. Berücksichtigen Sie diese Überlegungen auch bei der Korrektur: Erwarten Sie keine ausschweifenden Erläuterungen, sondern rechnen Sie mit knappen Ausführungen. Formulieren Sie diesen Anspruch transparent in der Fragestellung.

8. Binden Sie Recherchemöglichkeiten bewusst mit ein:
Eine Alternative zur verknappten Bearbeitungszeit ist die Einforderung von Internetrecherchen, so weit möglich. Da diese nicht unterbunden werden kann, können Aufgabenstellungen wie "Recherchieren Sie verschiedene Methoden/Standpunkte/Berechnungsmethoden [...] und vergleichen Sie diese unter den Gesichtspunkte X, Y, Z" bewusst gewählt werden. Recherche- und Medienkompetenz sowie Informationsbewertung, -raffung und -darstellung sind durchaus praxisbezogene Kompetenzen, die vom Bildungsauftrag der Hochschule gedeckt sind. 😉 Eine angemessene Zitation und Quellenangabe ist dann natürlich einzufordern.

9. Arbeiten Sie mit unterschiedlichen Aufgabenstellungen:
Im sog. Gruppenmodus können verschiedenen Gruppen von Studierenden verschiedene Aufgaben gestellt werden. Dabei muss beachtet werden, dass die verschiedenen Aufgaben (-sets) vergleichbar in Niveau und Umfang sind. Der Zugriff auf die jeweilige Variante kann über zufällige Kursgruppen randomisiert werden. Achten Sie darauf, dass die jew. nicht relevanten Varianten für Kandidat/-innen völlig unsichtbar sind.

10. Liefern Sie auszuwertendes Material:
Generieren Sie neue Eingabewerte, Abbildungen, Statistiken und Tabellen und greifen Sie nicht auf bereits bestehende Daten (aus Skript, Internet oder Vorlesung) zurück. Dadurch müssen die Ergebnisse und geforderten Lösungen selbstständig erstellt und können nicht "gefunden" werden.

11. Versuchen Sie selbst zu schummeln:
Geben Sie Ihre Aufgabenstellung (oder Teile davon) bzw. Berechnungen in eine Suchmaschine ein. Wenn Sie vorgefertigte, beinahe druckreife Lösungen finden (Googlen Sie beispielsweise 2 (5 x + 4)^2 - 6 + 2 x oder Pi, zeigt Ihnen die Suchmaschine Grafiken, Gleichungsumformungen und/oder Taschenrechner-Funktionen 😲), sollte die Aufgabenstellung als eher ungeeignet gelten.

3. Online-Test

Kurzbeschreibung: Ein Online-Test ist eine direkt online abgewickelte Fragenfolge, die mittels Maus/Touchscreen und/oder Tastatur ab einer zeitgesteuerten Testöffnung beantwortet werden können. Neben den "Klassikern" wie Single- und Multiple-Choice stehen auch grafische Drag-and-Drop-Aufgaben, Lückentexte, Zuordnungen, numerische Eingaben, Freitexteingaben und mehr zur Verfügung. Die Anzahl der Fragen je Seite sind genauso einstellbar wie die Navigationsmöglichkeiten (Unterbinden des Zurückblätterns). Am Ende eines definierten Zeitraums oder einer vorgegebenen Bearbeitungszeit wird der aktuelle Arbeitsstand als Lösung eingereicht.

3.1 Technik

Hier ist ebenfalls die Nutzung des Prüfungssystems erforderlich. Auch hier sollten verbindliche Erklärungen zu Eigenständigkeit und Prüfungsfähigkeit eingeholt und entsprechende Protokolldaten generiert werden. Eine Zeitsteuerung ("Testöffnung" und "Testschließung") und eine Bearbeitungszeit sollten festgelegt werden. Je nachdem, welche Grenze zuerst erreicht wird (Testschließung oder Ende der Bearbeitungszeit), können die Testversuche mit dem jew. aktuellen Bearbeitungsstand automatisch als Lösung eingereicht werden.

Als Fragentypen stehen

• Single und Multiple Choice-Fragen,
• Wahr / Falsch-Fragen,
• Fragen mit Freitextantworten (einzugeben über den plattformeigenen Texteditor),
• Kurzantworten,
• Zuordnungen,
• Drag and Drop-Aufgaben (auf Text, auf Bild, Markierungen),
• Lückentexte (als Drop-Down-Auswahl oder als Kurzantworten),
• berechnete Fragen (bei denen mit Variablen und mehrere Fragen gleichen Typs generiert werden können) und
• Kombinationen von diesen Optionen

zur Verfügung. Abgesehen von Freitextantworten können alle Fragen durch Hinterlegen richtiger Antworten (bzw. Lösungsformeln bei berechneten Fragen) automatisiert ausgewertet werden. Trotzdem ist natürlich eine Nachbewertung der einzelnen Fragen und individuellen Testversuche möglich. Die Prüfungsplattform speichert neben den Protokolldaten zu jedem testversuch und jeder Frage die Zeitpunkte der abgegebenen Antworten. Dieses Protokoll, die automatische und die Nachbewertung können zur Online-Klausureinsicht genutzt werden. Mehr Infos finden Sie hier.

3.2 Gestaltung

1. Orientieren Sie sich an den Lernzielen der Lehrveranstaltung:
Der inhärente Zweck von Prüfungen ist - entgegen landläufiger Meinung der Kandidat/-innen - nicht die Gängelung von Studierenden, sondern die Überprüfung, ob die Lernziele einer oder mehrerer Lehrveranstaltungen erreicht wurden. Diese sind im Vorfeld definiert, u.a. im Modulhandbuch des entspr. Studiengangs. Verlieren Sie dieses Hauptziel, welches Sie mit dem Aufgabendesign zu erreichen versuchen sollten, während der Prüfungsvorbereitung nicht aus den Augen 😉

2. Formulieren Sie klare Aufgabenstellungen:
Die Studierenden sitzen recht allein vor den Auswahl- und Eingabefeldern eines Online-Tests. Die notwendigen Informationen, um diese korrekt zu bearbeiten, gehören also in jede Frage: Auf wie viele Stellen soll gerundet werden? Müssen Maßeinheiten angegeben werden? Wird auch korrekte Schreibweise überprüft? Außerdem: Verzichten Sie auf irrelevante Informationen und stellen Sie keine Fangfragen. Es geht meistens nicht um die Überprüfung der Lesekompetenz.

3. Vermeiden Sie das Ausschlussverfahren:
Multiple Choice-Fragen werden "gerne" mittels Ausschlussverfahren gelöst, indem falsche Alternativen ausgeschlossen statt richtiger Alternativen identifiziert werden. Das kann man umgehen, indem man sie zerlegt und für jede Antwortalternative eine Wahr / Falsch-Frage generiert. Wenn zusätzlich eine Navigation innerhalb des Tests unterbunden wird und nur eine Frage je Seite angezeigt wird, muss für jede Antwortalternative nun die Entscheidung "Richtig oder Falsch" getroffen werden, ohne die anderen Antwortalternative zu kennen.

4. Generieren Sie plausible falsche Antworten:
Beim Einsatz von Multiple Choice-Fragen besteht die "hohe Kunst" in der Generierung von plausiblen falschen Antworten. "Gute falsche" Alternativen können nur von Kandidat/-innen identifiziert werden, die tief im Thema stehen. Hier können einzelne Worte oder das Vorzeichen einer Formel den Unterschied machen.

5. Lassen Sie die Fragen mischen:
Innerhalb des Tests kann eine Zufallsreihenfolge aktiviert werden. Damit werden individuelle Fragenreihenfolgen je Testaufruf generiert und Absprachen wie "Bei der dritten Aufgabe ist Alternative 4 richtig" werden unsinnig.

6. Lassen Sie die Antworten mischen:
Für viele Fragentypen gibt es die Option "Antworten mischen". Damit werden die Alternativen bei Single und Multiple Choice-Fragen, aber auch die Reihenfolge der Wahr- und Falsch-Optionen, die Reihenfolge von Drop-Down-Auswahlen, die Anordnung beweglicher Objekte bei Drag-and-Drop-Fragen usw. in individueller Anordnung angezeigt.

7. Nutzen Sie Zufallsfragen:
Zufallsfragen greifen auf eine Fragenkategorie des Fragenpools zu und ziehen zufällig eine Frage daraus. Wenn man in einer Kategorie z.B. 10 Kopien einer Ausgangsfrage ablegt und z.B. die gegebenen Zahlenwerte geringfügig ändert, werden so für unterschiedliche Kandidat/-innen an der entsprechenden Stelle je unterschiedliche Fragen gezeigt. Achtung: Die Fragenvarianten müssen vergleichbar sein und dürfen in Niveau und Umfang nicht variieren, sonst wird evtl. die Chancengleichheit verletzt.

8. Geben Sie die Navigation vor:
Damit können Sie ein Rückwärtsblättern innerhalb des Tests unterbinden. Vor allem sinnvoll in Verbindung mit Punkt 9.

9. Lassen Sie je Seite nur eine Frage anzeigen:
"Alle Fragen auf einer Seite" ist transparent und lässt die Kandidat/-innen Aufwand und Umfang gut abschätzen. Aber er ermöglicht auch das Abwägen, diejenigen Fragen zuerst zu beantworten, die man am "besten kann". Außerdem ermöglicht die Gesamtanzeige dazu, besser zu "schummeln", da z.B. Dritte oder andere Kandidat/-innen zu den verschiedenen Fragen kontaktiert werden könnten. Wenn nur eine Frage zeitgleich angezeigt wird, reicht die Zeit für die "Befragung externer Fachleute" nicht aus, da für jede Frage nur wenige Minuten zur Verfügung stehen. Nutzen Sie also die Seitenumbruchsfunktion entsprechend großzügig.

10. Geben Sie keine unnötigen Hinweise:
Verwenden Sie keine Schlagworte (sofern nicht unbedingt notwendig), die bereits in die Richtung der Lösung weisen können. Nennen Sie keine Lösungsteile bereits in der Fragenformulierung.

11. Generieren Sie Fragen mit ungewöhnlichen Ergebnissen:
Achten Sie bei Berechnungen darauf, dass das Ergebnis z.B. Nachkommastellen hat (und weisen Sie aus Fairness evtl. im Fragentext darauf hin). Entwerfen Sie Fragen, die nicht typische und "glatte" Zahlen wie '100' zum Ergebnis haben, sondern evtl. negative Werte. Gleiche, falsche numerische Antworten verschiedener Kandidat/-innen können hier evtl. Hinweise auf Absprachen zwischen mehreren Kandidat/-innen sein.

12. Nutzen Sie verschiedene Fragentypen:
Reihen Sie nicht lediglich Single und Multiple Choice-Fragen aneinander. Machen Sie Gebrauch von untypischen Fragentypen: Lassen Sie Baugruppen in Sprengzeichnungen per Drag-and-Drop zusammensetzen oder Diagramme beschriften. Überlegen Sie, ob Lückentexte oder Zuordnungsfragen für Ihren Test zum Einsatz kommen können.

Dieser Artikel enthält Hinweise, Infos und Tipps von

• https://hochschulforumdigitalisierung.de/de/blog/digitale-pruefungen-digitale-aufgaben-konstruieren
• https://hochschulforumdigitalisierung.de/de/blog/digitale-pruefungen-take-home-exam
• https://www.th-wildau.de/elben/pruefungen-didaktik/
• https://www.e-teaching.org/lehrszenarien/pruefung/pruefungsform/elektronischeaufgaben
• https://infopool.univie.ac.at/startseite/pruefen-beurteilen/multiple-choice-pruefungen/