Was macht ein KI-Evaluator? Aufgaben und Bewertungsbeispiel

Die Kurzfassung

Bewertungsraster lesen → Belege prüfen → Bewertung erklären.
Bewahre die Quellenbelege auf und prüfe das Ergebnis, bevor du es verwendest.

Ein KI-Evaluator prüft Modellausgaben anhand einer festgelegten Aufgabe und begründet sein Urteil. Dazu können Faktenprüfung, Antwortvergleich, Sicherheitsprüfung oder die Kontrolle befolgter Anweisungen gehören. Bewertungsraster und Arbeitgeber bestimmen den konkreten Auftrag.

Eine hilfreiche Bewertung erklärt, warum eine Antwort besteht oder durchfällt. „Diese klingt besser“ gibt einer anderen Person nicht genug Informationen, um die Entscheidung zu wiederholen.

Verfolge den Auftrag von der Eingabe bis zur Entscheidung

Phase	Aufgabe des Evaluators	Was eine andere prüfende Person nachvollziehen können sollte
Aufgabe verstehen	Frage, Quellenmaterial und Anweisungen lesen	Erwartete Antwort und Aufgabengrenzen
Bewertungsraster anwenden	Jedes erforderliche Kriterium prüfen	Das Kriterium hinter jeder Bewertung
Belege prüfen	Aussagen mit einer erlaubten Referenz vergleichen	Quellenstelle und vorhandene Unsicherheit
Entscheidung dokumentieren	Präferenz, Gleichstand oder Fehler begründen	Eine kurze Begründung anhand beobachtbarer Inhalte
Ausnahme eskalieren	Eine unklare Regel oder einen sensiblen Fall kennzeichnen	Offene Frage und nötige Prüfung

Read: Understand the task and rubric. Compare: Check each response against criteria. Verify: Inspect factual claims and evidence. Rate: Apply the stated rating scale. Explain: Write the reason for the rating — Wische, um die Grafik zu lesen

Trenne sachliche Richtigkeit, Befolgen von Anweisungen, Vollständigkeit und Schreibstil, wenn das Bewertungsraster es erlaubt. Eine gut lesbare Antwort kann einen schweren sachlichen Fehler enthalten. Eine korrekte Antwort kann ein Pflichtfeld auslassen.

Bearbeite eine fiktive Bewertungsübung

Angenommen, eine Quellennotiz lautet: „Der Workshop beginnt am Dienstag um 10:00 Uhr. Die Anmeldung endet am Montag. Der Raum steht noch nicht fest.“

Antwort A lautet: „Der Workshop ist am Dienstag um 10:00 Uhr in Raum 4. Melde dich bis Montag an.“

Antwort B lautet: „Der Workshop beginnt am Dienstag um 10:00 Uhr. Die Anmeldung endet am Montag. Der Raum ist nicht angegeben.“

Kriterium	Antwort A	Antwort B
Behält das angegebene Datum und die Uhrzeit bei	Ja	Ja
Nennt die Anmeldefrist	Ja	Ja
Erfindet keinen Raum	Nein; Raum 4 ist nicht belegt	Ja; kennzeichnet die fehlende Angabe
Gesamturteil für diese Übung	Wegen eines unbelegten sachlichen Details ablehnen	Bevorzugen, weil die Antwort die Grenzen der Quelle wahrt

Das Beispiel ist fiktiv und nutzt ein einfaches Bewertungsraster. Ein echtes Projekt kann andere Labels und Schweregrade festlegen. Verwende diese Regeln, statt die Skala unbesehen für einen anderen Auftrag zu übernehmen.

Schreibe überprüfbare Begründungen

Zitiere den relevanten Antwortteil, wenn die Projektregeln es erlauben. Benenne das Kriterium und beschreibe das Problem. Für die obige Übung ist „Raum 4 erfunden, obwohl die Quelle keinen Raum zuweist“ hilfreicher als nur „Halluzination“.

Wenn die Referenz unklar ist, sage das. Ergänze die Lücke nicht durch eine Websuche, sofern externe Recherche nicht erlaubt ist. Dokumentiere, ob du einen sachlichen Widerspruch, eine fehlende Referenz oder eine klärungsbedürftige Regel gefunden hast.

Der Prompt für paarweise Bewertung bietet einen Übungsrahmen. Gleiche seine Anweisungen mit dem für dich geltenden Bewertungsraster ab. Der Ablauf zur Modellbewertung hilft beim Strukturieren eines Prüfprotokolls.

Kläre abweichende Urteile und halte sie fest

Zwei Prüfende können sich über einen Fehler einig sein und seinen Schweregrad unterschiedlich beurteilen. Halte beides fest. Frage nach der Regel, die einen geringfügigen Fehler von einem Durchfallen unterscheidet, und dokumentiere die Klärung für die nächste Gruppe.

Eine Kalibrierungsübung sollte gewöhnliche und schwierige Fälle enthalten. Prüfe, ob die Anweisungen präzise genug für einheitliche Urteile sind. Ein Gleichstand oder eine Eskalation ist zulässig, wenn die Belege keine Präferenz rechtfertigen.

Accuracy: Are the claims supported?. Relevance: Does it answer the actual task?. Clarity: Can a reader follow it?. Safety: Does it respect the task boundaries? — Wische, um die Grafik zu lesen

Prüfe die Projektbedingungen vor der Annahme

Lies die Regeln zur Datenverarbeitung, erlaubten Werkzeuge, erwartete Verfügbarkeit und Vergütungsbedingungen. Frage, wie Bewertungsstreitigkeiten und abgelehnte Arbeit behandelt werden. Kläre bei sensiblen Inhalten die Unterstützungs- und Eskalationsmöglichkeiten vor dem Beginn.

Outlier nennt öffentlich das Bewerten von Antworten und Erstellen von Bewertungsrastern als Aufgabenbeispiele. Die Anforderungen variieren je nach Angebot. Die Beispiele belegen das Vorhandensein solcher Aufgaben, aber weder deine Eignung noch eine aktuelle Stelle oder zu erwartende Einnahmen.

Zeige dein Urteilsvermögen im Portfolio

Erstelle eine kleine Übungssammlung mit öffentlichen oder erfundenen Materialien. Füge Aufgabe, Bewertungsraster, Referenz, Antworten, Bewertungen und Begründungen hinzu. Kennzeichne selbst geschriebene Beispiele. Entferne persönliche Daten und Material, das du nicht veröffentlichen darfst.

Beschreibe den Umfang im Lebenslauf ehrlich: „Sechs Übungsantworten anhand eines Rasters zur Quellentreue verglichen und abweichende Urteile dokumentiert“ ist eine konkrete Projektaussage. Behaupte keine Verbesserung eines kommerziellen Modells ohne Belege für deinen Beitrag.

Lies den Leitfaden zum Einstieg in KI-Jobs und erstelle anschließend eine passende Fassung im Lebenslauf-Editor. Der Bereich zur KI-Bewertung enthält weitere Übungsabläufe.

Quellen und Prüfhinweise

Thrive Editorial hat diese Quellen am 28. September 2026 geprüft. Workshop-Übung und Bewertungen sind eigenständig erstelltes Lehrmaterial. Dieser Leitfaden beschreibt Bewertungsarbeit; er bescheinigt keine Kompetenz und verspricht keine Beschäftigung.

Setzen Sie es in die Praxis um