Évaluateur d’IA : missions, grilles d’évaluation et exemple commenté

La version courte

Lire la grille → Vérifier les preuves → Expliquer la note.
Conserver les preuves et vérifier le résultat avant de l’utiliser.

Un évaluateur d’IA examine les réponses d’un modèle selon une tâche et consigne la raison de son jugement. Il peut vérifier les faits, comparer des réponses, relever un problème de sécurité ou contrôler le respect des instructions. La grille et le projet définissent la mission exacte.

Relier chaque jugement à une preuve

Lisez la question, les sources et les consignes. Appliquez chaque critère, vérifiez les affirmations contre une référence autorisée, puis justifiez préférence, égalité ou rejet. Signalez les règles ambiguës et les cas sensibles.

Lorsque la grille le permet, distinguez exactitude, respect des instructions, complétude et style. Une réponse lisible peut contenir une erreur grave ; une réponse correcte peut oublier un champ demandé. « Cela sonne mieux » ne suffit pas à rendre la décision reproductible.

Exemple fictif de salle inventée

La note source indique un atelier mardi à 10 heures, une inscription close lundi et une salle non attribuée. La réponse A invente la salle 4. La réponse B conserve l’horaire et précise que la salle n’est pas indiquée.

Avec une grille exigeant l’absence d’invention, A échoue et B est préférable. Les deux réponses conservent l’heure et la date limite, mais A ajoute un fait sans preuve. Cet exercice est fictif ; un vrai projet peut utiliser d’autres critères et niveaux de gravité.

Une justification utile serait « la salle 4 n’est pas attribuée dans la source », plutôt qu’un simple mot comme « hallucination ». Citez le passage concerné lorsque les règles du projet l’autorisent. Si la référence manque, signalez-le ; une recherche web ne doit pas remplacer la référence sans autorisation.

Calibrer sans masquer les désaccords

Deux relecteurs peuvent reconnaître la même erreur et différer sur sa gravité. Gardez les deux observations et demandez quelle règle distingue erreur mineure et échec. Les exercices de calibration doivent inclure des cas ordinaires et difficiles. Une égalité ou une escalade est valable lorsque les preuves ne justifient pas une préférence.

Avant d’accepter une mission, lisez les règles de données, les outils permis, la disponibilité attendue, les modalités de paiement et les voies de contestation. Outlier décrit des tâches de notation et de création de grilles ; cela ne confirme ni votre admissibilité ni une offre ou des revenus actuels.

Pour un portfolio, utilisez des données publiques ou fictives et conservez tâche, grille, référence, réponses et raisons. Identifiez les exemples que vous avez créés. Décrivez honnêtement la pratique dans votre CV, sans prétendre avoir amélioré un modèle commercial sans preuve. Le guide ne certifie pas votre compétence et ne promet pas un emploi.