Classification des erreurs de modèle et accord des évaluateurs
Classer les échecs d’un modèle dans un jeu de données et calculer les taux d’accord entre évaluations.
Comparer deux réponses de modèle selon l’alignement, le respect des instructions et la concision.
Comparer deux réponses de modèle selon l’alignement, le respect des instructions et la concision.
Comparez deux réponses à la même question avec une grille fixée avant leur lecture.
La préférence dépend de la tâche et de la grille. Gardez les égalités et les désaccords sans transformer une note en jugement de qualité générale.
Evaluate the two provided assistant completions (Response A and Response B) responding to the user prompt. Evaluation Dimensions: 1. Instruction Adherence: Did the response follow all negative and positive constraints (word count limits, prohibited phrases, required formatting)? 2. Factual Grounding: Are all claims, figures, and technical assertions verifiable without hallucination? 3. Conciseness & Signal-to-Noise: Does the completion deliver direct value without redundant filler or conversational padding? Output Schema: - Preferred Response: [Response A / Response B / Tie] - Justification: Cite explicit quoted evidence from both responses demonstrating why one output is strictly superior. User Prompt & Responses: [INSERT PROMPT AND RESPONSES HERE]
Copiez le prompt complet, ajoutez les informations demandées ou remplacez les champs à compléter, puis collez-le dans votre assistant IA. Vérifiez la réponse avant de l’utiliser.
Classer les échecs d’un modèle dans un jeu de données et calculer les taux d’accord entre évaluations.
Rendre un prompt peu fiable plus précis et plus facile à tester.
Transformer une demande vague en une instruction ChatGPT réutilisable.
Guider Claude dans un document volumineux avec des résultats traçables.