Sesgos cognitivos
  • Máquina
  • Creencias

Preferencia por lo propio

Al hacer de juez, un modelo puntúa más alto los textos de su propia familia: reconoce sus costumbres como calidad.

EjemploEl mismo ensayo gana cuando lo escribió el juez y pierde cuando lo escribió un rival.
Qué hacerNo dejes que un modelo juzgue su propio trabajo. Usa otro modelo, una persona o una prueba con respuesta correcta conocida.
Pega esto en el chatTe voy a mostrar dos textos. No intentes adivinar quién los escribió. Puntúa cada uno solo según estos criterios y cita el fragmento que justifica cada puntuación.

Rima conEfecto IKEA

FuenteSelf-Preference Bias in LLM-as-a-Judge, arXiv:2410.21819