Когнітивні викривлення
  • Машина
  • Переконання

Перевага собі

У ролі судді модель вище оцінює тексти власної родини: свої звички вона впізнає як якість.

ПрикладТой самий текст перемагає, коли його написав суддя, і програє, коли суперник.
Що робитиНе дозволяйте моделі оцінювати власну роботу. Залучіть іншу модель, людину або перевірку з відомою правильною відповіддю.
Вставте це в чатЯ покажу тобі два тексти. Не вгадуй, хто їх написав. Оціни кожен лише за цими критеріями й до кожної оцінки наведи цитату, яка її обґрунтовує.

Перегукується зЕфект IKEA

ДжерелоSelf-Preference Bias in LLM-as-a-Judge, arXiv:2410.21819