Когнитивные искажения
  • Машина
  • Убеждения

Предпочтение себя

В роли судьи модель выше оценивает тексты собственного семейства: свои привычки она узнаёт как качество.

ПримерОдин и тот же текст выигрывает, когда его написал судья, и проигрывает, когда соперник.
Что делатьНе давайте модели оценивать собственную работу. Используйте другую модель, человека или проверку с заранее известным правильным ответом.
Вставьте это в чатЯ покажу тебе два текста. Не угадывай, кто их написал. Оцени каждый только по этим критериям и к каждой оценке приведи цитату, которая её обосновывает.

Перекликается сЭффект IKEA

ИсточникSelf-Preference Bias in LLM-as-a-Judge, arXiv:2410.21819