Błędy poznawcze
  • Maszyna
  • Przekonania

Preferencja siebie

W roli sędziego model wyżej ocenia teksty z własnej rodziny — swoje nawyki rozpoznaje jako jakość.

PrzykładTen sam esej wygrywa, gdy napisał go sędzia, i przegrywa, gdy rywal.
Co robićNie pozwalaj modelowi oceniać własnej pracy. Użyj innego modelu, człowieka albo testu ze znaną poprawną odpowiedzią.
Wklej to do czatuPokażę ci dwa teksty. Nie zgaduj, kto je napisał. Oceń każdy wyłącznie według tych kryteriów i przy każdej ocenie zacytuj fragment, który ją uzasadnia.

Współbrzmi zEfekt IKEA

ŹródłoSelf-Preference Bias in LLM-as-a-Judge, arXiv:2410.21819