Согласованность внутри судьи

ID сущности

intrajudgeconsistency

Тип сущности

Metric

Английская метка

Intra Judge Consistency

Русская метка

Согласованность внутри судьи

Казахская метка

Судья ішіндегі келісімділік

Частота

1

Английское описание

A measure of agreement when the same judge evaluates the same pair of translations multiple times.

Русское описание

Intra Judge Consistency (IJC) - это метрика в контексте обработки естественного языка (NLP), которая измеряет уровень согласованности между оценщиками (человеческими судьями). Цель IJC заключается в определении стабильности оценок, которые оценщики выставляют по одним и тем же текстам. Эта метрика, например, используется для оценки качества генерации текста или языковых моделей, чтобы уменьшить различия в оценках судей и повысить надежность их оценочных методик. Высокий уровень IJC указывает на однородность и объективность оценок, а также способствует обеспечению высокого качества понимания и генерации языка.

Казахское описание

Intra Judge Consistency (IJC) - бұл табиғи тіл өңдеу (NLP) контекстінде судьялардың (адам-бағалаушылар) бір-бірімен келісімділік деңгейін өлшейтін метрика. IJC-ның мақсаты - бағалаушылардың бірдей мәтіндерге беретін бағаларының тұрақтылығын анықтау. Бұл метрика, мысалы, мәтін генерациясы немесе тілдік модельдердің сапасын бағалау кезінде, судьялардың бағаларының айырмашылығын азайту және олардың бағалау әдісінің сенімділігін арттыру үшін қолданылады. IJC жоғары болған жағдайда, бұл бағалаушылардың бағалауының біркелкілігін және объективтілігін көрсетеді, сонымен бірге тілдік түсіну мен генерацияның жоғары сапасын қамтамасыз етеді.