Intra Judge Consistency

Entity ID

intrajudgeconsistency

Entity Type

Metric

English Label

Intra Judge Consistency

Russian Label

Согласованность внутри судьи

Kazakh Label

Судья ішіндегі келісімділік

Frequency

1

English Description

A measure of agreement when the same judge evaluates the same pair of translations multiple times.

Russian Description

Intra Judge Consistency (IJC) - это метрика в контексте обработки естественного языка (NLP), которая измеряет уровень согласованности между оценщиками (человеческими судьями). Цель IJC заключается в определении стабильности оценок, которые оценщики выставляют по одним и тем же текстам. Эта метрика, например, используется для оценки качества генерации текста или языковых моделей, чтобы уменьшить различия в оценках судей и повысить надежность их оценочных методик. Высокий уровень IJC указывает на однородность и объективность оценок, а также способствует обеспечению высокого качества понимания и генерации языка.

Kazakh Description

Intra Judge Consistency (IJC) - бұл табиғи тіл өңдеу (NLP) контекстінде судьялардың (адам-бағалаушылар) бір-бірімен келісімділік деңгейін өлшейтін метрика. IJC-ның мақсаты - бағалаушылардың бірдей мәтіндерге беретін бағаларының тұрақтылығын анықтау. Бұл метрика, мысалы, мәтін генерациясы немесе тілдік модельдердің сапасын бағалау кезінде, судьялардың бағаларының айырмашылығын азайту және олардың бағалау әдісінің сенімділігін арттыру үшін қолданылады. IJC жоғары болған жағдайда, бұл бағалаушылардың бағалауының біркелкілігін және объективтілігін көрсетеді, сонымен бірге тілдік түсіну мен генерацияның жоғары сапасын қамтамасыз етеді.