Токенизатор Penn Treebank
method
ID: penntreebanktokenizer
Детали сущности
Основная информация
ID сущности
penntreebanktokenizer
Тип сущности
Method
Английская метка
Penn Treebank Tokenizer
Русская метка
Токенизатор Penn Treebank
Казахская метка
Penn Treebank токенизаторы
Частота
1
Описание
Английское описание
A tokenizer compliant with the Penn Treebank standards.
Русское описание
-
Казахское описание
-