Penn Treebank токенизаторы
method
ID: penntreebanktokenizer
Нысан мәліметтері
Негізгі ақпарат
Нысан ID
penntreebanktokenizer
Нысан түрі
Method
Ағылшын белгісі
Penn Treebank Tokenizer
Орыс белгісі
Токенизатор Penn Treebank
Қазақ белгісі
Penn Treebank токенизаторы
Жиілік
1
Сипаттама
Ағылшын сипаттамасы
A tokenizer compliant with the Penn Treebank standards.
Орыс сипаттамасы
-
Қазақ сипаттамасы
-