2018-10-09 【自然言語処理】単語トークン(word token)と単語タイプ(word type)の違い 単語の定義が曖昧なため、トークンおよびタイプという用語がしばしば用いられる。 単語トークン(word token)とは 一つ一つの出現を指す、意味を持つ最小の言語単位 延べ語数 単語タイプとは 数字、日付、略称などトークンの種類を指す 異なり語数