ボキャブラリ

自然言語処理

トークナイザとボキャブラリの詳しい解説

はじめに自然言語処理(NLP)タスクを行う上で、トークナイザとボキャブラリは非常に重要な役割を果たします。この記事では、トークナイザとボキャブラリについて、初心者にもわかりやすいように丁寧に解説していきます。コーパスとはコーパスとは、自然言...