TinySengeer 非常にコンパクトな日本のトークナイザー
今すぐダウンロード

TinySengeer ランキングとまとめ

TinySengeer タグ

日本語 Pythonライブラリ Python. トークナイザー

TinySengeer 説明

TinySegumenterは、Kudo氏によるJavaScriptで最初にJavaScriptで書かれたTinySegmenterのPython Portです。それはPython 2.5または上記で動作します。 Segmenter = TinySeguanter.tinySumenter（）>印刷 '|' .join（segner.tokenize（U "私の前は中世です））私| NLTKのTokenizeriと互換性がありますが、以下の配布ファイルはNLTKに直接依存しません。NLTKのトークナイザーとして使用したい場合は、以下のようにコードの最初の数行を変更する必要があります（できません。 これを行いたい場合はPypiリポジトリバージョンを使用してください。送信元を取得してください。

TinySengeer 関連ソフトウェア