文字列::トークナイザー

String :: Tokenizerは単純な文字列トークナイザーです。
今すぐダウンロード

文字列::トークナイザー ランキングとまとめ

広告

  • Rating:
  • ライセンス:
  • Perl Artistic License
  • 価格:
  • FREE
  • 出版社名:
  • Stevan Little
  • 出版社のWebサイト:
  • http://search.cpan.org/stevan/

文字列::トークナイザー タグ


文字列::トークナイザー 説明

String :: Tokenizerは単純な文字列トークナイザーです。 String :: Tokenizerは単純な文字列tokenizerです.synopsis string :: tokenizerを使用します。 ＃トークナイザーを作成し、トークン化の入力My $ TOKENIZER = STRING :: TOKENIZER->新規（ "（5 + 5）* 10）"、 '+ *（）'）; #tokenizerを作成するMy $ TOKENIZER = String :: Tokenizer-> new（）; ＃...その後文字列$ tokenizer-> tokenize（ "（（5 + 5） - 10）"、 '（）'）。 ＃（、（、5、+、5、）、 - 、10、）「印刷結合」、「=> $ tokenizer」 - > gettokens（）; ＃保持トークナイザを作成し、空白の私の$ ST =文字列:: Tokenizer->新しい（、 '（）' 'これはテスト、（signifigant）空白である'、文字列:: Tokenizer-> RETAIN_WHITESPACE）; ＃ 'これが印刷されます。＃'この '、' '、'、 '' '、'、 '、'、 'test'、 '、'、 '、' '、'、 '、'、 'signifigant'、 ' ） '、' '、「空白」「印刷」を「」。 （結合 "、 '" => $ tokenizer-> gettokens（））。 「」; ＃トークンイテレータを取得するMy $ i = $ tokenizer-> iterator（）;間（$ i-> hasnextToken（））{My $ NEXT = $ i-> nextToken（）; ＃次のトークンで先を向いている私の$ look_ahead = $ i-> lookaheadToken（）; ＃... ##次の2トークン$ i-> skiptokens（2）をスキップします。 ＃...その後バックトラック1トークンMy $前= $ i-> prevtoken（）; ＃...＃現在のトークンを取得するMy $ CURRENT = $ i-> currentToken（）; ＃...}文字列を取り、空白に分割する単純な文字列トークナイザ。また、区切り文字として使用する文字列をオプションで取り、トークンセットでも返します。これにより、文字列をさまざまな方法で分割することができます。これは非常に基本的なトークナイザーです。そのため、このモジュールによって生成された出力のカスタム書き込みトークナイヤーまたは後処理でもっと複雑なニーズに対処する必要があります。基本的に、これはMEREONESのニーズを満たしていませんが、単純なスプリット/ /、$ STRING、およびさらに大きな複雑なモジュールを含むその他のオプションの間のギャップになります。これは字句アナライザではありません。多くの人が語彙分析でトークン化を混乱させます。トークナイザーはその入力を特定のチャンクにまとめると、字句アナライザがそれらのチャンクを分類します。時々これら2つのステップは組み合わされますが、ここではありません。requirements：・Perl要件： ・Perl


文字列::トークナイザー 関連ソフトウェア

私たちに関しては