メタボット 速度用に最適化された無料のWebクローラとコマンドラインツール
今すぐダウンロード

メタボット ランキングとまとめ

メタボット タグ

フィルター 昇降補助具 クロール Webクローラー ウェブサイトクローラー URLフィルタ

メタボット 説明

速度用に最適化された無料のWebクローラとコマンドラインツール MethaBotは、さまざまなカスタマイズオプションであるスクリプト化されたファイルタイプの解析をサポートし、特定のニーズに合うように簡単に構成されています。メタボットは拡張性とカスタマイズを目標としています。それは高モジュール性のために開発されており、JavaScriptがスクリプト言語として付属しています。モジュールシステムおよびスクリプト言語を使用することで、ユーザーはクロールプロセスの完全または部分的な制御を実行し、メタボットを決定する必要があります。コマンドラインからメタボットを実行するだけで、カスタムファイルタイプ、フィルタリング、動作、動作をフィルタリングすることができます。 64ビットLinux 2.6,32ビット/ 64ビットFreeBSD 6.x / 7.0、およびWindows XP。ほとんどのUNIXのようなOSで作業する必要があります。これが「メタボット」の主な機能です。 ・それは早く、地面から設計され、スピード最適化を念頭に置いて設計されています。 ・E4Xを通じてスクリプト可能 ・ユーザー定義のファイルタイプフィルタリング（MIMEタイプ、ファイル拡張子またはUMEX式） ・マルチスレッド ・コマンドラインから高度に設定可能です ・拡張可能なモジュールシステム、カスタムデータパーサーとフィルタをサポートします。 ・UMEXを通るURLの単純で強力なフィルタリング。 ・自動ダウンロード ・HTTPを介して実行中の自動クッキー処理のサポート ・信頼性の高い、フォールトトレラントネットワーキング このリリースの新機能： ・Libiconvを介した文字エンコーディング間の変換のサポート ・ほとんどの文字エンコーディングをUTF8に変換するための新しいパーサーUTF8CONV ・新しいパーサーEntityConv、jなどのHTMLエンティティを変換します。 ・対応するUTF-8キャラクター ・構成システムは別のライブラリーに移動されました、libmetaconfig ・動的加算などの構成ローダのさまざまな改良点 ・クラスやスコープを変更する ・多くのメモリ使用量の最適化とクリーンアップの修正 ・Wikiで利用可能なドキュメントはTexinfoファイルにコピーされました、 ・今からすべてのドキュメントがこのTEXINFOファイルに入れるとともに利用可能になります ・オンラインとオフラインの両方の手動として ・ファイルタイプの属性のサポート。パーサーはその意志のカスタムデータを設定できるようになりました ・解析されたファイルに関連付けます。属性の主な使用領域はあなたのときです ・メタノールシステムに接続され、URLに関するメタデータを保存したい。 ・新しいJavaScript関数set_attribute（）の設定属性の設定 ・現在のURL ・カスタムステータス、エラー/警告およびターゲットレポーター機能のAPIサポート ・lmetha_global_setopt（）は使用できなくなり、lmetha_setopt（）に置き換えられます。 ・オプション ・SpiderMonkey-1.8.0サポートを追加しました ・新しいグローバルJavaScript関数EXEC（） ・新しい組み込みハンドラ機能WriteFile. ・libmethaはLibevに依存しなくなりますが、代わりにパイプとepoll（）を使用しています。 ・スレッド間通信とソケット上のイベントを待っています。 ・統計を維持するのに役立つ内部カウンタを追加しました ・新規ファイルタイプオプション 'ignore_host' ・http-を使って回避することはできなくなります。 ・リダイレクト ・追加されたHTMLパーサー内のキュリーのサポート（なぜですか？） ・バグ修正、構文エラーは整数解析時に発生します。 ・設定ファイル内の値 ・フラグ値を読み取るときの設定ファイルパーサーのバグ修正 ・バグ修正、JavaScriptのファイルタイプパーサーが値を返さない場合は、 ・文字列として扱われ、「未定義」、相対URLとして使用されます。

メタボット 関連ソフトウェア