SpiderFetch. 無料のPythonベースのWeb Spider
今すぐダウンロード

SpiderFetch. ランキングとまとめ

SpiderFetch. タグ

フェッチ Web Spider クロール Webクローラー クモ ウェブサイトを取得します

SpiderFetch. 説明

無料のPythonベースのWeb Spider SpiderFetchは、正規表現で構成されたレシピによって駆動される無料のモジュラーWebスパイダーです。 SpiderFetchは、Webページ上のすべてのリンクをクモしようとしたツールとして始めましたが、小さな吹き付けWeb SpiderFetchにはほとんどありません.SpiderFetchは、SpiderとFetcherなど、自分で使用できるツールの一連のツールです。 。スイート全体は純粋なPython（以前にRuby）で書かれており、依存関係はありません。 "SpiderFetch"の重要な機能は次のとおりです。 ・URLのように見えるものについてページをクモします。 ・正規表現のURLをフィルタリングする機能（これは依然としてRubyの正規表現です。 ・フィルタ/ソート/ etcをフィルタリングする場合は、すべてのURLをシリアルにダウンロードするか、画面（--dumpを使用）に出力するだけです。 ・既存のインデックスファイルを（--useIndexで）使用することができますが、そのURL間の相対リンクがある場合は、サーバー上のインデックスページのパスが保存された後に認識されないため、後処理が必要になります。局所的に。 ・内部的にwgetを使用して出力を中継します。 HTTP、HTTPS、およびFTP URLをサポートします。 ・URLのURLの場合のセマンティクス。 wget $ URL ...完成したファイルを再ダウンロードしない、ダウンロードの再開、中断された転送の再試行。 要件： ・Python 制限事項 ・マッチングはかなり寛大であるが、最後のURLを見つけることが保証されていない。特定のURLを一致させることができない場合は、まだgrepとsedに立ち往生しています。 ・メディアファイルをダウンロードできるようにブラウザでどういうわけか自分自身を認証しなければならない場合は、SpiderFetchはそれらをダウンロードすることはできません（一般的なwgetと同様に）。しかし、すべてが失われません。 URLがFTPまたはWebサーバーが単純な認証を使用している場合は、それらを次のように後処理することができます.ftp：// username：password@the.rest.of.the.url、HTTPでは同じです。

SpiderFetch. 関連ソフトウェア