 | クローラ4J.Java用オープンソースWebクローラ |
| 今すぐダウンロード | |
クローラ4J. ランキングとまとめ
広告
- ライセンス:
- Apache
- 価格:
- FREE
- 出版社名:
- Yasser Ganjisaffar
- 出版社のWebサイト:
- http://www.ics.uci.edu/yganjisa/
- オペレーティングシステム:
- Mac OS X
- ファイルサイズ:
- 29 KB
クローラ4J. タグ
クローラ4J. 説明
Java用のオープンソースWebクローラ Crawler4jは、Webをクロールするための簡単なインターフェースを提供するオープンソースと無料のJavaクローラです。 Crawler4jを使用すると、5分でマルチスレッドWebクローラを設定できます。クローラ4jは非常に効率的に設計されており、ドメインを非常に速くクロールすることができます（例えば、毎秒200ウィキペディアのページをクロールすることができました）。 ただし、これはクロールポリシーに反対し、サーバーに大きな負荷をかける（そして、それらはあなたをブロックするかもしれません）。 このパラメータは、コントローラ内の "setPolitEnesDelay"関数で調整できます。 Crawler4j Webクローラの詳細な使用方法はこちらです。
クローラ4J. 関連ソフトウェア
