ロボット検出 HTTPユーザーエージェントヘッダーがボットになる可能性があるかどうかを検出するためのライブラリ
今すぐダウンロード

ロボット検出 ランキングとまとめ

ロボット検出 タグ

Pythonライブラリ Python. http. ロボット

ロボット検出 説明

robot_detectionは、特定のHTTPユーザーエージェントがWebクローラであるかどうかを検出するためのPythonモジュールです。 http://www.robotstxt.orgから登録ロボットのリストを使用します.Robots Database.Usagethereは、文字列（UnicodeまたはNot）を取り、文字列が既知のロボットと一致するTRUE IFFを返します。 RobotStxt.org Robot DatabaseExample >>>インポートRobot_Detection >>> robot_detection.is_robot（user_agent_string）このリンクから新しいバージョンのロボットデータベースをダウンロードし、データベースダンプを最初にファイルでファイルと一緒にファイルを実行することができます。 get http://www.robotstxt.org/db/www.robotstxt.org/db/www.robotstxt.org/db/all.txt $ Python Robot_Detection.py all.txtifデータベースが変更されました。 code.testssome単純な未解決が含まれています。 tests.pyファイルを実行するとテストが実行されます.Productのホームページ

ロボット検出 関連ソフトウェア