 | PypalLalleCurlスレッドなしでURLリソースを並行してフェッチするための簡単なインターフェース |
| 今すぐダウンロード | |
PypalLalleCurl ランキングとまとめ
広告
PypalLalleCurl タグ
PypalLalleCurl 説明
URLリソースをスレッドなしで並行してフェッチするための簡単なインターフェース PyparallelCURLは、スレッドなしでPythonで複数のCURL URLフェッチを並行して実行できるようにするための使いやすいインターフェースを提供するPythonモジュールです。テストするには、コマンドライン、CDに移動して実行して実行します./TestこれはGoogleのAPIを介して100の検索を実行し、結果を印刷する必要があります。パラレルリクエストを実行しているパフォーマンス差のある種類のパフォーマンス差異を確認するには、オプションのスクリプト引数を使用して並行して実行されているデフォルトの10リクエストを変更して、それぞれがどのくらいの時間がかかるかをタイミング./test.py 1時間./test.py 20最初に1つの要求のみを一度に実行し、呼び出しをシリアル化できます。これが約100秒かかります。 2回目の走行は一度に20台の飛行中に20秒かかります！警告されると、一度に要求が多すぎる場合は、ターゲットを圧倒することができます。 IPがそのサーバーへのアクセスから禁止されているか、または他のAPIの制限を回答することで終了することができます。クラスは、次のスタートを開始する前にそれぞれが終了するのを待つのではなく、複数のCURL要求を並行して実行することを容易にするように設計されています。フードの下でcurl_multi_execを使用していますが、インタフェースが痛みを招くことがわかりましたので、実行したいタスクに対応していました。 ）コンストラクタの最初の引数は、ブロックする前に、1つを終了するのを待つ前に許可する最大のフェッチの最大数です。後でsetMaxRequests（）を使用して変更することができます.2番目のオプション引数はcurl_setopt_array（）で使用されている形式でCURLオプションの配列です。次に、URLフェッチを開始します.parallelcurl.startRequest（ 'http://example.com'、on_request_done、 {'manekey'： 'somevalue'}）最初の引数は、2番目の引数が取り出されるべきアドレスです。 CallbackThisに渡されたStartRequest呼び出しは、最大要求数が未解決である限りすぐに戻ります。要求が完了すると、コールバック関数が呼び出されます。例えば、次のように呼び出されます。 1つ目は、URLにあるコンテンツを含む文字列です。 2つ目は要求された元のURLです、3つ目は、結果を取得するために照会することができる要求のカールハンドルであり、4番目はこのオブジェクトに関連付けられている任意の 'cookie'値です。このCookieにはユーザー定義データが含まれています。スクリプトの最後に優れた要求がある可能性があります。そうでなければ、最終的な要求は未処理のままにされるかもしれません！これは実際にはクラスのデストラクタでも呼ばれますが、それは間違いなくこれを明確に呼び出すことをお勧めします。要件： ・Python
PypalLalleCurl 関連ソフトウェア
