豚 非常に大きなファイルを処理するためのデータフロープログラミング環境
今すぐダウンロード

豚 ランキングとまとめ

豚 タグ

分析します 処理する プログラミング環境 データセット データセットアナライザ データセットプロセッサー

豚 説明

非常に大きなファイルを処理するためのデータフロープログラミング環境 豚は、これらのプログラムを評価するためのインフラストラクチャと結合された、データ分析プログラムを表現するための高レベルの言語で構成される大きなデータセットを分析するためのオープンソースとフリープラットフォームです。豚のプログラムの顕著な性質は、それらの構造が実質的な並列化に適していることであり、それはそれらが非常に大きなデータセットを取り扱えることを可能にする。現在の時間、豚のインフラストラクチャ層は、Map Reductプログラムのシーケンスを生成するコンパイラで構成されています。どの大規模並列実装がすでに存在しています（例：Hadoopサブプロジェクト）。 PIGの言語レイヤーは現在、Pig Latinと呼ばれるテキスト言語で構成されています。これには、次の主要なプロパティがあります。単純な「恥ずかしい並列」データ分析タスクの並列実行を達成するのは簡単です。複数の相互に関連したデータ変換からなる複雑なタスクは、データフローシーケンスとして明示的にエンコードされ、それらを簡単に書くこと、理解し、そして維持することができます。・最適化の機会タスクが符号化される方法では、システムが自動的に実行を最適化することができ、ユーザーが効率的ではなくセマンティクスに集中することができます。・拡張性。ユーザーは特殊な目的の処理を行うために独自の機能を作成できます。要件： ・Java 1.6.x以降 ・ 蟻 ・ハドープ0.18.x このリリースの新機能： ・このリリースの主な焦点は、計算を共有する同じスクリプト内で複数のクエリを最適化することを可能にするマルチクエリサポートです。

豚 関連ソフトウェア