ハドープ 膨大な量のデータを処理することができるアプリを簡単に開発する
今すぐダウンロード

ハドープ ランキングとまとめ

ハドープ タグ

処理する 発展させる データプロセッサ クラスタ開発 集まる MapReduce開発

ハドープ 説明

膨大な量のデータを処理することができるアプリを簡単に開発する Hadoopは、膨大な量のData.HADOOPを実行するアプリケーションを簡単に書き込んで実行できるようにするソフトウェアプラットフォームです.Hadoop Distributed File System（HDFS）を使用して、MapReduceを実装しています。 MapReduceは、アプリケーションを多くの小さなブロックに分割します.HDFSは、信頼性のためにデータブロックの複数のレプリカを作成し、それらをクラスタの周囲の計算ノードに配置します。 MopReduceは、それがある場所があるデータを処理できます.HADOOPは、2000ノードを含むクラスタ上で説明されています。現在の設計対象は10,000ノードクラスタです。 "Hadoop"の主な機能はいくつかあります。 ・スケーラブル：Hadoopは、設計を確実に保存して処理することができます。 ・経済的：それはデータと処理を一般的に利用可能なコンピュータのクラスタを渡ります。これらのクラスタは何千ものノードに番号を付けることができます。 ・効率的：データを配布することで、Hadoopはデータが配置されているノードでそれを並列に処理できます。これはそれを非常に急速にします。 ・信頼性：Hadoopは自動的に複数のデータのコピーを維持し、障害に基づいてコンピューティングタスクを自動的に再デプロイします。 このリリースの新機能： ・サブタスク ・ - Commons-CLI2のコモンズ依存関係を削除する ・ バグ ・ - Forrest DocのAPIリンクは、同じバージョンのHadoopを指すはずです。 ・ - Hadoop FS -Help次のコマンドの詳細ヘルプ情報をリストしてください。テスト、テキスト、テール、STAT、TOCHZ ・ - Capacity Scheduler ForrestドキュメントのJobinitializationPoller構成を文書化します。 ・ - タスクトラッカーのメモリ管理機能とCapacitySchedulerのメモリベースのスケジューリング。 ・ - タスクの進行状況を減らすと、マップ出力の合計サイズ（1回の減圧器の場合）が高い場合 ・ - Bzip2CompressionOutputStram NullPointerException ・ - パスに必要なサイズが-1の場合、LocalDirAllocator.GetLocalPathForWriteがDiskCheckerExceptionで失敗します。 ・ - JobTracker Webページに表示されている回復期間は不正確です ・ - o.a.h.mapred.mergerは中間ファイルでマップアウト圧縮を維持しない ・ - KillJobの後に実行状態にあるジョブが残っています ・ - CapacitySchedulerのMemoryMatcherのNPEが可能 ・ - TestQueueCapacityは最後の数のビルドのHudsonテストに失敗しています ・ - すでにコンパイルされた版のHadoopにgridmix.jarを生成できません。 ・ - TestReplicationPolicy。 java.net.bindExceptionで失敗します ・ - TestMrServerportはjava.net.BindExceptionで失敗します ・ - HFTPFILESYSTEM.GETCHECKSUM（..）は、Scheme and Authorityのパスでは機能しません。 ・ - org.apache.hadoop.mapreduce.reducerは抽象的ではありません。 ・ - NameNodeファイルの変更情報へのログを閉じる ・ - Capacity Schedulerは起動中にデフォルトキューの存在を確認しないでください。 ・ - 職業の発信中に失敗したジョブは、容量スケジューラ待機リストから削除されません。 ・ - 最新の変更を反映させるためのCapacitySchedulerのドキュメントの更新 ・ - 最後のマップ/削減コールが検出された後にMROUTPUTTHREADで発生したエラー ・ - DFS書き込みパイプラインは不良データノードを正しく検出せず（Hadoop-3339） ・ - MinimrclusterのJobTrackerのMapred.local.dirの絶対パスを使用する ・ - マップ/縮小は0マップでジョブを実行しません ・ - Mapred Metricsは、待機中のマップのマイナスカウントを表示して削減 ・ - TestQueueCapacISEUSES.APACHE.ORG/JJIRA / BROWSE /HADOOP-6017] - NameNodeとSecondercinalNameNodeは、異常なファイル名のために再起動できません。 ・ - 複数のバグw / Hadoopアーカイブ ・ - RMおよびRMRオプションには不完全なヘルプメッセージが表示されます。 ・ - Hadoop 0.20ブランチ「テストパッチ」が壊れています ・ - 存在しないファイルまたはディレクトリを削除するためのエラーメッセージはありません。 ・ - 値に '='を使用して-Dを扱うGenericOptionParserを修正しました ・ 改善 ・ - 容量スケジューラコードベースからの事前排出量を削除する ・ 新機能 ・ - 新しいバイナリファイル形式 ・ - FS.EXISTS（またはGetFileInfoの数）を表示するためのメトリック ・ - クォータとのゴミの取り扱い

ハドープ 関連ソフトウェア