Pivotal Knowledge Base

フォローする

HDFS上の全ブロックのレプリケーション数を変更する方法

環境

製品 バージョン
Pivotal Hadoop(PHD) 3 .x
OS RHEL 6.x

目的

本記事では、HDFS上の全ブロックのレプリケーション数を変更する方法を解説する。 

手順

実ファイルのレプリケーション数を変更する必要がある場合は、以下のコマンドを使うことによってファイルシステム上の全実ファイルのレプリケーション数を調整することができる。

hadoop dfs -setrep -w <レプリケーション数> -R /

例:

以下はレプリケーション数が3のHDFSである。

Status: HEALTHY
 Total size:    839729774 B
 Total dirs:    139
 Total files:   600
 Total symlinks:                0
 Total blocks (validated):      596 (avg. block size 1408942 B)
 Minimally replicated blocks:   596 (100.0 %)
 Over-replicated blocks:        0 (0.0 %)
 Under-replicated blocks:       0 (0.0 %)
 Mis-replicated blocks:         0 (0.0 %)
 Default replication factor:    3
 Average block replication:     3.0
 Corrupt blocks:                0
 Missing replicas:              0 (0.0 %)
 Number of data-nodes:          3
 Number of racks:               1

以下、レプリケーション数2でクエリを実行する。

hadoop dfs -setrep -w 2 -R /

これにより、レプリケーション数が "Default replication factor" に示されている3から、"Average block replication" に示されているように2に変更されたことが分かる。

Status: HEALTHY
 Total size:    839729774 B
 Total dirs:    139
 Total files:   600
 Total symlinks:                0
 Total blocks (validated):      596 (avg. block size 1408942 B)
 Minimally replicated blocks:   596 (100.0 %)
 Over-replicated blocks:        0 (0.0 %)
 Under-replicated blocks:       0 (0.0 %)
 Mis-replicated blocks:         0 (0.0 %)
 Default replication factor:    3
 Average block replication:     2.0
 Corrupt blocks:                0
 Missing replicas:              0 (0.0 %)
 Number of data-nodes:          3
 Number of racks:               1

"Default replication factor" と "Average block replication" の詳細については、こちらの記事を参照のこと。

クラスタ全体の(恒久的な)レプリケーション数の変更は、以下の手順で実施する。

  • AmbariのWEB URL へ接続
  • 画面左側のHDFSタブをクリック
  • Configタブをクリック
  • "General"の下にある"Block Replication"の値を変更 
  • HDFSサービスを再起動

 

コメント

Powered by Zendesk