Pivotal Knowledge Base

フォローする

HDFSに関する情報 - どうやってHDFS上にあるファイルのデフォルトレプリケーション数を確認するのか?

環境

製品 バージョン
Pivotal HD 全てのバージョン

目的

以下の記事は、HDFSのファイルが作成された時、または編集された後のレプリケーション数を確認するための簡易情報を提供する。

手順

以下の項目で、ファイルに対するデフォルトのレプリケーション数を確認方法を記載する。

"ls"コマンドを使用してレプリケーション数を理解する

ファイルへの単純な"ls"コマンドにより、ファイルのレプリケーション数を表示させることができる。表示の2列目がファイルのデフォルトレプリケーション数である。以下に、簡単な例を示す。

[root@kcadmin]# hdfs dfs -ls
Found 3 items
drwx------   - root hadoop          0 2014-01-29 06:14 .staging
-rw-r--r--   3 root hadoop       1943 2014-01-24 01:01 passwd
drwxr-xr-x   - root hadoop          0 2014-04-22 12:45 test

見方:

  • "passwd"ファイルは3つのレプリケーションを持っていることを表す
  • '-'はディレクトリであることを表す

以下のコマンドを使用し、"passwd"ファイルのレプリケーション数を変更/編集する。

[root@kcadmin]# hdfs dfs -setrep 2 passwd 
Replication 2 set: passwd

以下のように表示される。

[root@kcadmin]# hdfs dfs -ls
Found 1 items
-rw-r--r--   2 root hadoop       1943 2014-01-24 01:01 passwd

ディレクトリへのレプリケーション数の変更 は、すでに格納されているファイルにのみ影響し、新たに同ディレクトリ下に保存されるファイルは、以下の例のようにクラスターのデフォルトレプリケーション数(hdfs-site.xmlのdfs.replication)によって設定される。

[root@kcadmin]# hdfs dfs -ls test/
Found 1 items
-rw-r--r--   4 root hadoop        316 2014-04-29 01:57 test/host1
[root@kcadmin]# hdfs dfs -setrep -R 2 test
Replication 2 set: test/host1
[root@kcadmin]# hdfs dfs -ls test/
Found 1 items
-rw-r--r--   2 root hadoop        316 2014-04-29 01:57 test/host1
[root@kcadmin]# hdfs dfs -copyFromLocal /etc/passwd test/
[root@kcadmin]# hdfs dfs -ls test/
Found 2 items
-rw-r--r--   2 root hadoop        316 2014-04-29 01:57 test/host1
-rw-r--r--   4 root hadoop       1943 2014-04-29 02:11 test/passwd

コメント

Powered by Zendesk