Pivotal Knowledge Base

フォローする

既存のセキュアPivotal HadoopクラスタにPivotal Hadoop クライアントノードを追加する方法

質問:
どうすれば既存のセキュアPivotal HadoopクラスタにPivotal Hadoopクライアントノードを追加できるか?

回答:
Hadoopクライアントノードをすでに存在するクラスタに追加するには、以下のステップが必要である

1) hadoop クライアントに必要なrpmをインストール

  1. bigtop-utils
  2. bigtop-jsvc
  3. zookeeper
  4. hadoop
  5. hadoop-yarn
  6. hadoop-mapreduce
  7. hadoop-hdfs
  8. hadoop-client

注:&詳細は“Pivotal Hadoop Stack & Tools Reference guide” を参照.

2) /etc/gphd/hadoop/conf ディレクトリにあるcore-site.xml, hdfs-site.xml を編集する。この記事では、関連のあるパラメータだけを追加する。
core-site.xml

<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://<namenodehost_fqdn>:8020</value>
</property>

<property>
     <name>hadoop.security.authentication</name>
     <value>kerberos</value>
</property>

<property>
     <name>hadoop.security.authorization</name>
     <value>true</value>
</property>
</configuration>

hdfs-site.xml

</configuration>
<property>
     <name>dfs.block.access.token.enable</name>
     <value>true</value>
</property>

<property>
     <name>dfs.client.read.shortcircuit</name>
     <value>false</value>
</property>

<property>
     <name>dfs.namenode.kerberos.principal</name>
     <value>hdfs/_HOST@REALM</value>
</property>
</configuration>

3) 正しいバージョンのjavaがインストールされているかを確認する。追加されるクライアントノードで以下のコマンドを実行する。 

ls -l `which java`
java -version
alternatives --config java
- もしオルタナティブは正確なjavaバージョンに指定していなかったら、以下の手順を実行すること。インストレーションに応じてJDKパスを変更すること。 
alternatives --install /usr/bin/java java /usr/java/jdk1.7.0_51/bin/java 3 --slave /usr/bin/javac javac /usr/java/jdk1.7.0_51/bin/java
alternative --config java
- 好もしいjavaバージョンを選択した。 

4) JDKバージョンに対応するJCE (Java Cryptography Extension)ファイルをダウンロードし、解凍する 

新しく追加したクライアントノードのディレクトリ /usr/java/default/jre/lib/security/ の下に the local_policy.jar and US_export_policy.jar ファイルを配置する

5) 適切なユーザでログイン
 注: ユーザのプリンシパルが既に作成されていることを想定する

 

6) hadoop ファイルシステムコマンドを実行して確認する

hdfs dfs -ls /

コメント

Powered by Zendesk