Pivotal Knowledge Base

フォローする

Namenode HA 設定を行った HDFS 上での Hue デプロイ方法

環境

  • PHD 3.x

導入

Hue のファイルブラウザーが Namenode HA 設定を行った HDFS にアクセスできるようにするため、Hue サーバー上に Hadoop HttpFS コンポーネントのインストールが必要である。 

PHD 3.0.1.0 においてもなお、Hadoop-HttpFS パッケージから参照されるディレクトリーが、"hdp" と呼ばれる Hortonworks の Hadoop リリースのデフォルトインストールディレクトリー配下になっている箇所がいくつか存在する。したがって、Hadoop HttpFS をインストールした後も、それによって使用されるいくつかのファイルに対し追加で変更を行う必要がある。

デプロイ手順

1. Hue サーバー上に Hadoop HttpFS をインストール 

[root@admin ~]# yum install hadoop-httpfs

2. hadoop-httpfs サービスへのリンクを作成。

[root@admin ~]# ln -s /usr/phd/3.0.1.0-1/etc/rc.d/init.d/hadoop-httpfs /etc/init.d/hadoop-httpfs
[root@admin ~]# ls -l /etc/init.d/hadoop-httpfs
lrwxrwxrwx 1 root root 48 Oct 9 01:45 /etc/init.d/hadoop-httpfs -> /usr/phd/3.0.1.0-1/etc/rc.d/init.d/hadoop-httpfs

3. /usr/phd/3.0.1.0-1/etc/rc.d/init.d/hadoop-httpfs ファイルの変更。

- "hdp" で検索し、それらを "phd" に置き換える。

export HADOOP_HOME="/usr/phd/current/hadoop-$SERVICE_NAME/../hadoop-httpfs"
ln -s /usr/phd/current/hadoop-httpfs/webapps ${DEPLOYMENT_TARGET}/

- stop() 関数に、"export CATALINA_" から始まる 2 行の export 文を追加。

stop() {
log_success_msg "Stopping ${DESC}: " export CATALINA_BASE=${CATALINA_BASE:-"/var/lib/hadoop-httpfs/tomcat-deployment"}
export CATALINA_PID="$PIDFILE" # FIXME: workaround for BIGTOP-537
......

4. /usr/phd/3.0.1.0-1/hadoop-httpfs/sbin/httpfs.sh ファイルにおける、以下の行をコメントアウト。

export CATALINA_BASE=/etc/hadoop-httpfs/tomcat-deployment 

5. httpfs-config.sh へのリンクを作成。

[root@admin 3.0.1.0-1]# mkdir /usr/phd/current/hadoop-httpfs/libexec
[root@admin 3.0.1.0-1]# ln -s /usr/phd/current/hadoop-client/libexec/httpfs-config.sh /usr/phd/current/hadoop-httpfs/libexec/httpfs-config.sh

6. Hue サーバーの /etc/hadoop-httpfs/conf/httpfs-site.xml を変更し、HttpFS がクラスターにアクセスできるよう設定。

<property>
<name>httpfs.proxyuser.hue.hosts</name>
<value>*</value>
</property> <property>
<name>httpfs.proxyuser.hue.groups</name>
<value>*</value>
</property>

7. Ambari Web UI の core-site.xml に以下のプロパティーを追加。追加内容を反映させるには、HDFS の再起動が必要であることに注意。

<property>
<name>hadoop.proxyuser.httpfs.groups</name>
<value>*</value>
</property> <property>
<name>hadoop.proxyuser.httpfs.hosts</name>
<value>*</value>
</property>

8. Hue サーバーにて、/etc/hue/conf/hue.ini の [hadoop]、[[hdfs_clusters]]、[[[default]]] といったサブセクションの内容を修正。 

 fs_defaultfs

 core-site.xml の fs.defaultFS プロパティー

 webhdfs_url

 HttpFS サーバーの URL

例:

fs_defaultfs=hdfs://phd301a
webhdfs_url=http://admin.hadoop.local:14000/webhdfs/v1

9. hadoop-httpfs サービスを起動。

[root@admin conf]#  service hadoop-httpfs start

10. hue サービスを再起動。

[root@admin conf]#  service hue restart

参照情報

インターナル JIRA チケット HD-12084

コメント

Powered by Zendesk