Pivotal Knowledge Base

フォローする

libcurlを用いたサンプルWebHDFS Cアプリケーション

本記事は、Cアプリケーション作成の際、webhdfsに接続する必要性がある場合に有用である。

コードの入手と構築

  1. git clone https://github.com/randomtask1155/WebHDFS
  2. cd WebHDFS
  3. make

試行

この例では、webhdfsTestというCアプリケーションで、webhdfs REST APIを使用してディレクトリを作成する。本テストアプリケーションのAPIコールに関する詳細情報は、以下のApacheドキュメントを参照されたい:
http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/WebHDFS.html

まず、webhdfsTestを使用しディレクトリを作成する

[gpadmin@hdm1 playground]$ ./webhdfsTest 172.28.16.158 50070 "webhdfs/v1/TESTDIR/rsasoc/v1/sessions/data/2014/5/17/15/27?user.name=gpadmin&op=MKDIRS&permission=777"

running http put: http://172.28.16.158:50070/webhdfs/v1/TESTDIR/rsasoc/v1/sessions/data/2014/5/17/15/27?user.name=gpadmin&op=MKDIRS&permission=777

Response:
{"boolean":true}

注:

172.28.16.158 - Namenode の IP
50070 -(デフォルト値)dfs.http.address に設定

次に、HDFS上にディレクトリが作成されていることを確認する

[gpadmin@hdm1 playground]$ hdfs dfs -ls /TESTDIR/data/2014/5/17/15/
Found 1 items
drwxrwxrwx   - gpadmin hadoop          0 2014-06-09 15:56 /TESTDIR/data/2014/5/17/15/27

コメント

Powered by Zendesk