Pivotal Knowledge Base

フォローする

Hadoopサービスの機能検証方法

HDFS

sudo -u hdfs hdfs dfs -ls /
sudo -u hdfs hdfs dfs -mkdir /test
echo "this is a test" > /tmp/file; chmod hdfs:hdfs /tmp/file
sudo -u hdfs hdfs dfs -copyFromLocal /tmp/file /test
sudo -u hdfs hdfs dfs -cat /test/file
sudo -u hdfs hdfs dfs -rm -r /test

全データノードの起動を確認

sudo -u hdfs hdfs dfsadmin -report

 

Mapreduce

MapreduceによりPIの値を計算する。以下の例では、第一引数は”10”であり、これはmapタスクの数を示している。この値は、各ノードで満遍なくコンテナが実行されるように、2 x <ワーカーノード数>と設定すべきである。

sudo -u hdfs hadoop jar /usr/lib/gphd/hadoop-mapreduce/hadoop-mapreduce-examples-*.jar pi 10 1000

ワードカウントを実行する

自身でテキストファイルを作成するか、もしくは /var/log/messages* のようなログファイルをコピーする。またはほかのサンプルデータ集合をダウンロードすることも可能(www.gutenberg.org)。

echo "these are some words" >> /tmp/file
echo "these are some more words" >> /tmp/file
chown hdfs:hdfs /tmp/file
sudo -u hdfs hdfs dfs -mkdir /in
sudo -u hdfs hdfs dfs -copyFromLocal /tmp/file /in
sudo -u hdfs hadoop jar /usr/lib/gphd/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount /in /out
sudo -u hdfs hdfs dfs -cat /out/part*

ベンチマークテストを実行

HBASE

sudo -u hbase hbase shell
hbase(main):002:0> create 'test', 'cf'
hbase(main):003:0> list 'test'
hbase(main):004:0> put 'test', 'row1', 'cf:a', 'value1'
hbase(main):005:0> put 'test', 'row2', 'cf:b', 'value2'
hbase(main):006:0> put 'test', 'row3', 'cf:c', 'value3'
hbase(main):007:0> scan 'test'
hbase(main):008:0> get 'test', 'row1'
hbase(main):010:0> disable 'test'
hbase(main):011:0> drop 'test'
hbase(main):012:0> quit

HIVE

for i in {1..10000} ; do echo $i  >> /tmp/hivefile; done
chown hdfs:hdfs /tmp/hivefile
sudo -u hdfs hdfs dfs -mkdir /test
sudo -u hdfs hdfs dfs -copyFromLocal /tmp/hivefile /test
sudo -u hive hive
hive> CREATE TABLE pokes (foo INT);
hive> SHOW TABLES;
hive> DESCRIBE pokes;
hive> LOAD DATA INPATH '/test/hivefile' OVERWRITE INTO TABLE pokes;
hive> select * from pokes;
hive> select foo from pokes;
hive> DROP TABLE pokes;
hive> quit;

コメント

Powered by Zendesk