Pivotal Knowledge Base

フォローする

Namenodeログの "Space available on volume 'null' is below threshold" とセーフモード

環境:

PHD 1.x

事象:

2014-01-29 13:27:48,856 WARN org.apache.hadoop.hdfs.server.namenode.NameNodeResourceChecker: Space available on volume 'null' is 103645184, which is below the configured reserved amount 104857600
2014-01-29 13:27:48,856 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: NameNode low on available disk space. Entering safe mode.
2014-01-29 13:27:48,856 INFO org.apache.hadoop.hdfs.StateChange: STATE* Safe mode is ON.
Resources are low on NN. Please add or free up more resources then turn off safe mode manually.  NOTE:  If you turn off safe mode before adding resources, the NN will immediately return to safe mode.

NameNode サーバ上でNameNodeのメタデータを保存する空き容量の情報

$ df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/systemvg-rootlv
                      4.0G  3.7G   99M  98% / 

背景:

NameNodeはhdfs-site.xmlの dfs.namenode.name.dir で指定されたパラメータのパス配下にメタデータ情報を蓄積する。別のパラメータとしてhdfs-site.xmlの dfs.namenode.resource.du.reserved で指定した容量で、NameNode の操作を続けるために必要な空き容量を制限する。もしもNameNodeの操作利用可能な空き容量の制限として dfs.namenode.resource.du.reserved で指定した設定値を下回ると、NameNodeは読み出し専用のHDFSのセーフモードに入る。その場合、手動でNameNodeのセーフモードを強制解除しても、またすぐにセーフモードに戻ってしまう。これは偶発的なメタデータの破損を防ぐためのチェック機能である。

 通常、hdfs-site.xml内の dfs.namenode.resource.du.reserved を明示的に指定していない場合の値は 104867600 bytes (~100 MB) である。hdfs-site.xmlは必要に応じて異なる値に更新できる。

エラーメッセージにあるように、容量"NULL"は誤解を招くことがある。

注意: 追加説明として、 dfs.namenode.resource.checked.volumes (明示的に指定された値)によってコントロールされた他のディレクトリやdfs.namenode.resource.du.reservedに達するのを監視できるかもしれない。

回避策:

以下の項目では確実にNameNodeをセーフモードから解除するステップを記載する。

  • 可能であればサーバで利用していない領域やディレクトリから不必要なファイルを取り除き 、パーティションボリュームの利用可能なサイズを増やす。
  • もし全ての全てのサーバ上でディスク容量が不足している場合ディスクを追加する。
  • 一度、ディスク領域不足の問題を解決したら、セーフモードから抜け出す下記のコマンドを実行するsudo -u hdfs hdfs dfsadmin -safemode leave
  • NameNodeはセーフモードから抜け出せたか確認する: sudo -u hdfs hdfs dfsadmin -safemode get

注意: 注意深く計画を立てHadoopクラスタを利用するために必要な容量を決める必要がある。 

その他:

  • dfs.namenode.resource* に関するパラメータ: HDFS-4227

コメント

Powered by Zendesk