外付けRAID装置の障害からの復旧(2)
2007.10.06
某所にあるファイルサーバの障害に対応したときのお話.
外付けRAID装置の障害からの復旧(1)からの続きです.
ここでサーバの環境をまとめておきます.
・2台のサーバあり.それぞれに同型の外付けRAID装置を繋げている.
・2台のうち1台をサーバAとする.サーバAの外付けRAIDはRAID-Aと呼ぶ.RAID-Aはディスク8台,8台のディスクでRAID5.
・もう一台はサーバBとし,RAID-Bが接続されている.RAID-Bはディスク5台のうち,4台でRAID0+1とスペア1台.
今回,問題となっているのはRAID-Bのほう.ちなみに,RAID-Bのバックアップは無いんだそうです.
****
以下の手順で復旧しました.
1. RAID-Aの内容をサーバAの内蔵ディスクにコピー.サーバAを停止しRAID-Aを外す.
2. RAID-BのRAIDに関する設定値を詳細にメモ.後で全く同じ設定に戻せるように.
3. RAID-Aの設定を,RAID-Bと同じにする.
RAID0+1, ディスク数4,などなど
4. RAID-A再起動,RAIDの再構成が自動で始まる(おそらくこの時点でRAID-Aの内容は初期化されると思う).再構成後 RAID-A停止.
5. RAID-Aのディスクトレイ(ディスク入8個)を取り出し,RAID-Bのディス
クトレイ(ディスク入5個+空3個)と総取替え.サーバBにRAID-A接続.RAID-A,サーバBの順に起動.
6. サーバBで外付けRAIDを認識./dev/sda1として見えた./dev/sda1 を
/dev/hdb1 にコピー.
7. サーバB:/etc/fstab を編集して /dev/hdb1 を /dev/sda1をマウントしていたマウントポイントにmount.
8. サーバBにIDEディスク増設./dev/hde1作成./backupにマウント. 7. でmountした領域を/backupにコピー.
9. RAID-Aのトレイを戻し,RAID再構成,1.のコピーをRAIDにリストア.
RAID-AとRAID-Bは同型(evServ880)の物でしたがファームウェアのバージョンが異なっていました(RAID-Aが1.06d, RAID-Bが1.00d).さらに,内蔵のディスクドライブも120GBと160GBで異なっていました.なので,手順6のところが成功するのか全くの未知数でいちかばちかの作業でしたが,*運良く*うまくいきました.
もともと,ディスクの障害に対応するために導入したRAID装置ですが,そのRAID装置自身が障害となってしまった皮肉な事例でした.
よく見聞きすることですが,RAIDとバックアップは別物です.RAIDで運用していてもバックアップは必須ですね.身に染みました.
2007/10/26追記:
この記事のカテゴリを「ヘルプデスク」から「サーバ管理」に修正
カテゴリー:技術情報メモ