メモ : 楽天カード障害

データセンターそのものの電源障害なんてそう滅多にあるものではないだろうし、基本的には障害が発生しない前提で考えてしまう案件だと思う。

でもBCPなんかはそれでで障害が発生したときにいかにして事業を継続させるのかってところに主題を置いているので、たとえ縮退であってもサービスの継続は視野に入れておくものだと思う。逆にいえばデータセンターがダウンしたことでサービスの継続が不可になることは事業として許容されているともとれてしまう。

決済が止まるっていうのは非常にヤバいんじゃないのかな。

データセンターは電源設備が冗長化されているので電源に関する心配はほとんどないといっていい。しかしそれでも電源に異常が発生する可能性はあって、機器の電源ケーブルを誤って抜いてしまったとか、配線関係のトラブルがあったとかで電源断へ繋がることは多い。

電源障害は厄介で途絶えてしまうとなんの対処もできぬまま機器は停止してしまう。電源断による非常処理すらできないから。

なのでデータセンターであっても電源は冗長化するのが一般的だと思っていた。例えばA系B系などとして複数の電源ユニットを持つ機器を利用したり、通信経路の冗長化を行って電源断に備えたりとか。それができない場合はUPSを導入したりもする。

今回楽天をはじめ各企業がサービス停止に陥ったということは、これらの備えをすることなく、電源に善福の信頼を置いていたって事なんでしょう。電源が落ちないことが前提のシステム……当然通信回線もダウンしないシステム……そんなこと考えるのだろうか。

今回は電源というかデータセンターの障害でBCPが不十分と思えると明るみになったけれども、実はもっと基礎的な所でも冗長化されていないとかリカバリが想定されていないとか結構危ういんじゃないかと他人事ながら心配になってしまった。

先日のデータセンターダウンの影響でデータがどこか壊れているって感じでしょうね。

完全復旧できなかったと考えるが自然でしょうから、元々システムがダウンを想定していなかったということなのでしょう。

電源の切り替え時に作動する無停電機能を外して作業していた。

つまり無停電機能を使わずに普通に電源を交換したと。

データセンターでなくとも、にわかには信じがたい作業手順。

おそらく独立しつつも連携していると思われる複数のサービスが一気にダウン。それも電源となるとデータの不整合も数多く発生しているのでしょう。

いざ再開となっても排他処理の途中で止まっていたりして一筋縄ではいかないんじゃないか。

完全復旧宣言が出てました。

暫定復旧していたものの、4日以上要したというのはかなりの痛手だったと思います。

こんな電源事故はそうそうあるものではないのですが、BCPとはこういった事故に備えるものですし、もし想定していたなら許容リスクとしていたことになりますし、今後に備えて対策は必至でしょう。