ANAのシステム故障はイーサネットスイッチが原因
シスコが改善策を検討
3月22日に国内線旅客システム「エイブル」で発生した障害について、全日本空輸(ANA)は3月30日、4台あるデータベース(DB)サーバーの同期処理を中継する「ネットワーク中継機」の故障が原因だったと発表した。障害発生により、篠辺修社長ら経営陣3人の報酬を1カ月間減額する処分を下した。
ANAによると、日本ユニシスが構築した国内線旅客システムのうち、故障したのはネットワーク中継機として使用していた、米シスコシステムズ製イーサネットスイッチ「Catalyst 4948E」。一般的に、有線LANによるネットワーク上の機器などを接続するために使用するもので、障害が発生したシステムでは、4台あるDBサーバー同士を接続するのに使われていた。ネットワーク用語では、「スイッチ」と略されることが多い。
スイッチが故障したことで、DBサーバー間のデーターの整合性が保てなくなるため、自動的にサーバーを停止する機能が作動。本来であれば、スイッチが故障すると「故障シグナル」を発信し、自動的に予備機に切り替わる設計になっていたが、今回はシグナルが発信されず、予備機に切り替わらなかった。
障害発生を受け、スイッチがシグナルを出さない状況でも、DBサーバーからスイッチの故障を検知できるよう、24日にシステムを改修。不具合が発生したスイッチは、製造したシスコが解析して故障箇所が判明したため、シスコが改善策を検討しているという。
また、国内線旅客システム全体を点検し、社外の知見も活用した信頼性を向上させるプロジェクトチームを4月に設置。6月まで3カ月かけ、対策を検討する。
今回のシステム障害が発生したのは、22日午前3時44分。4台あるDBサーバーのうち、1台が停止。残り3台で運用していたが、午前8時22分に4台すべてが停止した。
その後、午前8時59分に1台を再起動出来たが、DBサーバーを複数立ち上げると不安定な状態が続き、午前9時27分に1台のDBサーバーで運用することを決めた。これにより、空港の自動チェックイン機や旅客係員が使う端末の使用再開に向けて準備作業を開始し、午前11時30分に搭乗手続きに関しては業務を再開できた。
午後0時46分には予約発券機能が復旧。ANAのウェブサイトによる国内線サービスについても、午後8時10分に復旧した。
障害の原因となったイーサネットスイッチについては、23日午前1時14分に交換。午前3時5分にDBサーバーの構成を通常の4台に戻した。午前4時14分には、最後まで障害が残っていたエイブルと旅行会社など他社のシステムを接続する部分も復旧した。
システム障害により欠航した便数は、22日はANAの国内線だけで146便、23日が2便の計148便。影響旅客数は22日が約1万8200人、23日が200人の合わせて約1万8400人にのぼった。遅延便も22日にANAの国内線だけで391便発生し、約5万3700人に影響が及んだ。
また、同じシステムを使用するスターフライヤーとエア・ドゥ、ソラシドエア(旧スカイネットアジア航空)、アイベックスエアラインズも影響を受け、ANAと同じトラブルが発生。欠航や遅延が生じた。
今回の障害発生により、7万人以上の利用者に影響が及んだことから、ANAは篠辺社長ら3人の経営陣に対し、1カ月の報酬減額処分を3月30日付で下した。篠辺社長が20%減額、内薗幸一副社長と、業務プロセス改革を担当する取締役の幸重孝典氏が、それぞれ10%減額となる。
現在の国内線旅客システムは、2013年7月に稼働。今回の障害発生まで、システムが停止するトラブルは起きていなかった。通常期の予約販売は1台のサーバーで対応できるが、繁忙期は2台分の処理能力が必要だとして、その2倍にあたる4台でシステムを構築した。
現行の一世代前のシステムでは、2007年5月27日にサーバーのメモリ故障、2008年9月14日に人為的なミスによる障害が発生したが、今回のような顧客データベースの同期に関するトラブルではなかった。2007年のトラブルでは130便が欠航、遅延が464便にのぼり、6万9300人に影響が生じた。2008年は53便が欠航、276便が遅延し、5万4300人に影響が及んだ。
同期処理に障害
ANAによると、日本ユニシスが構築した国内線旅客システムのうち、故障したのはネットワーク中継機として使用していた、米シスコシステムズ製イーサネットスイッチ「Catalyst 4948E」。一般的に、有線LANによるネットワーク上の機器などを接続するために使用するもので、障害が発生したシステムでは、4台あるDBサーバー同士を接続するのに使われていた。ネットワーク用語では、「スイッチ」と略されることが多い。
スイッチが故障したことで、DBサーバー間のデーターの整合性が保てなくなるため、自動的にサーバーを停止する機能が作動。本来であれば、スイッチが故障すると「故障シグナル」を発信し、自動的に予備機に切り替わる設計になっていたが、今回はシグナルが発信されず、予備機に切り替わらなかった。
障害発生を受け、スイッチがシグナルを出さない状況でも、DBサーバーからスイッチの故障を検知できるよう、24日にシステムを改修。不具合が発生したスイッチは、製造したシスコが解析して故障箇所が判明したため、シスコが改善策を検討しているという。
また、国内線旅客システム全体を点検し、社外の知見も活用した信頼性を向上させるプロジェクトチームを4月に設置。6月まで3カ月かけ、対策を検討する。
7万人以上に影響
今回のシステム障害が発生したのは、22日午前3時44分。4台あるDBサーバーのうち、1台が停止。残り3台で運用していたが、午前8時22分に4台すべてが停止した。
その後、午前8時59分に1台を再起動出来たが、DBサーバーを複数立ち上げると不安定な状態が続き、午前9時27分に1台のDBサーバーで運用することを決めた。これにより、空港の自動チェックイン機や旅客係員が使う端末の使用再開に向けて準備作業を開始し、午前11時30分に搭乗手続きに関しては業務を再開できた。
午後0時46分には予約発券機能が復旧。ANAのウェブサイトによる国内線サービスについても、午後8時10分に復旧した。
障害の原因となったイーサネットスイッチについては、23日午前1時14分に交換。午前3時5分にDBサーバーの構成を通常の4台に戻した。午前4時14分には、最後まで障害が残っていたエイブルと旅行会社など他社のシステムを接続する部分も復旧した。
システム障害により欠航した便数は、22日はANAの国内線だけで146便、23日が2便の計148便。影響旅客数は22日が約1万8200人、23日が200人の合わせて約1万8400人にのぼった。遅延便も22日にANAの国内線だけで391便発生し、約5万3700人に影響が及んだ。
また、同じシステムを使用するスターフライヤーとエア・ドゥ、ソラシドエア(旧スカイネットアジア航空)、アイベックスエアラインズも影響を受け、ANAと同じトラブルが発生。欠航や遅延が生じた。
今回の障害発生により、7万人以上の利用者に影響が及んだことから、ANAは篠辺社長ら3人の経営陣に対し、1カ月の報酬減額処分を3月30日付で下した。篠辺社長が20%減額、内薗幸一副社長と、業務プロセス改革を担当する取締役の幸重孝典氏が、それぞれ10%減額となる。
現在の国内線旅客システムは、2013年7月に稼働。今回の障害発生まで、システムが停止するトラブルは起きていなかった。通常期の予約販売は1台のサーバーで対応できるが、繁忙期は2台分の処理能力が必要だとして、その2倍にあたる4台でシステムを構築した。
現行の一世代前のシステムでは、2007年5月27日にサーバーのメモリ故障、2008年9月14日に人為的なミスによる障害が発生したが、今回のような顧客データベースの同期に関するトラブルではなかった。2007年のトラブルでは130便が欠航、遅延が464便にのぼり、6万9300人に影響が生じた。2008年は53便が欠航、276便が遅延し、5万4300人に影響が及んだ。