【障害報告】(GrpMail) 6/17に発生したアクセス障害について

2020.06.22.月
GrpMailGrpMail/障害報告

お客様各位

平素はGrpMailをご利用いただき、ありがとうございます。

2020年6月17日に発生した障害について、以下の通りご報告致します。
この度の障害により、ご不便をおかけしましたこと、お詫び申し上げます。

<時間>
2020年6月17日9時25分 〜 2020年6月17日9時55分

<状況>
GrpMailへアクセスが出来ない状態が発生しました

<原因>
サーバの負荷が許容範囲の20倍以上に上昇したことで、レスポンスが著しく
低下し、アクセスに障害が発生いたしました。
データベース上に長時間待ち状態のままリソースを消費しているプロセスが
多数発生しており、それが負荷上昇の要因となっておりました。

<今後の対応>
待ち状態のプロセスのタイムアウト値を、データベース初期値の8時間から
10分に変更いたしました。
通常は初期値の8時間でも問題ありませんが、GrpMailの処理から考えますと、
10分以上の待ち状態のプロセスは、異常と判断されます。
タイムアウト値を10分に設定することで、今後、同様の要因でサーバの負荷が
上昇することを防ぎます。

また、通常時、データベース内のプロセス数は20〜30程度を推移しているため、
プロセス数が40〜50を超えた時点でサーバ管理者へ警告を行い、状況の確認を
行うよう、サーバの監視を強化いたします。

今回直接の原因となったプロセスは、長時間待ち状態にあったプロセスであり、
既に処理自体が終わっているか、タイムアウトしている状態と考えられます。
これら待ち状態のプロセスが発生する原因を調査し、根本的な改善策についても、
あわせて検討して参ります。

安定したサービスのご提供ができるよう、より一層努力いたして参ります。
ご迷惑をおかけしましたこと、重ねてお詫び申し上げます。

キー・ポイント株式会社 GrpMailサポート
営業時間: 月〜金 10:00〜17:00