2023/08/02 7月31日に発生したWhatYaの障害について

平素よりWhatYaをご利用いただき、ありがとうございます。
2023年7月31日5時50分~19時20分までに発生致しました、WhatYaの不具合につきまして経緯報告をさせて頂きます。
該当期間中は御社お客さま、オペレーターさまに、ご不便をお掛けし大変申し訳ございません。
障害発生時には早急に復旧出来るように努めてまいります。


発生事象について

発生日時

2023年7月31日 5:50~ 19:20頃まで

内容

WhatYaをご利用のお客様がボタンをクリックしても適切な回答がなされず、初期化エラーと表示が出る状況が発生いたしました。

原因

WhatYaが動作しているプログラム群にて、定期的・自動的に部分的なプログラムを再起動(Googleのサービス側で再起動を実施)しており、自動再起動の際にプログラム群の元となるイメージをダウンロードしております。
そのダウンロードするイメージのうち、ログ収集プログラムに不具合があり、サーバー再起動ができない状態が発生したため、サービスが停止いたしました。(プログラム構成によるエラーが発生)

対策

エラー発生起因であるログ収集プログラムのパッケージ構成を、Googleのサービス側で
実施するプログラム群の定期的・自動的に再起動する際に問題なく再起動できるようにアップデートを実施いたしました。
また今後同様の事象が発生した際には、検知ができるアラートを設定いたします。

経緯

2023/07/31 5:50
ログ収集プログラムのパッケージに不具合があり、サービスが停止。
(プログラム構成によるエラーが発生)

2023/07/31 11:00頃
弊社にて、サービス停止が起こっていることを確認。

2023/07/31 11:34
社内にて状況確認を行い、インシデント記事を更新。
https://solairo.atlassian.net/wiki/spaces/WHAT1/pages/2723971073

2023/07/31 12:20
障害発生のメールを関係者各位へ配信。

2023/07/31 16:20頃
管理画面側の復旧が完了。

2023/07/31 19:20頃
エンドユーザー側の復旧が完了。正常に動作する状況に回復。

2023/08/1 19:00
原因の特定が完了。


この度は、ご迷惑をおかけしましたことを、お詫び申し上げます。
今後ともWhatYaを何卒よろしくお願いいたします。