大事件の後始末？

年末と年始に起こしてしまった大事件の後始末がまだだったので、ここで片づけます。事件の顛末は「年末の大事件？」と「年始の大事件？」をそれぞれ参照して下さい。

まずは年末の大事件から、サーバーは稼働しているのにリモート接続出来なくなり、新しいSDカードを購入してゼロから仕組みを構築した件です。持ち帰った障害が発生したシステムが入っているSDカードを使って検証機でブートして確認したところ、外部ストレージ接続でエラーが発生したためセーフモードで起動していたことがリモート接続出来ない直接的な原因でした。セーフモードではリモート接続のためのシステムが起動しないためです。セーフモードになってしまった本質的な原因は、アーカイブ用の外部ストレージ(HDD)を起動時にパーマネント接続する設定にしていたところ、USBバスパワー(外部電源無し)での駆動だったため、サーバーの起動とHDDの起動タイミングが合わず、システムの起動にHDDの立ち上がりが間に合わなかった事が原因でした。

現在は、全体の電源容量を抑えるために外部電源有の外部ストレージに変更し、恒久的な接続設定も行っていません。月次でアーカイブするタイミングでマウントするようにしています。全体の電源容量を抑えるようになったいきさつですが、最強寒波が日本列島をフリーズした後、USBカメラが電圧に対して非常に過敏に反応するようになり、多い時には日に数回USB接続が切れるようになってしまい、電圧の変動を疑ったためです。外部ストレージを電源有りに変更しても再現しているので根本原因は別にあるのかもしれませんが。。。カメラ弐号機とコンセントを共有していることはこの際内緒です(笑)

年始の大事件では再起動と停止に係るオペレーションミスからサーバーを停止させてしまったため、コンソールからコマンドを入力しなくても監視サーバー(ZABBIX)経由で再起動出来るようにして、極力コマンド入力回数を減らすようにしました。

これらの大事件のおかげで、弾丸ツアー「新幹線編」と「クルマ編」を実行に移すことになり、経験値が上がりました。また、USBカメラが過敏に反応することへの対策として、瞬断された後、ZABBIXを使ってカメラプロセスを再起動する仕掛けを仕込むスキルが身に付きました。最新版では瞬断によるカメラ切断と再接続時にZABBIXからメール通知が来るように設定しています。また、動体検知した際の静止画を自動でOneDriveへアップロード(同期)する設定も追加しました。これまでマニュアルでやっていた作業を一気に自動化してみました。いやー自動化ってやっぱり便利ですね(笑)

いろいろ起きると面倒ではありますが、それの対策を考える事でスキルが上がっていくことになり、トラブルは迷惑だけどある意味有難いことではあります。結局「日々精進」それに尽きます。