Main Contents
2010年09月30日
S製作所 障害対応
ここしばらく、ずっとトラブル続きの S製作所。朝、電話があって(受けたのは自分じゃなかった)、ありゃりゃと思ってたらやっぱり行くことに。
元受の S社内のサーバに蓄積される発注データを下請け各社がISDNのダイヤルアップ回線経由でFTPで取りにに行って、そのデータをもとに納入箱に差す かんばんだとか納品書とか出荷明細を出力するシステムなんだけれど、なにやら受信中に PCが止まるとかなんとかで受信データが壊れるとか何とか。
FTPサーバとのやり取りでは、最初に受信対象のファイル一覧を作っておいて、一ファイルづつ受信しては、サーバのファイルを削除するという仕組みになっているから、受信中にPCが止まるとかで、中途半端な受信ファイルが発生したとしても、再度やり直せばサーバ側にまだ残っているから、中途半端なファイルは自動的に上書きされてしまうリカバリ方式のはず。
中途半端なままで、かつサーバからも消えているというのは、稼動して 7年位。現在 30社くらいで毎日各社で走らせているこの仕組みで今までなかったこと。
そもそもなんでPCが止まるのか。
元々事務所の電源が異様に不安定で、設置してある UPSが一日中カチコチ音を立てているような状況下であるから、電源の影響で PCが不安定になっているんだろうと予想を立て、かんばんプリンタだけで使っている UPSから PCも電源を取り安定化させれば解決だろうということで出動。
一時間かけて到着。
まず現況確認。破損している注文データファイル確認、破損状態で取り込んでしまったデータをDBから削除、破損分データファイルの再配置を S社システム担当の方に依頼…、電話にだれもでんわ。
連絡つかないまま、お昼たいむ。
午前中にさっさと終わらせて帰り道のコンビニかどっかの駐車場でおべんとの予定だったのに。
午後。割とのんびり気味に帰ってきたのに、打ち合わせとやらでなかなか連絡つかず。
やっとこさ連絡取れて、データ再セットしてもらえたのは14時前くらいだったか。電源をUPSに切り替えたし、さくっと取り込みなおして、かんばん発行して帰ろうと思って走らせてみたらば、ばばんと症状再現。
つまり原因の予想は大外れ。
全く同じ地点でファイル壊れ、サーバからも無くなってる。
データ再々セット依頼しつつ、PC側の問題を疑い memtest86+でメモリ破損チェックと、chkdskでディスクの確認したがどっちも問題なし。15時頃、かんばん発行業務の時間になってしまったので中断。原因のわからない状態なので、またデータ消えても困るので、 FTPコマンド叩いて手動で受信して取り込み。
かんばん発行待ちロスタイム。
障害対応再開。理由がさっぱりわからない。
受信してコケたファイルをサーバに逆送信し、取り込みなおしてみても現象が出ないし。
さっきの再発で再起動したときの、エラー報告の送信画面が出ていたので エラー報告送信。すると、「これはデバイスドライバによって発生した」というWebページが表示された。
わははでかした。これでもう勝ったも同然。どのデバイスドライバかまでは教えてくれなかったけれど、大した問題じゃない。
BlueScreenViewダウンロードしてきて、起動した瞬間もう犯人確定。
itusbcom.sys = NECのターミナルアダプタ Atermシリーズの USBドライバ。
ISDNのダイヤルアップには Aterm使ってる。そして飛ぶのは通信中。
軽くぐぐって見ると、それ原因で青画面発生という記事も見つかった。
今、S製作所で かんばん発行に使ってるPCは、うちからの貸し出し。私の私物PC。
障害切り分けで貸し出し中で、今月はじめに入れ替えたばかり。そのときドライバも最新(2001年12月の日付だが最新なんだから仕方ない)のものを入れているので、ドライバを更新という手段は取れない。
というわけで、TAを使わない方向で行くことにする。
非常に幸いなことにインターネット接続兼本社へのVPN接続に使っているルータが ISDN対応/かつ慣れてるYAMAHAルータのRT58iだったのでTAの S/T点の線を繋ぎ買え、ちゃっちゃっちゃーと S社のダイヤルアップ窓口に接続する pp設定を加え、ip route設定して FTPサーバへの接続で自動で回線接続するようにしてしまう。
何度かテストしてみたが特に問題なさそうなので障害対応終わり。17時半。
午前中だけのはずが、丸一日時間取られてしまったぞ。
エラー報告なんかしたってMicrosoftが得するだけだとかいって「送信しない」一択の人も多いようですが、
エンド ユーザーが問題を解決するのに役立つ情報がある場合、Windows は、その情報へのリンクを含むメッセージをユーザーに表示します。
これが幾度も原因追求の助けになってくれてるので(万策尽きてる状態から一気に解決への道筋が示されるレベル)、特に問題ない場合は基本的に送信する派の私。
場合によっては(Vista以降?)具体的なデバイスドライバ名とか、さらには最新版の場所まで教えてくれたりすることもあるので、使わない手はないと思うんですよね。
読み取る/活用するにもある程度知識要求されたりすることもあるかもしんないけど。
帰り道。夏目運輸の超遅い超黒煙吐きまくりトラックに悩まされる。
排気ブレーキのスイッチ入れっぱなしなのか、登り坂でも平地でも数秒おきくらいにブレーキランプが付く。
なんでもないところで減速する (30km/hとか)、カーブの前で止まりそうなくらいに減速する、対向車が来ると減速する、道幅がちょっとでも狭くなると減速する、カーブはセンターライン割りまくり。
もしかして大型免許持ってないバイトにトラック回送させてるんじゃないの? ってレベル。
途中に退避場所がいくらもあるのに全く譲らない。
30分くらい大名行列の二番目をいらいらしながら走る羽目に。
瑞浪の狛犬のあたりでようやく追い越し。安全(かつ適法)に抜けるポイントがなかなかないのよね。
- by umedak
- at 2010年09月30日 00:14
- in Works