第５９日目：ロードバランサーいきなり実戦投入です・・・
|
どうも、('A`)です。
久しぶりの日記です。
先週は水曜日から体調を崩して２日お休みしていました。
でも最近の風邪ってお腹だけとてつもなく痛くなる、っていうのもあるんですね・・・
トイレに籠りっぱなしになって身動き取れなくなってました。
あ、('A`)の方はもう大丈夫です。ただ、PIEのネットワークがまだ不調です。。。
その為、日記も書けない位に目まぐるしい復旧作業が続いていました。
PIEのネットワークで今出ている問題としてはこの２つがあります。
1) ある特定のサーバたちだけ、不定期にネットワークから接続できなくなる。
2) あるサーバから別のサーバへpingが通じない。
このうち、1) については日本時間の先週土曜日(6/7)に日本側・米国側のスタッフで監視を
行なっていたところ、昼頃に同じ現象が発生しました。
その際PIEのDavid社長から「PVSTサービスが再収束の為にダウンした」と連絡を受けました。
(原文は "The PVST service went down due to re-convergence." )
えーと、convergenceって「収束」って意味だよなあ・・・って、「再収束」って何ですか？
で、色々お話した結果、スイッチの設定(特にVLAN周り)をいじると今回の様な接続不良が
発生する様なので、スイッチの設定変更が発生する作業を一時的に見合わせて今週月曜日
から色々とメンテナンス(調査・修正作業)を続けています。
もう少しで治るのかな？
また 2)については現在確認できている限りでは特定のIP大台(例えば206.223.151.xxx)の
幾つかのサーバで該当のサーバにpingが繋がらない(タイムアウトする)状況です。
これも調査中です。。。
これとは別に、最近「DNSサーバが重くなってないか？」という事が心配されてきた為、
急きょDNSサーバの監視の仕組みを作り始めています。
ただ、弊社のDNSサーバはApacheを動かしていないので、ブラウザからダイレクトに確認、
というやり方は使えません。
(これはDNSサーバに負荷を極力かけない為に特定のサービスしか動かしていないからです。)
なので、
・ロードアベレージがどのくらいか？
・CPUの空きはどのくらいあるか？
・SWAPは発生していないか？
という点を定期的に(10分間隔くらいかな)データとして記録し、それを特定のサーバで
集計して計測できる様にしようと。
で、仕組みはいつもの通りroot兄(・∀・)に作ってもらいました。
この計測結果を見ながら、DNSサーバ(コンテンツ・キャッシュ)の状況を監視しています。
と同時に、負荷が比較的高いT-Bananaサーバに対して、「サーバ内にDNSキャッシュの
仕組みを入れる」という事も始めました。
T-Bananaって以前のbananaサーバよりもよく動くんですよ。
よく動くという事はそれだけ「逆引き」とか「キャッシュの参照」とかのリクエストも
多くなる、という事です。
そうなると以前から動いているDNSキャッシュサーバ(実はbananaサーバで作られています)
へのリクエストも多くなり、キャッシュサーバが忙しくなる→応答が遅くなる？という
可能性も出てくるわけです。
もし各時がDNSキャッシュを保持しているなら、サーバ内である程度は解決できるので
キャッシュサーバの負担も軽くなるんじゃないかなあ、と考えています。
とまあ、色々と作業したり仕組みを作ったりしていましたが、急きょ('A`)でコツコツと
開発していたロードバランサーをula(べっかんこ)で実戦投入する事になりました。。。
で、19:25現在の状況を報告しますと、、、
・ロードバランサーはT-Bananaで1台作りました。
→ あくまでも「振り分け機能」だけで、「相互監視機能(いわゆるheartbeat)」は
今回組み込んでいません。(というか、まだできていないんです・・・)
・ロードバランサーに対応した新sameサーバをT-Bananaで2台作りました。
→ 最終的には4台体制にする予定です。
たぶん気づいた人もいるかもしれませんが、ula(べっかんこ)のTOPページからリンクが
貼られていると思いますので、試しに使って頂けると幸いです。
今のところは動いている様ですが、('A`)的にはドキドキものです。
(だって、「ぶっつけ本番」なんですから・・・)
どういう風に作ったのかについては、明日改めて書こうかなと思っています。
すごく久しぶりの日記ですが、近況報告みたいになっちゃいましたね。
明日はもうちょっと書けるんじゃないかなと思いますので、ご容赦を。
(ただ、またバタバタしたら厳しいかも・・・ちょっと弱気です。)
それでは、また
|
|
|
|
|