【ぷろじぇくとぞうさん】　～E-Bananaサーバ構築日記～

レンタルサーバー
BIG-server.com

簡単・はやい・大容量・どんな目的にもマッチするレンタルサーバー

HOME	プライス	お見積もり・プラン選択	お申し込み	ユーザーサポート	お問い合わせ

2010年3月1日の大規模なサーバーテロ攻撃に関するステートメント

■ 【ぷろじぇくとぞうさん】　～E-Bananaサーバ構築日記～

1日目	2日目	3日目	4日目	5日目	6日目	7日目
8日目	9日目	10日目	11日目	12日目	13日目	14日目
15日目	16日目	17日目	18日目	19日目	20日目	21日目
22日目	23日目	24日目	25日目	26日目	27日目	28日目
29日目	30日目	31日目	32日目	33日目	34日目	35日目
36日目	37日目	38日目	39日目	40日目	41日目	42日目
43日目	44日目	45日目	46日目	47日目	48日目	49日目
50日目	51日目	52日目	53日目	54日目	55日目	56日目
57日目	58日目	59日目	60日目	61日目	62日目	63日目
64日目	65日目	66日目	67日目	68日目	69日目	70日目
71日目	72日目	73日目	74日目	75日目	76日目	77日目
78日目	79日目	80日目	81日目	82日目	83日目	84日目
85日目	86日目	87日目	88日目	89日目	90日目	91日目
92日目	93日目	94日目	95日目	96日目	97日目	98日目
99日目	100日目	101日目	102日目	103日目	104日目	105日目
106日目	107日目	108日目	109日目	110日目	111日目	112日目
113日目	114日目	115日目	116日目	117日目	118日目	119日目
120日目	121日目	122日目	123日目	124日目	125日目	126日目
127日目	128日目	129日目	130日目	131日目	132日目	133日目
134日目	135日目	136日目	137日目	138日目	139日目	140日目
141日目	142日目	143日目	144日目	145日目	146日目	147日目

目次に戻る

第１２日目：Coffee Break ～64bitとメモリ容量について～

どうも、('A`)です。
昨日taspoカード(自販機でタバコを買う時に必要になる身分証明カード)が('A`)のところに
届きました。さっそくチャージ機能でお金を入れようとタバコの自販機まで行ったのですが
('A`)の住んでいる札幌では5月1日からのスタートなので、何もできずにトボトボと会社に
戻るはめに・・・
しかも会社に戻ったら鯖子(J( 'ｰ`)し)が「そんな事する時間があったら日記書きなさいよ！」と
急きたてます。今matdのコンパイルがどうやってもエラーになるという「煮詰まった状況」を
少しでも進展させようと努めているのに・・・でもうまくいかないなあ。

エラーメッセージと「にらめっこ」していると、後ろからあぶらみくん(以下、 ( ｀э´))が
「おいっ、('A`)！」と声をかけてきました。

( ｀э´)：「あのさあ、お願いがあるんだけど。」
('A`)：「ちょっと今煮詰まってるけど・・・なーに？」
( ｀э´)：「いやあ、実は64ビットサーバなんだけど・・・やっぱりおかしいよ。」
('A`)：「ん、どっかのサーバがダウンしたとか？」
( ｀э´)：「そうじゃないけど・・・あの「暫定解決方法」で対応してからは順調だよ。
　　　　　　でも改めて考えると、やっぱりおかしいなあ、と思うんだ。」
('A`)：「んで、お願いって何？」
( ｀э´)：「日記で今回の事を取り上げて欲しいんだ。」
('A`)：「えっ、いいけど・・・なんでまた？」
( ｀э´)：「世の中の他の人達も俺たちと同じ現象に遭遇しているのかなあ、って。
　　　　　　もしまだだったら紹介した方が良いかな、と思ったんだ。」
('A`)：「うーん、確かにあれは「不思議な動き」だったからなあ。」
( ｀э´)：「だろっ、だろっ！じゃあ任せたよ！」

そんな訳で今日はロードバランサーのお話からちょっと離れて、先月( ｀э´)と('A`)が
遭遇した64ビットサーバの「不思議な動き」について取り上げます。
(勉強不足かもしれないけど、正直、未だにこの原因がはっきりと判らないです・・・)
コーヒーを飲んで一息つきながら、改めて当時の記憶を辿って書いてみます。

( ｀э´)が言っていた「不思議な動き」とは以下の通りです。

・「最初から4GBのメモリを搭載したサーバ」に64ビットOS(FreeBSD 6.2R amd64)を
　インストールすると、インストールに長い時間がかかる。
・その後Apache等のソフトウェアをインストールする時にも、コンパイル等にかかる
　時間が異様にかかる。
・インストール完了後サーバを稼働させると、CPUの使用率がすごく高くなり易い。
　(CPUの空きがすぐに無くなる)
　　→　例えばApacheの子プロセスが意味もなくCPUを断続的に使用し続ける、など

この現象が確認されたのは、先月2chにcサーバ(c2x)が登場した時期です。
当時のcサーバの導入状況はこのスレとかこのスレとかで確認できますが、
cサーバはメモリは4GBを搭載して最初64bit(amd64)で構築していました。
当時eAcceleratorやApacheの設定チューニング(Listen 80など)でサーバの負荷を
軽減する作業を行いました。が、どうしても負荷が高い状態になるので、やむなく
32bit(i386)に再インストールしました。
OSで認識できるメモリ容量は3.5GB(これが32bitの限界)と小さくなりましたが、
以降は安定して稼働する様になりました。

一方この作業と並行して「べっかんこ(ula)」のフロントサーバの64bit化も実施して
いて、こちらも同じ現象が発生しました。

( ｀э´)：「なんで64ビットのサーバは負荷が高くなるんだろう？」
('A`)：「というか、何で4GBのメモリで起こるのか、そっちが気になるなあ。。。」
( ｀э´)：「あー、そういえばそうだなあ。64ビット版って4GB以上のメモリをサポート
　　　　　　しているはずなのになあ。」
('A`)：「ちょい待ち・・・えーと、どうもBrian( ^ω^)が何か言ってるなあ」

Brian( ^ω^)に「メモリを4GB積んでインストールすると、サーバの調子が悪くなるけど
調べてもらえる？」とお願いしていたけど、その結果が送られてきていた。

( ^ω^)：「みんな元気？Brianだよ♪
　　　　　サーバをPolywellに持って行って色々なOSをインストールしてみたよ。
　　　　　その結果は以下の通り。

　　・Windowsは問題なくインストールでき、正常に動作した。
　　・CentOSをインストールした時、OS側でメモリの設定を特別に行わないと
　　　4GBが認識しないという現象が起きた。
　　・FreeBSDで最初から4GBを取り付けてamd64版をインストールすると、
　　　調子が悪くなる現象が確認された。
　　・FreeBSDで最初2GBを取り付けてamd64版をインストールし、その後で
　　　もう2GBを追加で取り付けて稼働させると、問題は起きなかった。
　　・最初から4GBを取り付けているサーバでもi386版をインストールすると
　　　動作が遅くなるという問題は起きなかった。
　　　(ま、これは3.5GB以上は無視されるからなのかもしれないけど。)

　　　　　僕個人の考えとしては、FreeBSDの64bit版は何かメモリ操作のところが
　　　　　うまく動いていないんじゃないかなあ、と思うんだ。
　　　　　ただ不思議なのはbgサーバ(banana3230、3231、3232)は最初から8GBの
　　　　　メモリを取り付けてamd64版をインストールしたのに、サーバの調子が
　　　　　悪くなるという現象が発生していないんだよ。。。
　　　　　いずれにしてもamd64版で4GBのメモリを取り付けるなら、最初2GBの
　　　　　メモリを付けてインストールしてから2GBを追加する、という方法で
　　　　　今後対応しよう。じゃあね。」

　　P.S.　心配性の('A`)の事だから「マザーボード上のメモリスロットの差し口は
　　　　　間違えていないか？」と思っているんだろうけど、それは無い(キッパリ)
　　　　　T-Bananaサーバには４つのメモリスロットがあるけど、ちゃんと色分け
　　　　　されているから、すぐ判る。
　　　　　あと、確認された「調子が悪くなる現象」は2GBのメモリ2枚のケースでも
　　　　　1GBのメモリ4枚のケースでも発生するよ。

んで、Brian( ^ω^)が提唱した方法でサーバをインストールしてみると、、、
4GBを最初に取り付けてインストールした時よりサーバの調子は良くなった。

( ｀э´)：「不思議だなあ・・・なんでこうなるんだろう？」
('A`)：「判らん。判らないけど、今はこの方法で対処するしかないな。」
( ｀э´)：「よーし、そうと決まったらみんなに伝えよう！おーい、集まれー！」
('A`)：「あ、ちょ、、、いっちゃった。気になる事がまだあるのに・・・」

( ｀э´)は気づいていないかもしれないけど、('A`)が気になっている事は
もう１つあります。
それは「メモリを8GB搭載しているサーバは、起動時にすごく時間がかかる」
という現象です。

例えば前述のbgサーバは8GBのメモリを搭載していますが、これらのサーバは
BIOS画面が立ち上がりOSが起動されてからSSHでサーバにログインできる様に
なるまでに５～６分かかります。
どこで時間がかかっているかというと、SATAの部分です。

通常サーバに電源を入れると、BIOSが立ち上がった後で、OSが起動されます。
[OS起動時(いわゆるデーモン君の画面)]

※昔はデーモン君の姿が表示されたのですが、今は文字だけの味気無い画面です。

そしてSATAの起動直前までは順調に起動処理が進みます。

次にSATAのコントローラー(Intel ICH8 SATA300 controller)が起動されます。
ここまで所要時間は約30～40秒です。
そしてこのサーバのマザーボード(Intel DQ965GF)ではSATAの接続口(チャネル)が
6つあるので、SATAのコントローラーと各チャネル毎の割り当てが行われます。
[SATAコントローラ起動+1つ目のポート割り当て時]

これが2GB&4GBメモリ搭載のサーバですと6つのポート割り当ては約20～25秒程度で
終了しますが、8GBメモリ搭載のサーバでは5分かかります。
[6つ目のSATAポート割り当て直後]

これが終わってから初めてネットワーク関連(NICの有効化、sshdの起動など)が実行され
サーバがオンライン(ログインできる状態)になります。
[sshd起動終了後]

この現象は8GBのメモリを搭載した64bitサーバにのみ発生している現象です。
またサーバ起動後の各サービスは正常に稼働します。
(4GBの64bitサーバの時のようなCPUの異常な使用とかは発生しません。)
一方、2GB・4GBのメモリを搭載したサーバではサーバ起動時に時間がかかる現象は
発生していません。
(スペックにも依存しますが、T-Bananaサーバでは電源投入後、約1分40秒前後で
サーバにログインできる状態になります。)

「それがどうした」と思われるかもしれませんが、もしメモリ追加を実施した後で
「もうもサーバの調子が良くない」と感じている方がいましたら、今までお話した
箇所を一度調べてみる事をお勧めします。
まだまだ('A`)は勉強不足のところがありますが、もしこれらの現象に関して何か
情報を持っている方がおりましたら、('A`)まで教えて頂けるととても助かります。

今回の現象は今後64ビットのOSを使用する上で設定等を弄れば解決できる問題なのか、
それともFreeBSDそのものが潜在的に持っている問題なのか、問題のレベルすら
判っていない状況です。
世の中で同じ様な現象に遭っている人がいらっしゃるなら、(ほんのわずかですが)
情報としてご紹介できたら、と思いまして書いてみました。
(オチも何もなくてスミマセン・・・)

引き続きmatdとの格闘です。また明日もJ( 'ｰ`)しに言われるのかなあ・・・・
まあ、がんばります。
それでは、また。

11日目に戻る。　　　13日目に続く。

1日目	2日目	3日目	4日目	5日目	6日目	7日目
8日目	9日目	10日目	11日目	12日目	13日目	14日目
15日目	16日目	17日目	18日目	19日目	20日目	21日目
22日目	23日目	24日目	25日目	26日目	27日目	28日目
29日目	30日目	31日目	32日目	33日目	34日目	35日目
36日目	37日目	38日目	39日目	40日目	41日目	42日目
43日目	44日目	45日目	46日目	47日目	48日目	49日目
50日目	51日目	52日目	53日目	54日目	55日目	56日目
57日目	58日目	59日目	60日目	61日目	62日目	63日目
64日目	65日目	66日目	67日目	68日目	69日目	70日目
71日目	72日目	73日目	74日目	75日目	76日目	77日目
78日目	79日目	80日目	81日目	82日目	83日目	84日目
85日目	86日目	87日目	88日目	89日目	90日目	91日目
92日目	93日目	94日目	95日目	96日目	97日目	98日目
99日目	100日目	101日目	102日目	103日目	104日目	105日目
106日目	107日目	108日目	109日目	110日目	111日目	112日目
113日目	114日目	115日目	116日目	117日目	118日目	119日目
120日目	121日目	122日目	123日目	124日目	125日目	126日目
127日目	128日目	129日目	130日目	131日目	132日目	133日目
134日目	135日目	136日目	137日目	138日目	139日目	140日目
141日目	142日目	143日目	144日目	145日目	146日目	147日目

目次に戻る

解析