昨日2012/03/27 19:00 前後の1時間程度のサーバ停止の件で、まだあまり細かくTraceしてませんが、Apacheが使用したメモリのオーバーフローが原因のようです。
恐らくはApacheへの集中攻撃です。

Swapも完全に食い潰し、サーバ操作すらまともにできていなかったため、これを機会にApacheのメモリ使用量制限を実装しました。

まだ調整段階なので、様子を見ながら随時増減していく予定ですが、1ヶ月程度で調整が完了する見込みです。

今回の措置は、外部からの攻撃、或いはユーザミスによるスクリプトの無限ループ等での負荷を防ぐわけではありませんが、サーバが完全に操作不能になる事を防ぐ事に効果はあると思いますので、まずはそこから実装した次第です。

ユーザも増えてきたり、PHPがCGI版になったりと、パフォーマンスや負荷の仕組みを一般レンサバ並みに考えなければいけなくなりましたが、個人的にはとても良い勉強になっていて逆に楽しかったりします。
(本職とはちょっとジャンルが異なるわけだが笑)

というわけで、ご迷惑をおかけしました。