フォーラムへの返信
- 投稿
ここ2日間くらいで、Googlebotからのアクセス量が半端ないです。
66.249.x.xのアドレスのやつらです。こいつをfirewallで止めると検索用のクローラーがアクセス出来なくなる事を確認しているので止めたくても止められずたちが悪い。
既に認識はしてらっしゃると思いますがこちらも把握はしていて、もう3,4日静観しておきます、というご連絡です。
なるほど、どうも管理者アカウントとユーザーアカウントでは挙動が違うようで、確かに「－」を選んで保存してもUI上の時点で変わりませんね。
コンパネのバグっぽいです。2021年に海外フォーラムでも報告がありましたが直ってないみたい。
なので、「設定なし」というスニペットを追加しました。
これを選ぶと、実質として追加設定が無くなり「国内アクセス限定」の設定はクリアされます。
イケてませんが、とりあえず戻したい場合はこれを使って下さい。
設定の解除のために「-」を選んで保存後にコンパネ反映待ちの表示が消えれば、Apacheのconfから除去されることも確認しているので、.htaccessが効いていたか、キャッシュの影響じゃないかなと思います。
準備はしていたので先ほど実装しました。
コンパネの仕様によりApacheのカスタムconfをincludeできなかったため、GeoIP（現MaxmindDB）を使って国内（JP）を判別し、コンパネのサイト設定から下図の様に「国内アクセス限定」の設定を選択して保存して下さい。
明日からまた出張でレス遅くなると思いますが一旦お試し下さい。
（.htaccessの方は削除またはコメントアウトして確認願います）ちなみにMaxmindDBのIPアドレスリストは週次で自動更新されます。
こちらですが、ちょっとずつ検証しましてコンパネで提供できる目途が立ちましたので出張から戻り次第提供を開始する予定です。
ただ、Apacheレイヤーでの拒否なのでファイアウォールの通信ドロップに比べると、アクセスログには残りますし日本からのアクセスに限定しているだけですので需要としては限定的かもしれません。
仕組み的には、このポリシーに拒否国を同時に含める事もできるのでご意見を募集します。
すみません、今週来週と出張対応でバタバタしてて腰を据えて確認ができませんが、Apache 2.2形式であればうまくいっていて、2.4形式だとエラーになるということはhtaccessの記述方法の問題な気もします。
本件はphpinfoの出力結果に関係は無くApache制御方法の問題です。
GeoIPによる制御は10年ほど前に導入していましたが、少なくとも当時は正確性に欠けていた印象があり今は採用しておりません。
ただ、当サーバでは国別に加えてプロトコルに応じたアクセス制御ができる仕組みを既に作りこんでいますので、例えば「Webアクセスを日本国内に限定する」事を各ユーザがコンパネから自サイト向けに設定できるように検討してみようとは思っていました。
コンパネでの提供となるかは分かりませんが、例えばWordpressのようなCMSログイン関連のphpに関しては、既に全体設定としてアクセス元を国内に限定しています。
自サイトのWebアクセスを完全に国内に限定してしまうと、Googleなどのサーチエンジンにインデックスされなくなったり、色々問題があるので、Webアクセスに関してはこちらのサービス仕様にある拒否国以外は全許可にしています。
それでもなお、自サイトへのアクセスを国内に限定したい方向けにこの機能を提供できるかは検証が必要なので少しお時間下さい。
ブロックですが、Apacheの処理のみ一部漏れていたようで綺麗にブロックできておりませんでしたので、今朝修正しました。
もしかするとこれで改善するかもしれません。200以外に301とかもログに出ていれば。
最近当サイトにも同様のアクセスがありまして、アクセスログを見ると200と301,302,303エラーを交互に繰り返した連続アクセスだったのでこれらも対象にしてみました。
本来はブロックするようなステータスコードではない気もしますが、リクエストURLが明らかに通常アクセスではない上に、短時間に連続する場合は対象にしても良いかなと思うようになりまして。
ただ、30xに関しては少し検知のポリシーを緩くしようかと思います。ちょっとこれで様子見ます。
現在どのような方法で処理されてるのかを確認していませんが、mod_rewriteをうまく実装すれば正確なステータスコードを得られないものですかね。
私もあまりこの辺に詳しくなくて。
https://www.granfairs.com/blog/entry-3031/
私から中途半端に伝えてしまったのが大変申し訳ないのですが、全体運用としてのアクセスログ監視ではなく個別ログファイルの監視となると、僅かとはいえサーバのメモリ使用量の増加と今後も含めた個別特例対応の点からあまり好ましい事ではない気がしてきました。
試験的に監視対象ログを増やして検知するかを確認する事はできたとしても、運用性を考えると監視の定義をする管理者とログファイルの作成者が異なるべきではないと考えました。
とはいえ、せっかく作られているので、その個別エラーを出力する仕組みから.htaccessにdenyを追記するなどして対応できないでしょうか。
そのphpから”log/access.log” へ本来の形式でログを吐ければ良いんですがユーザ権限では書き込めないハズなので、リクエストURIを受け取る方法を変更するなり404はApacheに任せるなりの方法を考えて頂けないでしょうか。
他への汎用性があるものであれば全体取り込みもできるのでしょうけどそうとは思えないので。すみません。