クローラー 判断

CentOS

BOT、クローラーの確認方法(1例)

Webサイトを立ち上げると、同じIPから頻繁にアクセスしてくる痕跡がaccess_logに残る場合があるが、これがBOT、クローラーのたぐいのものなのか、悪意を?もったところからなのか、判断に迷う事が多い。 このIPあやしいのかな? と思っ...