クローラー 確認

CentOS

BOT、クローラーの確認方法(1例)

Webサイトを立ち上げると、同じIPから頻繁にアクセスしてくる痕跡がaccess_logに残る場合があるが、これがBOT、クローラーのたぐいのものなのか、悪意を?もったところからなのか、判断に迷う事が多い。このIPあやしいのかな?と思った場...