Bot de mierda …
Voy a crear un posts con todos los putos bots de mierda que me intentan freir a diario … Todos dicen lo mismo, que si hacen caso del robots.txt (los cojones), que solo hacen peticiones cada cierto tiempo (los cojones).
Linguee Bot (http://www.linguee.com/bot; [email protected]) Robot IP Address..: 85.25.43.215 -> como a 40 peticiones por minuto, durante al menos 15 minutos (hasta que el servidor se tostó).
Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07) -> menos intensidad … pero información en chino … a tomar por culo.
The Knowledge AI Robot IP Address..: 66.160.140.183 -> un vistazo y poca información, solo gente cagandose en sus muertos.
User Agent……..: Mozilla/5.0 (compatible; Dataprovider.com) Robot IP Address..: 144.217.135.155 -> esto dicen los tipos «To avoid inconvenience and save bandwidth our spider works very efficiently». 17 peticiones por minuto, durante 10 minutos.
‘Mozilla/5.0 (compatible; Seekport Crawler; http://seekport.com/’ Robot IP Address..: 95.217.228.57
ias-or/3.1 (+https://www.admantx.com/service-fetcher.html) Robot IP Address..: 207.38.88.169 -> URL que no existe …otro que se va a la lista de denegados
Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)
Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/) Robot IP Address..: 213.239.216.194 > este dicen los cachondos que no les bloquees.
Y esto es solo de las ultimas 2 horas … ya ire actualizando.