#Amazon és el bot més agressiu xafardejant mastodont.cat en un dia
cat /var/log/nginx/mastodont.cat.access.log.1 | grep "Amazonbot" |wc -l
18473
18.473 "escrapejades" en total, principalment enllaços a mitjans externs però:
cat /var/log/nginx/mastodont.cat.access.log.1 | grep "Amazonbot" | grep "/@" | wc -l
907
o sigui, 907 intents d'obtenir tuts de diversos usuaris.
cat /var/log/nginx/mastodont.cat.access.log.1 | grep "Amazonbot" | grep "/tags" | wc -l
271 -> tuts d'etiquetes
@spla fem una etiqueta exclusivament per aquest bot, i l' insultem! 😅
Des de les 7 de la tarda d'ahir, #fail2ban està bloquejant automàticament totes les IPs de bots xafarders, no només Amazonbot. Ara mateix ja ha bloquejat un total de 1.171 IP, bloqueig actiu de 327.
Edito: cap robot obté res de mastodont.cat, només "veuen" que s'ha interromput la connexió gràcies a una configuració específica de nginx (el programari que serveix continguts).
@spla Repassa la rotació de logs, no sigui que de tant bloquejar t'ompli el disc de porquería 😀
@maquinari_cat és automàtica des de sempre 💪
@spla Has pensat en Anubis per bloquejar els bots? Diferents projects de FOSS l'ha trobat molt efectiu
(i una nota: es diu "scraping," no "scrapping." "scrapping" vol dir una cosa completament diferent)
@worr vaig estar mirant Anubis però no sé com s'integraria amb un servidor Mastodon, no crec que agradi massa veure la pàgina de verificació d'Anubis abans de veure el contingut que es vol.
Gràcies per la correcció a "scraping"!
