Molts tuts denunciant l'scraping de #Meta però el bot que fa l'scraping més agressiu és el de Amazon:
grep 'meta-externalagent' /var/log/nginx/mastodont.cat.access.log | awk '{print $1}' | wc -l
857
grep 'Amazonbot' /var/log/nginx/mastodont.cat.access.log | awk '{print $1}' | wc -l
11823
En el que portem de dia, Meta ha fet 857 "scraps" però Amazon 11.823.
@xorsch aquest mati he activat una configuració de nginx que els hi planta cara, quan intenten l'scrap no obtenen res, només que la connexió s'ha tallat.
Sí, seria com un DDOS, potser alegal?
@spla@mastodont.cat Gràcies a deu no tinc la visita de cap bot, ni a Misskey ni al bloc. Al robots.txt tinc prohibit que cap bot, sigui el que sigui faci res. I aquest mati he posat les regles al Nginx per si de cas... Mai se sap... Sort amb aquesta lluita!
@jolupa gràcies! 💪
