Els de codeberg diuen que els robots xafarders de les IA ja està aprenent com esquivar ràpidament la protecció d'Anubis:
•
botsxafarders scraping

El robot DotBot era l'únic que seguia intentant "escrapejar" mastodont.cat i dic intentant perquè l'estava bloquejant.
•

botsxafarders scraping

Bon dia!
•

botsxafarders scraping manteniment

Amb un petit programa Python, estic desant en una base de dades tota la informació dels logs de nginx des del primer dia en aquest servidor actual.
•

botsxafarders scraping

Fins a 658 diferents IP del robot d'Apple (Applebot/0.1; +http://www.apple.com/go/applebot) estan llistades en el log de nginx però no intenten xafardejar ni tuts, ni enllaços ni res, només miren robots.txt a veure si tenen permís per fer-ho.
•
scraping

Al bot de #Amazon no li preocupa gens que l'estigui bloquejant en cada intent que fa, ell segueix al mateix ritme.
•

amazon scraping botsxafarders

Bé, per ara ho deixo aquí, tinc la informació prou gràfica de les xafarderies dels robots com ara el de Amazon que intenten obtenir tuts, enllaços, avatars, capçaleres etc de mastodont.cat.
•
scraping

És més fàcil mirar una gràfica que filtrar logs per veure quants robots han intentat xafardejar mastodont.cat.
•

scraping

#Amazon és el bot més agressiu a l'hora xafardejar mastodont.cat:
•

amazon scraping

Molts tuts denunciant l'scrapping de #Meta però el bot que fa l'scrapping més agressiu és el de Amazon:
•

meta scraping

Per el que estic veient hi ha dos patrons:
•
meta scraping

El bot de Amazon ha fet peticions a mastodont.cat des de 433 IP diferents, això només avui:
•
scraping manteniment