Bon dia! en relació a això:
https://mastodont.cat/@spla/115000794647508332
i veient que hi ha robots que no respecten robots.txt, he pujat un esglaó en la guerra contra els bots IA o bots en general que obtenen continguts sense permís. He modificat la configuració de nginx per a que tots els bots que hi he afegit no rebin res de mastodont.cat gràcies al codi http 444 que els hi retorna aquesta configuració.
Per exemple, Amazonbot no para de demanar enllaços, ara no rebrà res més que el que es veu en la segona imatge.
-
Bon dia!
-
@spla fa temps vaig compartir que un paio retornava zips comprimits que en descomprimir ocupaven molts terabytes i tombaven els bots. Un geni.
-
@maquinari_cat sí, ho vaig llegir però carrega molt el servidor, millor no retornar res de res.
-
@spla bon dia ☕️ 🥐 i gràcies per resguardar la nostra privacitat 😃
-
@Max_Headroom bon dia! ho intento...😅
-
@spla El problema és que tampoc respecten el UA. Filtrar per UA deixa de ser efectiu ràpidament.
Coneixes Anubis?
https://anubis.techaro.lol/
No l'he provat, però té bona pinta. -
La configuració de nginx per a lluitar contra els bots d'IA i altres "scrappers", l'he obtingut d'aquí:
-
@vicentfg amb aquesta nova configuració de nginx no obtenen res de res, només que la connexió s'ha tallat.
-
@spla En la esbojarrada lluita per alimentar aquesta fera insadollable que és l'IA s'estan carregant tot allò que hi ha de bo a l'internet.
-
@lapesanta sí, ja s'han carregat diversos servidors Forgejo, inclòs el que teníem a mastodont.cat:
