• 0 Posts
  • 9 Comments
Joined 3 years ago
cake
Cake day: June 30th, 2023

help-circle
  • When I blocked Alibaba, the AI crawlers immediately started coming from a different cloud provider (Huawei, I believe), and when I blocked that, it happened again. Eventually the crawlers started coming from North American and then European cloud providers.

    Due to lack of time to change my setup to accommodate Anubis, I had to temporarily move my site behind Cloudflare (where it sadly still is).








  • Jeg måtte i sin tid permanent blokere Netarkivets webcrawler; de brugte vist en anden den gang.

    Crawleren respekterede ikke robots.txt-filen, som fortæller hvor crawlere og botter må bevæge sig hen på en hjemmeside.

    De udførte nærmest et overbelastningsangreb mod min server, ved at sende en masse requests på kort tid til mine “tungeste” PHP-websider (dem som de ikke måtte besøge), i stedet for at sprede requestene ud over et længere tidsrum, som alle andre gjorde og gør.

    Efter kommunikation med dem om problemet, var min opfattelse at de ikke anede hvad de foretog sig og var ligeglade med konsekvenserne. Forhåbentlig har de mere kompente folk på opgaven nu om stunder.