We zien de laatste tijd dat zoekmachines/bots nogal agressief de site(s) scannen.
Vooral als er beveiliging of surfgedrag plugins geïnstalleerd zijn in de verschillende cms systemen.

Wij adviseren dan ook om gebruik te maken van het zogenaamde robots.txt bestand. gebruikt van dit bestand zorgt er voor dat de belasting op uw site en server minimaal is, waardoor het risico dat de server down gaat, minimaal is.
 
Zet in de public_html van het betreffende domein simpelweg een robots.txt bestand met de volgende inhoud:

User-agent: *
Disallow:
Crawl-delay: 20

 
Dit zorgt ervoor dat de site wel gescand wordt maar met een vertraging waardoor de load niet te hoog wordt.
 Zie voor meer info https://www.contentking.nl/academy/robotstxt/

Heeft u het antwoord gevonden?