Klicka på bilden så ser du den i större storlek. Där resurserna går ner har botar hos Viska bannats till höger på figuren som gäller senaste månaden
Väldigt länge har viska.se haft kapacitetsproblem och att sajten varit överbelastad ofta.
Det har varit brist på CPU. minne och på de två sista webbhotellen har det kommit meddelande om resurslimit istället för sidan man klickat på.
Det har varit tusentals besökare också på sajten. Till slut upptäckte jag att det var några botar som var onödiga som stal nästan alla resurser, även trots ett par av dem var bannade i .htaccess.
Botarna som stal resurser var främst AhrefsBot (10 x mer än GoogleBot), SemrushBot (som förra). MJ12bot och BLEXBot.
Botar som slöar ner utan nytta kan bannas i .htaccesfilen. så här:
SetEnvIf user-agent "AhrefsBot" stayout=1
SetEnvIf user-agent "SemrushBot" stayout=1
En lista över botar, som kan bannas finns här.
Hittar på översikten Robot/Spider visitors att MJ12bot tagit nästan dubbelt så mycket bandvidd som Google, Apple ungefär detsamma. Unknown robot identified by bot* tar 50% mer än google i bandbredd.
Finner att mer bandbredd gått till Ryssland än till Sverige och det förefaller ju inte rimligt. Yandex tar dock bara några få MB. Så detta är nog några andra ryska botar vilka inte presenterar sig som botar. Vilka länder kommer trafiken till Viska från? Är 99% från sverige?
Längesedan jag kollade vilka botar som besöker olika sidor, men Apple verkar ha en massa botar som besöker samtidigt, Sogu samt några nyheter till när jag kollade idag. Ibland mer botar än mänskliga besökare. Förstår inte riktigt vitsen att ha 10 botar som besöker samtidigt (Apple) Kanske likasåbra att kolla om de slukar några stora resurser, men än så länge är det långt från taket.
Är det något verktyg i Cpanel du mätt med på bilden CPU usage, eller?
Hmm, det är lite märkligt. Har själv råkat ut för att sajter blivit offline efter uppdateringar eller liknande och då snabbt fått mail om detta eller andra problem med indexeringen helt eller delvis.
Ok bra. Försöker bara förstå varför Google inte hörde av sig när de inte längre kunde/fick indexera ordentligt. När man verifierat sin webegendom brukar de ju maila om störningar som botarna upplever. Ett tag var det ju väldigt vanligt felmeddelande på många sajter om att tecknen satt för nära varandra när alla sajter skulle mobilanpassas etc.
Fick du inget mail från Google Webmaster eller motsvarande där problem med indexering framgick?
Ok, tack!
Har du skickat adressen på sajtens sitemap till google via Google webmaster eller Google structured data?