Klicka på bilden så ser du den i större storlek. Där resurserna går ner har botar hos Viska bannats till höger på figuren som gäller senaste månaden 

Väldigt länge har viska.se haft kapacitetsproblem och att sajten varit överbelastad ofta.

Det har varit brist på CPU. minne och på de två sista webbhotellen har det kommit meddelande om resurslimit istället för sidan man klickat på.

Det har varit tusentals besökare också på sajten. Till slut upptäckte jag att det var några botar som var onödiga som stal nästan alla resurser, även trots ett par av dem var bannade i .htaccess.

Botarna som stal resurser var främst AhrefsBot (10 x mer än GoogleBot), SemrushBot (som förra). MJ12bot och BLEXBot.

Botar som slöar ner utan nytta kan bannas i .htaccesfilen. så här:

SetEnvIf user-agent "AhrefsBot" stayout=1
SetEnvIf user-agent "SemrushBot" stayout=1

En lista över botar, som kan bannas finns här.

Kommentarer   
Admin1
#15 Admin1 2022-05-21 12:05
Nästan all besökartrafik kommer från Sverige.
Schizofreni
#14 Schizofreni 2022-05-21 11:33
Aah ok tack!
Hittar på översikten Robot/Spider visitors att MJ12bot tagit nästan dubbelt så mycket bandvidd som Google, Apple ungefär detsamma. Unknown robot identified by bot* tar 50% mer än google i bandbredd.

Finner att mer bandbredd gått till Ryssland än till Sverige och det förefaller ju inte rimligt. Yandex tar dock bara några få MB. Så detta är nog några andra ryska botar vilka inte presenterar sig som botar. Vilka länder kommer trafiken till Viska från? Är 99% från sverige?
Admin1
#13 Admin1 2022-05-20 19:47
Kolla i Cpanel på Awstats och Robots Last visit.
Schizofreni
#12 Schizofreni 2022-05-20 18:45
Det var ju ett tag sedan nu när varannan surfare var människa. Nu är det än mindre människor.

Längesedan jag kollade vilka botar som besöker olika sidor, men Apple verkar ha en massa botar som besöker samtidigt, Sogu samt några nyheter till när jag kollade idag. Ibland mer botar än mänskliga besökare. Förstår inte riktigt vitsen att ha 10 botar som besöker samtidigt (Apple) Kanske likasåbra att kolla om de slukar några stora resurser, men än så länge är det långt från taket.

Är det något verktyg i Cpanel du mätt med på bilden CPU usage, eller?
Schizofreni
#11 Schizofreni 2022-04-07 19:05
Citerar Admin1:
Nej, inget sådant mail kom. Men igår har jag fått mail om fel, som jag fick ibland förr.

Hmm, det är lite märkligt. Har själv råkat ut för att sajter blivit offline efter uppdateringar eller liknande och då snabbt fått mail om detta eller andra problem med indexeringen helt eller delvis.
Admin1
#10 Admin1 2022-04-07 18:51
Nej, inget sådant mail kom. Men igår har jag fått mail om fel, som jag fick ibland förr.
Schizofreni
#9 Schizofreni 2022-04-07 18:48
Citerar Admin1:
Det har alltid varit på det viset.

Ok bra. Försöker bara förstå varför Google inte hörde av sig när de inte längre kunde/fick indexera ordentligt. När man verifierat sin webegendom brukar de ju maila om störningar som botarna upplever. Ett tag var det ju väldigt vanligt felmeddelande på många sajter om att tecknen satt för nära varandra när alla sajter skulle mobilanpassas etc.

Fick du inget mail från Google Webmaster eller motsvarande där problem med indexering framgick?
Admin1
#8 Admin1 2022-04-07 18:43
Det har alltid varit på det viset.
Schizofreni
#7 Schizofreni 2022-04-07 18:31
Citerar Admin1:
Viska har alltid haft sitemap, men det har varit 2 olika program. Gamla program hos Joomla tenderar att försvinna efter några år och ersättas av andra. Först fanns Xmap men nu OSMap

Ok, tack!
Har du skickat adressen på sajtens sitemap till google via Google webmaster eller Google structured data?
Admin1
#6 Admin1 2022-04-07 18:23
Viska har alltid haft sitemap, men det har varit 2 olika program. Gamla program hos Joomla tenderar att försvinna efter några år och ersättas av andra. Först fanns Xmap men nu OSMap

Du har inte rätt att posta kommentarer