Prezentace s popisem z akce SEOloger naživo: https://nazivo.seologer.cz/

1. SERVER LOGY A JAK JE
POUŽÍT PRO
SEO

2. Co je vlastně log?

3. Tohle!

4. Ale Google to vysvětluje lépe :-)

5. Představ si tabulku běžců. Každý nový řádek s pozicí a časem je vlastně nový řádek logu

6. Jakýkoli přístup na web se zaznamená do access logu

7. ✓ Server log
✓ Access log
✓ Error log
Pozor, logů je více. Budeme se bavit o access logu

8. WEB
LOGS
Který spolehlivě pokrývá největší část vašeho webu. I když udělá screaming frog v rámci
crawlingu dotaz, zapíše se tak i do access logu.

9. K čemu nám můžou sloužit?

10. Dávají nám odpovědi! Jako třeba na:

11. Jak často mě boti crawlují?

12. Které stránky nejvíce navštěvují?

13. Jak často a kteří mě boti crawlují?

14. Které stránky prochází lidé a boti
se na ně nedostanou

15. Kde se dostávají na chybové stránky

16. Kde se uživatelé dostávají na chybové
stránky

17. Necrawluje někdo moje stránky?
A neschovává za bot user-agent?

18. Jaké stavové kódy dostávají při
průchodu webem uživatelé a boti?

19. Nedostávají se boti nebo uživatelé
tam, kam by neměli?

20. Využití?

21. ✓ Optimalizace crawl budgetu
✓ Chyby v interním/externím prolinkování
✓ Identifikace priorit robotů

22. Typy zpracování

23. Zdroj: https://litabi.com/evolution-of-storage-devices/
GB
Pozor, jsou fakt velké... většinou v rámci GB či TB.

24. Stupně stupidity při otevírání velkých logu

25. Stupně stupidity při otevírání velkých logu
1)Zkusil jsem to prostě otevřít

26. Stupně stupidity při otevírání velkých logu
1)Zkusil jsem to prostě otevřít
7) Zkusil jsem to otevřít v Excelu

27. Static Real-time
Zpracování logů dělíme na statické a real-time zpracování.

28. Static

29. GNU +

32. Real-time

33. ELK

35. Docela drahá sranda...

36. GNU +
My si dneska budeme hrát s GNU.

37. Work Work

38. Macbooky a Linuxáci jsou v pohodě. Windowsáci si musí nainstalovat GOW.

39. Bit.ly/voknagnu

40. filetype:log inurl:access
Aneb jak si jednoduše najít podkladové logy

41. http://www.smallbusinessseospecialists.com/access.log
Tyto logy jsem použil já k ukázce.

42. GNU Basics

43. Podklady
- http://www.panix.com/~elflord/unix/grep.html
- http://www.grymoire.com/Unix/Awk.html
- https://docstore.mik.ua/orelly/unix/sedawk/

44. --help
Pomoz!!!

45. >>
Export do ...

46. |
Pipeline

47. Grep "word" filename
Hledej v souboru

48. Sort
Seřaď výstup sestupně

49. Uniq
Vyhoď duplicity.

50. Uniq -c
Vyhoď duplicity a spočti jejich výskyt

51. Dotazy botů
grep "nazev-bota" soubor.log >> bot.log

52. Dotazy botů na chybové
stránky
grep "nazev-bota" soubor.log | grep "404" >>
error.log

53. Serverové chyby botů na
stránkách
grep "nazev-bota" soubor.log | grep "50" >>
error.log

54. Výpis přehledu stavových
kódů
awk "{print $9}" access.log | sort | uniq -c | sort

55. Výpis přehledu stavových
kódů pro Googlebota
grep "Googlebot" access.log | awk "{print $9}" | sort
| uniq -c | sort

56. Nejnavštěvovanější stránky
Googlebota
grep "Googlebot" access.log.txt | awk "{print $7,$9}"
| sort | uniq -c | sort

57. Nejnavštěvovanější chybové
stránky Googlebotem
grep "Googlebot" access.log.txt | grep "404" | awk
"{print $7,$9}" | sort | uniq -c | sort

58. Nejnavštěvovanější parametry
grep "?" access.log.txt >> otazniky

59. Využití GNU
- Exporty z GA či GSC
- Práce s crawl logy Xenu a
Screaming Frog
- Zpracování dat z analýzy
interního prolinkování

60. Zpracování
V čem poté zpracovávat a vizualizovat výstupy?

62. A co dál?
Co by se třeba dalo dělat dál?

63. Třeba rozšířit logy o další metriky (počet interních/externích odkazů,...)

64. ✓ ✗
Identifikovat stránky kam chodí boti a lidé ne.

65. Zdroj: https://www.ladyvirtual.cz/Mining dat o URL, ke kterému lze použít:

68. URL minery

70. Na co si dát pozor?

71. Disallow: /soubor/ <meta name="robots"
content="noindex,nofollow">
Pro noindex si bot stejně musí stáhnout obsah stránky. Pro větší vzory používejte Disallow
na úrovni robots.txt.

72. Pozor na nekončné stránkování a zacyklení na něm.

73. Podívejte se do Search Console do sekce parametrů a zjistěte, které bot crawluje zbytečně a
odstřihněte je v robots.txt.

74. ✗ Kanonizované
✗ Neindexovatelné
+ Pozor na skryté bloky
Pozor na to, kde a jak moc crawleři procházejí kanonizované a neindexovatelné URL. A také pozor na bloky
indexace, které nejsou přímo ve zdrojovém kódu (hlavička, odstřihnutí user-agenta,...)

75. Pozor na tzv. thin content a míru jeho crawlingu boty.

76. Speed Matters
Rychlost načtení rozhoduje. V tomto případě hlavně rychlost odezvy serveru.

77. Zdroj: https://varvy.com/ifmodified.html
If-Modified-Since:
U webů, kde to dává smysl a obsah se tak čast nemění,používejte if-modified-since.

78. Dopady optimalizace
crawl budgetu