Nechte se najít Googlem, aneb jak hledá největší vyhledávač webové stránky na internetu

Nechte se najít Googlem, aneb jak hledá největší vyhledávač webové stránky na internetu

Zajímá vás, jak funguje indexace webových stránek? Jak “vypadá” robot, který ji neustále provádí? Jak zabránit v přístupu robota na vaše stránky? To vše se dozvíte v našem dnešním článku, kde se zaměříme na Googlebota, tedy robota od firmy Google.

Googlebot je robot, který prochází jednotlivé stránky na internetu (někdy označovaný jako “prohledávač” nebo “pavouk”). Procházení je proces, při kterém prohledávač objevuje nové a aktualizované stránky, které následně přidá do indexu Googlu. Googlebot využívá algoritmický proces – počítačové programy mu “řeknou” které weby má procházet, jak často a kolik stránek má z každého webu načíst. Pro samotné procházení miliard internetových stránek využívá Google obrovské sestavy počítačů. Googlebot při procházení ze všeho nejdříve potřebuje seznam URL adres, který je vygenerován z předchozího procházení a rozšířen o data ze souborů Sitemap.

Soubor Sitemap (ve formátu XML) je zjednodušeně seznam stránek  vašeho webu. Pokud vytvoříte a odešlete tento soubor, můžete tím zajistit, že se Googe dozví o všech vašich stránkách, včetně URL adres. Kromě toho můžete Googlu pomocí souboru Sitemap poskytnou i metadata o různých typech obsahu na stránkách včetně videí, obrázků, mobilních stránek, zpráv, zdrojového kódu softwaru a zeměpisných informací. Například v položce videa v souboru Sitemap můžete uvést délku, kategorii či vhodnost videa pro děti.

Jak Googlebot přistupuje na vaše stránky?

Na většinu stránek by neměl Googlebot přistupovat častěji něž v průměru jednou za několik sekund. Vzhledem k různým zpožděním v síti může být tato frekvence krátkodobě vyšší. Obecně by měl pokaždé stáhnout pouze jednu kopii dané stránky. Googlebot se nachází v několika počítačích, což zlepšuje jeho výkon a umožňuje to poměrně snadné rozšiřování spolu s rozrůstáním webu.

Doporučujeme vám i další články na podobné téma:

» Jaký je význam validity kódu a hlavičky vašeho webu?
» Jaké jsou základní kroky pro co nejlepší SEO?
» Jaký druh reklamy zvolit a jak najít cílovou skupinu?

Blokování přístupu Googlebota k obsahu stránek

Je téměř nemožné uchovávat nějakou stránku v tajnosti tím, že na ní nikde nebudete odkazovat. Jakmile někdo pomocí odkazu z vaší “tajné” webové stránky navštíví jiný webový server, může se vaše “tajná” adresa uchovat a následně může být zveřejněna v protokolu odkazujících serverů.

Pokud chcete Googlebotu v procházení vašich stránek zabránit, existuje hned několik způsobů jak to udělat. Například můžete pomocí souboru robots.txt zablokovat přístup k adresářům a souborům na vašem serveru. Soubor musí být uložen v adresáři nejvyšší úrovně, jinak nebude mít žádný účinek. Chcete-li Googlebotu zabránit v procházení všech odkazů na určité stránce svého webu, můžete využít značku metadat nonfollow.

<meta name="robots" content="nofollow" />

Pokud chcete zabránit v následování jednoho konkrétního odkazu, připojte k danému odkazu atribut rel=”nonfollow”

<a href="administrace.php" rel="nofollow">Administrace</a>

Několik dalších tipů:

Otestujte, zda soubor robots.txt funguje tak, jak chcete. Nástroj Otestovat soubor robots.txt v Nástrojích pro webmastery umožňuje zjistit, jak přesně bude Googlebot interpretovat obsah souboru robots.txt.

Nástroj Načíst jako Googlebot v Nástrojích pro webmastery umožňuje přesně pochopit, jak vaše stránky vnímá Googlebot. Tato funkce může být užitečná při odstraňování problémů s obsahem stránek nebo jejich viditelností ve výsledcích vyhledávání.

Komentáře

Nahoru