Standard robots.txt (protokol pro zakázání přístupu robotů) slouží autorům stránek k nastavení částí webu, které robot smí nebo nesmí navštěvovat. Používá se v případech, kdy je potřeba procházení určité stránky…
Standard robots.txt (protokol pro zakázání přístupu robotů) slouží autorům stránek k nastavení částí webu, které robot smí nebo nesmí navštěvovat. Používá se v případech, kdy je potřeba procházení určité stránky…