# ========================= # robots.txt # ========================= # --- ZÁKLADNÍ PRAVIDLA PRO VŠECHNY BOTY --- User-agent: * # Skryté / interní části webu (uprav podle potřeby) Disallow: /rs # Sitemap pro vyhledávače (Google, Bing, Seznam …) Sitemap: https://www.bartolini.cz/xml/sitemap_alpine-shop.cz.xml # --- GOOGLE (crawl-delay ignoruje) --- User-agent: Googlebot # (Případné další zákazy jen pro Google sem; crawl-delay zde nemá efekt) # Volitelně můžeš přidat i specializované Google boty: User-agent: Googlebot-Image Disallow: User-agent: Googlebot-Video Disallow: # --- FACEBOOK: omezení agresivního procházení --- # Facebook crawler často po aktualizaci sitemap „vyjede“ celý web. # Zpomalíme ho a zároveň mu zakážeme přístup k /xml/, aby nespouštěl hromadné re-crawly. User-agent: facebookexternalhit Disallow: /xml/ Crawl-delay: 10 # --- BING --- User-agent: bingbot Crawl-delay: 5 # --- SEZNAM --- User-agent: SeznamBot Crawl-delay: 5 # --- DALŠÍ ČASTÉ CRAWLERY – MÍRNÉ ZPOMALENÍ --- User-agent: AhrefsBot Crawl-delay: 10 User-agent: SemrushBot Crawl-delay: 10 User-agent: MJ12bot Crawl-delay: 10 User-agent: YandexBot Crawl-delay: 10 # (Dle potřeby můžeš přidat další a nastavit jim vlastní Crawl-delay nebo Disallow.)