# ========================= # robots.txt – pradloadoplnky.cz # ========================= # Umístění: https://www.pradloadoplnky.cz/robots.txt # Pozn.: Google NERESPEKTUJE Crawl-delay. Ostatní (Bing, Seznam, atd.) většinou ano. # --- ZÁKLADNÍ PRAVIDLA PRO VŠECHNY BOTY --- User-agent: * # Skryté / interní části webu (uprav podle potřeby) Disallow: /rs Disallow: /rs2 Disallow: /rs3 # Sitemap pro vyhledávače (Google, Bing, Seznam …) Sitemap: https://www.pradloadoplnky.cz/xml/sitemap_pradloadoplnky.cz.xml # --- GOOGLE (crawl-delay ignoruje) --- User-agent: Googlebot # (Případné další zákazy jen pro Google sem; crawl-delay zde nemá efekt) # Volitelně můžeš přidat i specializované Google boty: User-agent: Googlebot-Image Disallow: User-agent: Googlebot-Video Disallow: # --- FACEBOOK: omezení agresivního procházení --- # Facebook crawler často po aktualizaci sitemap „vyjede“ celý web. # Zpomalíme ho a zároveň mu zakážeme přístup k /xml/, aby nespouštěl hromadné re-crawly. User-agent: facebookexternalhit Disallow: /xml/ Crawl-delay: 10 # --- BING --- User-agent: bingbot Crawl-delay: 5 # --- SEZNAM --- User-agent: SeznamBot Crawl-delay: 5 # --- DALŠÍ ČASTÉ CRAWLERY – MÍRNÉ ZPOMALENÍ --- User-agent: AhrefsBot Crawl-delay: 10 User-agent: SemrushBot Crawl-delay: 10 User-agent: MJ12bot Crawl-delay: 10 User-agent: YandexBot Crawl-delay: 10 # (Dle potřeby můžeš přidat další a nastavit jim vlastní Crawl-delay nebo Disallow.)