Sitemap: https://valk.dn.ua/sitemap.xml User-agent: * Crawl-delay: 5 Disallow: /application/ Disallow: /cgiweb/ Disallow: /configweb/ Disallow: /indexer/ Disallow: /sym/ Disallow: /system/ # Блокируем технические скрипты файлового менеджера для безопасности Disallow: /js/kcfinder/ # Открываем "двери" для ботов Google к медиафайлам Allow: /js/kcfinder/upload/catalog_new/ Allow: /js/kcfinder/upload/images/ Allow: /js/kcfinder/upload/files/ Allow: /js/kcfinder/upload/video/ Allow: /news/ # Блокировка краулеров OpenAI (ChatGPT) User-agent: GPTBot Disallow: / User-agent: ChatGPT-User Disallow: / User-agent: OAI-SearchBot Disallow: / # Блокировка краулеров Anthropic (Claude) User-agent: ClaudeBot Disallow: / User-agent: Claude-User Disallow: / User-agent: Claude-SearchBot Disallow: / # Блокировка прочих агрессивных ИИ-парсеров и парсеров документов User-agent: CCBot Disallow: / User-agent: RetroDocumentResearch Disallow: / User-agent: Reflectionbot Disallow: / User-agent: ExaSearchBot Disallow: / User-agent: PerplexityBot Disallow: / User-agent: NVIDIABOT Disallow: / User-agent: KeenableBot Disallow: /