# robots.txt für GIH.de
# Fokus:
# 2. ByteSpider blockieren
# 3. Unnötige Bot-Zugriffe reduzieren

User-agent: Bytespider
Disallow: /

User-agent: ByteSpider
Disallow: /

# TikTok / Bytedance Varianten
User-agent: TikTokSpider
Disallow: /

User-agent: PetalBot
Disallow: /

# SEO-/Monitoring-Bots optional begrenzen
User-agent: serpstatbot
Crawl-delay: 10

User-agent: Buck
Crawl-delay: 10

User-agent: semantic-visions.com crawler
Crawl-delay: 10

# Keine API-/Cookie-Logs für Bots
User-agent: *
Disallow: */wp-json/borlabs-cookie/
Disallow: */wp-json/borlabs-cookie/v1/consent/log

# Optional: unnötige interne WP-Endpunkte
Disallow: */wp-admin/
Allow: */wp-admin/admin-ajax.php

# Optional: Such-/Filterseiten sperren
Disallow: /*?ical=1
Disallow: /*tribe-bar-date=