# ===== Allgemeine Crawler-Regeln =====
# Content-Signal (contentsignals.org, Cloudflare-Vorschlag, kein Standard):
# passt zur Bot-Freigabe seit 03.10.2026 – Suche, KI-Antworten und KI-Training erlaubt.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=yes
Allow: /.well-known/agent-skills/
Disallow: /_
Disallow: /.
Disallow: /admin/
Disallow: /as/
Disallow: /bs5/
Disallow: /cgi-bin/
Disallow: /cms/
Disallow: /json/
Disallow: /mailfooter
Disallow: /database/
Disallow: /geo/
Disallow: /js/
Disallow: /maps/
Disallow: /matomo/
Disallow: /member/
Disallow: /nl/
Disallow: /nur_fuer_cyrus/
Disallow: /pdf/
Disallow: /presentations/
Disallow: /rechnungen/
Disallow: /sitecontrol/
Disallow: /secret/
Disallow: /stage/
Disallow: /test/
Disallow: /tmp/
Disallow: /user/vcards/
Disallow: /user/visitenkarten/
Disallow: /user/uploads/
Disallow: /user/app/
Disallow: /xml/

# Disallow nur für technische .php-Endpunkte, die nicht gecrawlt werden sollen
Disallow: /ratgeber/artikel.php*
Disallow: /suche/detail.php*
Disallow: /suche/result.php*
Disallow: /suche/go.php*
Disallow: /suche/angebot.php*
Disallow: /suche/telefon.php*
Disallow: /suche/empfehlen.php*
Disallow: /suche/review.php*
Disallow: /suche/mailformular.php*
Disallow: /erfahrungsberichte/reviews.php*

# ===== Gesperrte Crawler =====
# Zusätzlich per .htaccess mit 403 gesperrt. Die Einträge hier sorgen dafür,
# dass sich regelkonforme Bots gar nicht erst melden.
User-agent: AhrefsBot
User-agent: SemrushBot
User-agent: MJ12bot
User-agent: DotBot
User-agent: BLEXBot
User-agent: Barkrowler
User-agent: DataForSeoBot
User-agent: PetalBot
User-agent: Bytespider
Disallow: /

# ===== KI-Bots =====
# Keine eigenen Gruppen für GPTBot, ClaudeBot, PerplexityBot & Co.: Sie fallen
# unter "User-agent: *" und sind damit erlaubt. Eine eigene Gruppe würde die
# *-Regeln für den Bot komplett ersetzen (RFC 9309) – bis 02.10.2026 waren
# dadurch /_, /cms/, /nur_fuer_cyrus/ usw. für diese Bots offen.

# ===== Google-Bildersuche Einschränkung (nur bei Bedarf) =====
# Eigene Gruppe => die *-Regeln gelten für Googlebot-Image NICHT (RFC 9309).
# Die Verzeichnis-Sperren von oben deshalb hier wiederholen und synchron halten.
User-agent: Googlebot-Image
Disallow: /_
Disallow: /.
Disallow: /admin/
Disallow: /as/
Disallow: /bs5/
Disallow: /cgi-bin/
Disallow: /cms/
Disallow: /json/
Disallow: /mailfooter
Disallow: /database/
Disallow: /geo/
Disallow: /js/
Disallow: /maps/
Disallow: /matomo/
Disallow: /member/
Disallow: /nl/
Disallow: /nur_fuer_cyrus/
Disallow: /pdf/
Disallow: /presentations/
Disallow: /rechnungen/
Disallow: /sitecontrol/
Disallow: /secret/
Disallow: /stage/
Disallow: /test/
Disallow: /tmp/
Disallow: /user/vcards/
Disallow: /user/visitenkarten/
Disallow: /user/uploads/
Disallow: /user/app/
Disallow: /xml/
Disallow: /images/maps/
Disallow: /images/cache/*120-120*
Disallow: /images/cache/*284-284.*
Disallow: /images/cache/*mail*
Disallow: /images/cache/*mobile*
Disallow: /images/cache/*grid*
Allow: /images/cache/*284-284@2x*
Allow: /images/cache/*hd*
Allow: /images/cache/*zoom*
Allow: /images/cache/*social*


# ===== Sitemaps =====
Sitemap: https://www.personalfitness.de/sitemaps/output/sitemap-index.xml