# besten-seo-tools.de
#
# Grundhaltung: Die redaktionellen Seiten sind fuer Suchmaschinen UND fuer
# KI-Crawler ausdruecklich freigegeben - Training, Grounding und Zitation sind
# erwuenscht. Gesperrt sind ausschliesslich die beiden rechtlichen Seiten
# /impressum und /datenschutz.

User-agent: *
Allow: /

# Rechtliche Seiten (/impressum, /datenschutz):
# ABSICHTLICH KEIN Disallow fuer normale Suchmaschinen. Die Seiten tragen
# noindex per Meta-Tag und X-Robots-Tag (siehe _headers). Ein Disallow wuerde
# das Crawling verhindern - dann koennte der Crawler das noindex nicht lesen
# und die URL koennte trotzdem als nackter Treffer im Index landen.

# --- KI-Crawler ---
# Alles ausser den rechtlichen Seiten ist freigegeben. Das "Allow: /" steht in
# jeder Gruppe explizit, damit die Freigabe beim spaeteren Bearbeiten nicht
# versehentlich verloren geht.

User-agent: GPTBot
Allow: /
Disallow: /impressum
Disallow: /datenschutz

User-agent: OAI-SearchBot
Allow: /
Disallow: /impressum
Disallow: /datenschutz

User-agent: ChatGPT-User
Allow: /
Disallow: /impressum
Disallow: /datenschutz

User-agent: ClaudeBot
Allow: /
Disallow: /impressum
Disallow: /datenschutz

User-agent: Claude-Web
Allow: /
Disallow: /impressum
Disallow: /datenschutz

User-agent: anthropic-ai
Allow: /
Disallow: /impressum
Disallow: /datenschutz

User-agent: Google-Extended
Allow: /
Disallow: /impressum
Disallow: /datenschutz

User-agent: PerplexityBot
Allow: /
Disallow: /impressum
Disallow: /datenschutz

User-agent: Perplexity-User
Allow: /
Disallow: /impressum
Disallow: /datenschutz

User-agent: Applebot-Extended
Allow: /
Disallow: /impressum
Disallow: /datenschutz

User-agent: meta-externalagent
Allow: /
Disallow: /impressum
Disallow: /datenschutz

User-agent: FacebookBot
Allow: /
Disallow: /impressum
Disallow: /datenschutz

User-agent: Amazonbot
Allow: /
Disallow: /impressum
Disallow: /datenschutz

User-agent: Bytespider
Allow: /
Disallow: /impressum
Disallow: /datenschutz

User-agent: CCBot
Allow: /
Disallow: /impressum
Disallow: /datenschutz

User-agent: Diffbot
Allow: /
Disallow: /impressum
Disallow: /datenschutz

User-agent: Omgilibot
Allow: /
Disallow: /impressum
Disallow: /datenschutz

User-agent: cohere-ai
Allow: /
Disallow: /impressum
Disallow: /datenschutz

User-agent: AI2Bot
Allow: /
Disallow: /impressum
Disallow: /datenschutz

User-agent: YouBot
Allow: /
Disallow: /impressum
Disallow: /datenschutz

User-agent: TimpiBot
Allow: /
Disallow: /impressum
Disallow: /datenschutz

Sitemap: https://besten-seo-tools.de/sitemap.xml