# robots.txt — webdesign-ai.ch
# Aktualisiert: 2026-06-28
#
# GEO-Strategie (Generative Engine Optimization): MAXIMALE KI-Sichtbarkeit.
# Alle KI-Crawler sind erlaubt — Such-Index, Live-Abruf UND Training. Ziel ist,
# in ChatGPT-, Claude-, Perplexity-, Gemini- und Copilot-Antworten erwähnt und
# zitiert zu werden (vgl. GEO-Buch Kap. 6.1.1: für Sichtbarkeit Zugriff erlauben).
#
# Hinweis: Legal-Pages (/impressum/, /datenschutz/, /agb/) und /danke/ sind NICHT
# disallowed — sie haben "noindex" im Page-Meta. Crawl muss erlaubt sein, damit
# Suchmaschinen das noindex-Signal lesen können.

# ── Standard-Crawler ──────────────────────────────────────────
User-agent: *
Allow: /
Allow: /_next/static/
Allow: /_next/image/
Disallow: /api/
Disallow: /404
Disallow: /500

# ── Googlebot (speist auch Google AI Overviews) ───────────────
User-agent: Googlebot
Allow: /
Allow: /_next/static/
Allow: /_next/image/
Disallow: /api/

# ── Bingbot (speist auch Microsoft Copilot) ───────────────────
User-agent: Bingbot
Allow: /
Disallow: /api/

# ── KI-Crawler — ALLE ERLAUBT (Such-Index, Live-Abruf & Training) ──

# OpenAI — Training, ChatGPT-Such-Index, Live-Abruf für Antworten
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /

# Anthropic — Crawler/Training, Claude-Such-Index, Live-Abruf
User-agent: ClaudeBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /

# Google Gemini / AI Overviews — Grounding & Training
User-agent: Google-Extended
Allow: /

# Perplexity — Index & Live-Abruf
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /

# Apple Intelligence / Siri — Index & Training
User-agent: Applebot
Allow: /
User-agent: Applebot-Extended
Allow: /

# Microsoft / Meta / Cohere / Common Crawl — Training & KI-Datasets
User-agent: CCBot
Allow: /
User-agent: cohere-ai
Allow: /
User-agent: FacebookBot
Allow: /
User-agent: Meta-ExternalAgent
Allow: /

# ── Sitemap ───────────────────────────────────────────────────
Sitemap: https://www.webdesign-ai.ch/sitemap.xml
Host: https://www.webdesign-ai.ch