Kurzantwort
Die Antwort in einem Zug
Das lässt sich nicht mit einem einzigen Haken beantworten. Eine Website kann für einen Browser funktionieren und einzelne Bots trotzdem blockieren. Du musst pro System prüfen, ob die URL erreichbar ist, ob Crawling erlaubt ist, ob der relevante Inhalt im ausgelieferten HTML steht und ob Canonical- oder Indexsignale auf eine andere Seite zeigen.
Fünf getrennte Tests ergeben ein belastbares Bild
- Netzwerk: Liefert die URL stabil 200 oder entstehen 403, 429, Redirect-Schleifen und Timeouts?
- Crawler-Regeln: Was erlauben robots.txt und seitenbezogene Robots-Angaben dem konkreten User-Agent?
- Auslieferung: Stehen Hauptaussage, Angebot und Belege bereits im HTML oder erst nach komplexer Browser-Interaktion?
- Identität: Verweisen Canonical, Weiterleitungen und Sprachvarianten auf die richtige Quelle?
- Plattformzugang: Googlebot, OAI-SearchBot und andere Crawler sind unterschiedliche Zugänge. Eine pauschale Aussage wäre ungenau.
Ein fehlendes llms.txt beweist keine Blockade. Eine vorhandene Datei beweist umgekehrt keine Aufnahme in eine Antwort. Entscheidend sind beobachtete HTTP-Antworten und die dokumentierten Regeln des jeweiligen Systems.
Was ein guter Zugangsbericht zeigen sollte
Bei einem Fehlschlag braucht der Report eine konkrete Fehlerklasse statt „nicht prüfbar“: DNS-/TLS-Fehler, robots-Ausschluss, WAF oder Bot-Challenge, Rate Limit, Login-Schranke, leerer App-Shell-Inhalt oder nicht eindeutige Weiterleitung.
| Signal | Beobachtung | Aussagegrenze |
|---|---|---|
| robots.txt | Regel für konkreten User-Agent | Keine Aussage über tatsächliche Auswahl |
| HTTP-Status | Antwort für genau diesen Abruf | WAF kann je nach Client variieren |
| HTML-Inhalt | sichtbarer und maschinenlesbarer Text | Lesbarkeit ist noch keine Relevanz |
| Canonical | bevorzugte URL | Signal, keine Annahmegarantie |
Zugang zuerst, Optimierung danach
Wenn der relevante Crawler ausgesperrt ist, wird Content-Optimierung zur Arbeit hinter verschlossener Tür. Behebe den konkreten Zugangspfad, ohne pauschal alle Bots freizugeben. Zugriffskontrolle, Rate Limits und Schutz vor Missbrauch bleiben Teil einer sauberen Architektur.
Wichtig: „Bot erreichbar“ und „für Training freigegeben“ sind nicht dasselbe. Bei OpenAI sind OAI-SearchBot und GPTBot getrennte Steuerungsmöglichkeiten.
Quellen & Aussagegrenzen
Die verlinkten Primärquellen stützen die technischen Grundlagen. Aussagen zur tatsächlichen Sichtbarkeit bleiben plattform-, zeit- und promptabhängig.
Shelfkind verspricht keine Platzierung, Nennung oder Umsatzwirkung. Wir machen Zugang, Antwortfähigkeit, Belege und beobachtete Auswahl in einem definierten Panel nachvollziehbar.