KI-Crawler-Check
Dürfen ChatGPT, Perplexity, Claude, Google und Bing Ihre Website überhaupt lesen? Der Check prüft die technischen Voraussetzungen: robots.txt, Bot-Schutz, Text ohne JavaScript und maschinenlesbare Firmendaten.
Geprüft wird die Startseite Ihrer Domain. Ob und wie Sie in KI-Antworten erscheinen, entscheiden allein die Anbieter; kein Werkzeug kann das versprechen. Dieser Check findet technische Hindernisse.
Firmendaten für Maschinen (JSON-LD)
Für Ihre Webagentur oder wer Ihre Website pflegt.
Erzeugt einen Block für den <head> Ihrer Startseite. Tragen Sie nur Angaben ein, die auch sichtbar auf der Seite stehen. Die Eingaben bleiben in Ihrem Browser.
KI-Training sperren oder erlauben (robots.txt)
Für Ihre Webagentur oder wer Ihre Website pflegt.
Such- und Antwort-Crawler brauchen keinen eigenen Eintrag: Sie folgen Ihren allgemeinen Regeln (User-agent: *). Ein eigener Eintrag für einen Crawler würde Ihre allgemeinen Regeln für ihn außer Kraft setzen. Für das KI-Training entscheiden Sie selbst; die Anbieter sagen, dass eine Sperre die Suche nicht beeinflusst.
Was der Check prüft und was nicht
Wir rufen von der eingegebenen Domain nur die öffentliche robots.txt, die Startseite, die Sitemap und llms.txt ab
und werten sie aus. Die Regeln in der robots.txt prüfen wir für die Startseite, so wie Crawler sie lesen (RFC 9309). Sperren im
Bot-Schutz Ihres Hosters (z. B. Cloudflare) sehen wir nur, wenn sie auch uns treffen. Wir geben uns nicht als KI-Crawler aus.
Was entscheidet, ob man in KI-Antworten vorkommt?
Das entscheiden die Anbieter, und sie legen es nicht offen. Belegt ist: Ohne Zugriff ihrer Such-Crawler (z. B. OAI-SearchBot für die
ChatGPT-Suche, PerplexityBot, Claude-SearchBot) können sie Ihre Seite nicht lesen. Google nutzt für AI Overviews und AI Mode
den normalen Googlebot und sagt, dass dafür keine besonderen Dateien nötig sind. Darüber hinaus nennen die Anbieter
dieselben Grundlagen wie bei der normalen Suche: gute, sichtbare Inhalte, ein gepflegtes Unternehmensprofil (Google, Bing, Apple) und
Erwähnungen auf anderen Seiten.
Quellen: OpenAI, Perplexity, Anthropic, Google, Apple, Cloudflare.
Datenschutz
Die eingegebene Domain geht an unseren Server, der die genannten öffentlichen Dateien dieser Website abruft. Domain und Ergebnis werden 10 Minuten zwischengespeichert (damit wiederholte Prüfungen die Website nicht erneut abrufen) und danach verworfen; wir legen sie nirgends ab. Wir zählen nur, wie oft geprüft wurde. Die Generatoren laufen nur in Ihrem Browser. Mehr unter Datenschutz.