Infrastruktur-Blockaden für KI-Crawler beheben (WAF, Server-Rendering, Core Web Vitals)
Die Infrastruktur Ihrer Website umfasst Hosting, Firewall, CDN, Seitendarstellung und die für Core Web Vitals relevante Geschwindigkeitsebene. Sie entscheidet, ob KI-Crawler Ihre Website erreichen, ob Ihr geschriebener Text im von ihnen gelesenen HTML enthalten ist und ob die Seite schnell genug geladen wird, um abgerufen zu werden. Eine Firewall oder ein CDN kann KI-Retrieval-Bots unbemerkt blockieren; eine Seite, deren Inhalte ausschließlich per JavaScript erzeugt werden, kann manchen KI-Assistenten statt Ihrer Inhalte nur einen leeren Container liefern; langsame oder instabile Core Web Vitals können Ihre Seiten aus Suchergebnissen und KI-Antworten heraushalten. Diese Änderungen nehmen Sie an Ihrem Hoster, CDN oder Framework außerhalb der Plattform von Findrix vor und markieren sie anschließend als erledigt.
Suchmaschinen und KI-Assistenten können nur Seiten zitieren, die sie abrufen, lesen und schnell laden können. Die Infrastrukturebene ist daher die Grundvoraussetzung, um überhaupt in Ergebnissen und KI-Antworten zu erscheinen. Blockiert eine Firewall oder ein CDN den Crawler, bleibt Ihre Website für die KI unsichtbar – ganz egal, wie stark die Seite ist. Wird Ihr Text nur per JavaScript gerendert, erfassen manche KI-Assistenten kaum mehr als Seitentitel und Description. Ist die Seite langsam oder instabil, stufen Retrieval-Bots sie herab oder brechen mit einem Timeout ab. Optimierungen an Hosting, CDN, Rendering und Ladezeit machen Ihre echten Inhalte erreichbar, lesbar und schnell.
Auf Ihrer Plattform umsetzen
Wählen Sie unten Ihre Website-Plattform aus, um zu sehen, wo Sie diese Änderung vornehmen und wie Sie prüfen, ob sie funktioniert hat.
- 1
WordPress rendert jede Seite auf dem eigenen Server, sodass KI-Crawler Ihren Text bereits vollständig erfassen und Rendering-Anpassungen selten nötig sind. Die beiden entscheidenden Infrastrukturhebel bei WordPress sind die Ladegeschwindigkeit und die Zulassung von KI-Crawlern.
- 2
Öffnen Sie für Core-Web-Vitals-Geschwindigkeit Plugins → Add New Plugin und installieren sowie aktivieren Sie genau ein Caching-Plugin: WP Rocket, FlyingPress oder LiteSpeed Cache. Die meisten funktionieren direkt ohne Konfiguration und ohne Bearbeiten von Dateien.
PluginsAdd New Plugin - 3
Aktivieren Sie die Bildkonvertierung in AVIF oder WebP mit genau einem Bild-Plugin: ShortPixel oder EWWW, nicht beiden.
- 4
Um KI-Crawlern Zugriff zu gewähren, prüfen Sie zuerst, ob Cloudflare vor Ihrer Website mit WordPress geschaltet ist.
- 5
Wenn Cloudflare vorgeschaltet ist, öffnen Sie das Cloudflare-Dashboard und navigieren Sie zu Security → Bots → AI Crawl Control und setzen Sie dort jeden KI-Bot auf „Allow“: GPTBot, OAI-SearchBot, ClaudeBot und PerplexityBot.
SecurityBotsAI Crawl Control - 6
Wenn Sie Cloudflare nicht nutzen, gibt es keine zentrale wp-admin-Einstellung für die Firewall- oder CDN-Ebene. Bitten Sie Ihren Hostinganbieter, die Kategorie verifizierter KI-Crawler zuzulassen.
Ergebnis prüfen. Führen Sie das Audit von Findrix erneut aus: Die Prüfungen „AI bots allowed“ und „fast enough for retrieval“ sollten grün angezeigt werden. Manuelle Prüfung: Öffnen Sie Ihre Startseite, wählen Sie „Seitenquelltext anzeigen“ und prüfen Sie, ob Überschrift und Fließtext im HTML-Quelltext stehen (nicht nur ein leerer Container).
Bitte beachten. Managed-WordPress-Hoster (Kinsta, WP Engine, SiteGround, GoDaddy) blockieren KI-Bots häufig auf einer Ebene, die innerhalb von WordPress nicht sichtbar ist. Die Blockierung greift, bevor WordPress ausgeführt wird, sodass kein Plugin sie anzeigt. Wenn Ihr Audit meldet, dass KI-Bots blockiert sind, obwohl Sie dies nie eingerichtet haben, liegt es fast immer am Hoster. Nur dessen Support kann die Kategorie der KI-Crawler auf die Zulassungsliste setzen.