ChatGPT in der robots.txt ausschließen

Im August 2023 haben sich einige SEOs und Unternehmen positioniert und sich die Frage beantwortet, ob sie ChatGPT in der robots.txt ausschließen wollen oder nicht. Ob das sinnvoll ist und wie das geht, erfährst Du in diesem Artikel.

Hintergrund

Mitte August 2023 meldeten einige SEO-Blogs wie SEO-Südwest von Christian Kunz, dass man nun ChatGPT in der robots.txt ausschließen kann. Bereits kurze Zeit später haben große Websites Taten folgen lassen und ihre robots.txt-Dateien angepasst. Bei Linkedin gab es Umfragen und zahlreiche SEOs haben ihre Meinung dazu gepostet und Analysen veröffentlicht, welche der größten Websites denn nun ChatGPT in der robots.txt ausschließen und welche nicht.

Warum machen Websites das?

ChatGPT in der robots.txt ausschließen kann verschiedene Gründe haben. Schauen wir uns die zumindest offensichtlichen Gründe genauer an:

Inhalte vor ChatGPT schützen

Die Grundannahme ist, dass ChatGPT Daten Deiner Website crawlt, diese verarbeitet und sie ChatGPT-Usern verändert oder unverändert als Antwort auf ihre Fragen präsentiert. Es kann also nicht ausgeschlossen werden, dass Deine selbst erstellten Inhalte irgendwoanders Verwendung finden. Das Problem daran: Weder Du noch die Verwendenden können dies erkennen und nachvollziehen.

Im schlimmsten Fall gibt es ein Duplicate-Content-Problem, was Deiner Content-SEO natürlich nachhaltig schaden kann. Im noch schlimmeren Fall könnte es sogar rechtliche Probleme wie Abmahnungen geben. Allerdings ist die ganze rechtliche Thematik hinsichtlich künstlicher Intelligenz und Chatbots wie ChatGPT bisher nicht geklärt.

Organic Traffic schützen

Direkt aus ChatGPT bekommt Deine Website in der Regel keinen Traffic und wenn, dann keinen organischen. Allerdings nutzt die Suchmaschine Bing von Microsoft eine ChatGPT-Integration in der klassischen Suche.

User suchen also nach einem ganz normalen Suchbegriff, für den Deine Website rankt. Sie bekommen neben den klassischen, organischen Rankings unter Umständen aber auch eine ChatGPT-Antwort. Diese ChatGPT-Antwort löst die Frage, ein Klick auf Deine Website wird unnötig. Folge: Kein Traffic.

ChatGPT in der robots.txt ausschließen

Die Lösung ist nun, ChatGPT in der robots.txt auszuschließen. Dazu gibt es folgende Varianten:

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

Man kann beide User-agents verwenden oder nur einen.

Unterschied zwischen User-agents

GPTBot

GPTBot ist der Crawler, der Daten für GPT-Modelle und somit ChatGPT sammelt. Daten die GPTBot sammelt, werden zum Training der KI verwendet.

ChatGPT-User

ChatGPT-User wird für Tools verwendet, die ChatGPT verwenden wie z. B. Plugins. ChatGPT-User crawlt nicht automatisch, sondern erst auf Anweisung von Usern.

Integration in die robots.txt

Die Integration ist relativ einfach. Dafür musst Du kein Tech-SEO-Spezialist sein. Du musst die oben geteilten Anweisungen einfach in deine robots.txt-Datei einfügen. Entweder über ein Tool wie Yoast für WordPress direkt in deinem CMS-Backend oder manuell.

Für eine manuelle Integration lädst Du Deine robots.txt vom FTP-Server deiner Website herunter. Sie liegt im Root-Verzeichnis. Dann öffnest Du die robots.txt mit einem Programm wie dem Editor, dem Notepad oder einem Developer-Tool wie z. B. Sublime Text, fügst die Inhalte ein und lädst die Datei wieder in dein Root-Verzeichnis. Achte dabei darauf, dass die bisherige robots.txt überschrieben wird und der Dateiname gleich bleibt.

Auschließen oder nicht?

Viele sagen, ohne darüber nachzudenken, dass ChatGPT in der robots.txt ausgeschlossen werden muss. Ganz ehrlich: so ging’s mir auch. Allerdings verfolge ich grundsätzlich einen strategischen Ansatz und versuche out-of-the-box zu denken.

Meine Meinung

Daher bin ich der Meinung, dass Du genau überlegen solltest, welche Inhalte vor ChatGPT geschützt werden sollten und welche nicht. Ich bin der Ansicht, dass typische Marketing-Inhalte durchaus hilfreich für Dein Business sein können, wenn sie als ChatGPT-Antwort kommen. Darunter zähle ich alles, was Du verkaufen möchtest bzw. womit du unmittelbaren Umsatz machen kannst (z. B. Produkte).

Unique Content, der mühevoll recherchiert wurde und in vielen Fällen nur indirekt etwas mit Deiner Marke zu tun hat, sollte für ChatGPT in der robots.txt ausgeschlossen werden (z. B. Ratgeber-Inhalte).

Meine Lösung

Ich schlage Dir daher vor, zu prüfen, welcher Content Dir auch innerhalb ChatGPT helfen kann, Umsatz zu machen und welcher Content innerhalb ChatGPT lediglich kostenlose Ratschläge Deinerseits zur Verfügung stellt.

Es kommt hier definitiv auf den Einzelfall an und Du solltest Dir die Zeit nehmen, zu prüfen, was Sinn macht und was vielleicht auch nicht. Pauschal alles zulassen bzw. pauschal ChatGPT in der robots.txt ausschließen ist meiner Ansicht nach zu kurz und zu einfach gedacht.

Eine beispielhafte Lösung sähe folgendermaßen aus:

User-agent: GPTBot
Allow: /produkte/
Disallow: /ratgeber/

User-agent: ChatGPT-User
Allow: /produkte/
Disallow: /ratgeber/

Fazit

Es gibt wie so oft nicht die pauschale Lösung. Du musst Deine Situation und Deine individuellen Gegebenheiten ermitteln und analysieren. Daraus kannst Du effektive Schritte ableiten und dem Thema sinnvoll begegnen.

Außerdem solltest Du die Entwicklungen rund um künstliche Intelligenz und ChatGPT im Auge behalten. Da wird sich in den kommenden Monaten und Jahren noch sehr viel tun. Es wird positive Entwicklungen und negative Entwicklungen geben. Doch es gilt wie immer mein Motto: Leben in der Lage und das beste aus den Gegebenheiten machen.

Dass solche Themen übrigens mitten im Sommer kommen, ist nichts Ungewöhnliches. In einem anderen Artikel habe ich meine Routine zusammengefasst, wie auch Du den SEO-Restart nach dem Urlaub erfolgeich gestaltest