Die Datei robots.txt wird verwendet, um Robots (Bots) darüber zu informieren, was sie auf einer Website nicht tun sollten. Sie enthält Informationen darüber, welche Daten nicht von Suchmaschinen indiziert werden können.

Den Inhalt der robots.txt findest du im Administrationsbereich unter Suchmaschinenoptimierung / robots.txt.

In diesem Bereich kannst du festlegen, welcher Teil der Seite indiziert werden soll und welcher nicht. Du kannst beispielsweise festlegen, dass die gesamte Seite indiziert werden soll oder nicht oder, dass nur eine bestimmte Datei nicht indiziert werden soll.

Die vorgenommenen Änderungen solltest du über das Diskettensymbol abspeichern.