Zurück zu Neue Plugins im Forum

Antwort auf: Neue Plugins im Forum

Startseite Foren Wir haben was geändert Neue Plugins im Forum Antwort auf: Neue Plugins im Forum

#2240
bu

Automatische Bots zur Indexierung können über eine robots.txt-Datei ausgesperrt werden. Diese muss im root Verzeichnis auf dem Webserver für die Bots erreichbar sein und regelt wer wohin darf.

Möchte man zum Beispiel das „Forum“ für alle Bots sperren würde das Ganze so aussehen:
User-agent: *
Disallow: /Lautsprecher-selber-bauen/

Das ganze kann auf beliebige Bereiche erweitern oder auch auf bestimmte Bots, beispielsweise den ‚Googlebot‘ oder ‚Yahoo! Slurp‘ einschränken.

Dann sollten diese Seiten auch nicht bei Google im Index landen.

Google ist so nett und bietet sogar eine gute Hilfe an wie das auszusehen hat:
https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

Permanentlink zu diesem Beitrag: https://www.acoustic-design-magazin.de/Lautsprecher-selber-bauen/Antwort/2240/