Home › Foren › Wir haben was geändert › Neue Plugins im Forum › Antwort auf: Neue Plugins im Forum
Automatische Bots zur Indexierung können über eine robots.txt-Datei ausgesperrt werden. Diese muss im root Verzeichnis auf dem Webserver für die Bots erreichbar sein und regelt wer wohin darf.
Möchte man zum Beispiel das “Forum” für alle Bots sperren würde das Ganze so aussehen:
User-agent: *
Disallow: /Lautsprecher-selber-bauen/
Das ganze kann auf beliebige Bereiche erweitern oder auch auf bestimmte Bots, beispielsweise den ‘Googlebot’ oder ‘Yahoo! Slurp’ einschränken.
Dann sollten diese Seiten auch nicht bei Google im Index landen.
Google ist so nett und bietet sogar eine gute Hilfe an wie das auszusehen hat:
https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt