robots.txt
25. September 2007 | Kategorie: wwwWarum halten sich verschiedene Suchdienste nicht an die robots.txt oder die Meta-Angaben? Das nervt total, wenn Seiten oder Domains in den Such-Ergebnissen auftauchen, die da nichts zu suchen haben. Das betrifft vor allem Domains, die ich nicht direkt benutze, sondern die Umgelenkt werden. Zum Beispiel hollii.com. Die Domain soll nicht in den Suchmaschinen erscheinen. Daher habe ich zum einen noindex in den Head-Bereich geschreiben und zum anderen in der robots.txt folgendes eingetragen.
User-agent: *
Disallow: /
Damit sollte doch alles geregelt sein, denkt man. Ist es aber anscheinend nicht. 
--------------------------------------------------------------------------------------------
Ähnliche Beiträge:
2 Kommentare/Trackbacks zu “robots.txt”
Die Frage ist ja, wie so eine Suchmaschine wirklich funktioniert. Angeblich ist google ja so schlau, dass sie nach gutem Content etc. sucht, selbst wenn man das indexieren verbietet. D.h. wenn sie eine gute Seite findet, wird sie trotzdem indexiert und aufgenommen…
Leitet deine Seite irgendwohin um?
JK am 30. September 2007 [Link]
Wie eine SuMa funktioniert spielt hier momentan keine Rolle. Wichtig wäre, das Google sich an die robots.txt hält, wenn Google diese alle paar Stunden anschaut.
Ja, die Domain hollii.com wie auch etliche andere Domains leiten auf hollii.de weiter. Bzw direkt zum Blog.
Hollii am 30. September 2007 [Link]