Fuck robots.txt
18. April 2010 | Kategorie: wwwNa das ist jetzt aber echt ärgerlich. Da muss mir wohl ein Fehler passiert sein. Ich hatte ein paar Google-Positionen überprüft. Und ich konnte meinen Augen nicht trauen, waren die doch nicht mehr auffindbar nur weiter hinten auffindbar. 
Da schaue ich in die robots.txt und da steht folgendes drin:
User-agent: ia_archiver
Disallow: /User-agent: Abacho
User-agent: Bloglines
User-agent: botBlogComsos
User-agent: Feedfetcher-Google
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: msnbot
User-agent: msnbot-media
User-agent: Slurp
User-agent: Teoma
User-agent: Twiceler
User-agent: *
Disallow: /backups/
Disallow: /blog/attachment
Disallow: /blog/author
Disallow: /blog/feed
Disallow: /blog/page-kontakt
Disallow: /blog/page-imprint
Disallow: /blog/page-messenger
Disallow: /blog/search
Disallow: /blog/
Disallow: /files/
Disallow: /icons/
Disallow: /page/
Disallow: /podcast/
Disallow: /robots.txt
Disallow: /roth-
Disallow: /smilies/
Disallow: /tools/
Disallow: /videos/
Mit dem rot markierten Eintrag hab ich den kompletten 5-Finger-Blog für die Suchmaschinen ausgehebelt. Wie mir das passieren konnte? Keine Ahnung… 
Ich vermute mal, ich hab bei der letzten Änderung an der robots.txt vor 2 Wochen die beiden Einträge nicht richtig gelöscht.
//Nachtrag: So, das ging ja flotter als gedacht. Noch nicht mal 3 Tage und fast alle Seiten sind wieder da, wo sind hin sollten. So ist brav Google. 
--------------------------------------------------------------------------------------------
Ähnliche Beiträge:
