Most van aktuálisan egy problémakör, ami miatt vizslatom a Google indexálási dolgait, kiemelten a robots.txt hatását minderre.
Vajon... a www.ksh.hu oldal esetén miért döntöttek úgy a fejlesztők, hogy a teljes oldal indexálását letiltják a robots.txt-ben?
User-agent: * Disallow: / Disallow: /portal/ Disallow: /pls/(forrás: www.ksh.hu/robots.txt)
Ennek eredménye, hogy egy szem ksh.hu oldal van indexálva a Google-ben :)
Ha esetleg olvassák ők is a blogot, akkor változtassák meg a disallow: / -t, elég a /portal és a /pls tiltása. És akkor Google-ben keresésre be is jön majd a ksh oldala :)
