Ma keresgettem tanácsadáshoz kapcsolódóan információkat neten és akkor találtam rá a következő oldalra: http://www.google.com/robots.txt
Számomra volt benne új infó, pl. nem tudtam, hogy léteznek ezek a szolgáltatások:
- http://www.google.com/microsoft - Microsoft-ra korlátozott Google custom search
- http://www.google.com/movies - Mozi és programkereső
- http://www.google.com/transit - útvonaltervező tömegközlekedéshez (Magyarországon még nem tervez útvonalat, nincsen magyar verzió)
Ha valaki valami radikális újdonságot talál benne, jelezze, elsőre én áttörést vagy eltitkolni szánt fejlesztést nem láttam, de ki tudja :)
A fentiek benne vannak a találati listákban, azaz ezek valószínűleg nem titkolt dolgok, de nem böngésztem végig az összes tiltott URL-t a robots.txt-jükben (disallow paraméter)
