Ma keresgettem tanácsadáshoz kapcsolódóan információkat neten és akkor találtam rá a következő oldalra: http://www.google.com/robots.txt

Számomra volt benne új infó, pl. nem tudtam, hogy léteznek ezek a szolgáltatások:

• http://www.google.com/microsoft - Microsoft-ra korlátozott Google custom search
  
• http://www.google.com/movies - Mozi és programkereső
• http://www.google.com/transit - útvonaltervező tömegközlekedéshez (Magyarországon még nem tervez útvonalat, nincsen magyar verzió)

Ha valaki valami radikális újdonságot talál benne, jelezze, elsőre én áttörést vagy eltitkolni szánt fejlesztést nem láttam, de ki tudja :)

A fentiek benne vannak a találati listákban, azaz ezek valószínűleg nem titkolt dolgok, de nem böngésztem végig az összes tiltott URL-t a robots.txt-jükben (disallow paraméter)