A keresőmotorok (pl. Google) hogyan tudják indexelni az egész webet és milyen nyelven írják őket?

Ha nem mutat rá link, akkor sehogy.

[link]

"Sztochasztikus szörföző" rész.

Persze elképzelhető, hogy a gugli robotjai véletlenszerűen generált URL-ekkel IS próbálkoznak, de annak az esélye, hogy így megtaláljon egy adott oldalt, amire nem mutat semmilyen link.. kb. 0.(Épp ezért nem tartom valószínűnek, hogy ilyesmit csinálnának a robotok)

Én úgy tudom emberi tényező is nagy mértékben szerepet játszik abban, hogy egy oldalt megtalál é a gugli vagy sem.

Be kell regisztrálni a gugliba az oldalt továbbá a gugli által kapott kódot beilleszteni az oldal forrásába.

A gugli szakemberei pedig akár erre írt programokkal is de megszűrik, hogy mi jelenhet meg és mi nem a találatokban.