Hogyan lehet olyan keresömotort irni amely minden weboldalon keres? A nem indexelteken is ( ld. "darkweb" )? Ökrök kiméljenek, profi tanácsát kérném.

Olyan motort nem lehet, ami a nem indexelteken keres, mert épp ez a lényege, hogy csak az találja meg, aki konkrétan megkapta a címét.

A szokásos weboldalakra pedig egyszerű, beadsz pár százerezer weboldalt, és mindegyiken végigmegy, és amit talál linket, azokon továbbmegy, és így tovább...

De ez csak a feltérképezés. A nehezebb része a keresésre a releváns találat kiadása (na meg a struktúra felépítés, ne kelljen minden szó miatt több millió oldalon végigmennie, mert évekig is eltartana...). Erre nagyon komoly matematikai módszerek vannak, amit minden kereső cég igyekszik fejleszteni.

Világhírű matematikusok segítségével.

A darkwebes keresők is ugyanúgy működnek. Kellenek neki kiinduló weboldalak amikről beolvassa a linkeket, azokon is megnézi a linkeket, és azokon is... A nyilvános toros oldalaknak van egy nem teljes listája (hidden wiki), ha ezt már ismeri a kereső, sok mindent meg tud találni, de amire nem linkelnek azt nem.

Ilyen kereső a [link] és itt a forráskódja [link]