Meg lehet akadályozni, hogy a Google és egyéb keresők feltérképezzék az oldalam?

minden oldalad html fejlécébe:

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

illetve:

[link]

Benne a következő tartalom:

User-agent: *

Disallow: /

Igen van rá lehetőség.

[link]

User-agent: *

Disallow: /

(Ez bármelyik user-agenttel azonosított keresőrobotra vonatkozik, ami a célodnak megfelel. A második sor megtiltja a teljes site-ra a keresőben való indexelést.)

Ha pl. csak két mappát akarsz tiltani, a többi tartalmat elérhetővé akarod tenni a keresőbe, akkor:

User-agent: *

Disallow: /vedett_mappa/

Disallow: /admin/

Írtad, hogy subdomain-ről van szó. Ez a megoldás szempontjából lényegtelen. Ha a subdomain pl. ez: oldalam.domainnevem.hu, akkor a robots.txt fájlnak itt kell lennie: [link]

Amennyiben a subdomain a fő domain alól is elérhető, úgy célszerű azt is védeni. (Pl. ha az oldalam.domainnevem.hu elérhető a www.domainnevem.hu/oldalam vagy domainnevem.hu/oldalam címen is, akkor ezekre is hasonló módon lehet tenni robots.txt -t így:

----- domainnevem.hu/robots.txt -----

User-agent: *

Disallow: /oldalam/

Illetve a másik példa:

User-agent: *

Disallow: /oldalam/vedett_mappa/

Disallow: /oldalam/admin/