Erre szolgál a REP, azaz a Robots Exclusion Protocol, amellyel utasításokat adhatunk a keresőknek akár egy központi helyről (robots.txt), akár egyedi oldalak szintjén (meta tagekkel) arra vonatkozólag, hogy azok hogyan viszonyuljanak az egyes aloldalakhoz.

A REP története

A Robots Exclusion Protocol alapjai a 90-es években jöttek létre. Azóta ipari szabvány vált belőle, amellyel a honlapok tulajdonosai meghatározhatják, hogy oldalaik mely részét szeretnék elrejteni a keresőrobotok elől. Egyszerű és hatékony eszköz lévén ma már rengetegen használják fel a Robots Exclusion Protocolt arra, hogy a keresőrobotokkal ilyen módon kommunikáljanak. A REP erőssége abban rejlik, hogy nagyon rugalmas, és ezáltal képes a webbel együtt fejlődni.

A tagek pontos jelentése

Minden nagyobb keresőrobot felhasználja a Robots Exclusion Protocolt arra, hogy az oldal üzemeltetőivel kommunikáljon, azonban sokáig nem találhattunk megbízható információt arra vonatkozóan, hogy az egyes tageket hogyan értelmezik a keresők. Az itt leírtak a három legnagyobb keresőmotor - a Google, az MSN Live és a Yahoo - közös értelmezési módját takarják.

Robots.txt utasításai

Disallow

a keresőrobot nem fogja indexelni az itt felsorolt oldalakat. Itt könyvtár- vagy fájlneveket sorolhatunk fel.

Alow

az engedélyezett oldalakt sorolja fel, a Disallow-val együtt van értelme használni (ha például egy teljes könyvtárat letiltunk, de néhány fájlt mégis szeretnénk engedélyezni belőle)

Sitemap

a sitemap direktívával a honlaphoz tartozó oldaltérkép elérhetőségét adhatjuk meg a keresőknek

Mind az Allow, mind a Disallow parancs esetében használhatunk egyszerű mintaillesztő kifejezéseket: a $ az URL végét jelöli (például a Disallow: /*.php$ az összes php kiterjesztésű állomány indexelését megtiltja), a * karakter pedig bármilyen karakterláncra illeszkedik (például a Disallow: /private*/ az összes private kezdetű alkönyvtár indexelését tiltja meg).

Meta tagek

• NOINDEX: az adott oldal indexelését tiltja meg
• NOFOLLOW: az adott oldal linkjeinek követését tiltja meg
• NOSNIPPET: hatására az adott oldalnak a találati listákban nem lesz rövid leírása
• NOARCHIVE: az adott oldalról nem készül tárolt változat
• NOODP: a találati listákban az oldal rövid leírásának generálásához nem használható az Open Directory Project adatbázisa

Egyéb meta tagek

Az alábbiakban felsorolt meta tagek feldolgozását a három nagyon kereső megoldotta, azonban nem biztos, hogy a többi kereső is értelmezi őket.

• UNAVAILABLE_AFTER: ebben a meta tagben egy dátumot kell megadni, ami után az oldal kikerül a keresők találati listájából
• NOIMAGEINDEX: az adott oldalon található képek nem kerülnek bele a képkereső indexbe
• NOTRANSLATE: egyes oldalakat a Google lefordítja a keresést végző anyanyelvére. A NOTRANSLATE taggel megakadályozhatjuk, hogy ezt a kereső felkínálja.