Deep web

A láthatatlan (deep) web kifejezés a World Wide Web egy olyan részhalmazát jelöli, amely a hagyományos keresõrobotok számára nem érhetõ el. A deep web ellentéte a surface web, ezeket az oldalakat a keresõk is látják. Egyes feltételezések szerint a deep web mérete sokszorosan meghaladja a keresõk által indexelt oldalakét.

Mitõl lesz láthatatlan egy oldal?

Több lehetséges oka lehet annak, hogy egy keresõ nem látja oldalunkat. A legegyszerûbb példa az, ha mi nem akarjuk, hogy lássák a keresõk. Ezt honlapunk gyökérkönyvtárába helyezett megfelelõ tartalmú robots.txt-vel érjük el. Jelszóval is védhetjük oldalainkat, erre az általunk használt szervertõl függõen több módszer is elképzelhetõ. Nem csak jelszavak, hanem IP tartományok alapján is szûrhetjük látogatóinkat.
Ha nem publikáljuk, és egy link sem mutat rá, az is hatékony módszer arra, hogy oldalunkat a deep web részévé tegyük.
Nem biztos azonban, hogy szándékosan nem látható oldalunk. Ha egyes lapokat csak flash menüvel, javascript generálta kóddal vagy ûrlapokkal lehet megközelíteni, akkor azokat a keresõrobotok nem fogják elérni.

A láthatatlan web keresõi

Több próbálkozás témája is a láthatatlan web kereshetõvé tételére. Az egyik legismertebb a Google Sitemap, amellyel egy egyszerû XML fájl "beküldésével" oldalaink felsorolását eljuttathatjuk a Google keresõje számára. Ez a fájl viszonylag szabványos, ugyanezt a fájlt a Yahoo és az MSN Live számára is elküldhetjük.
Vannak kézi módszerek is a deep web feltárására. A stumbleupon.com -on a látogatók oszthatják meg általuk érdekesnek ítélt oldalakat mindenki számára. Más kérdés, hogy ez mennyire hatékony megoldás, az oldalon található hivatkozásokból néhány véletlenszerûen kiválasztott megtalálható volt "hagyományos" keresõkkel is.
Vannak ígéretes próbálkozások arra is, hogy a keresõk az ûrlapokat automatikusan kitöltsék bizonyos értékekkel, és így indexelhetõvé válnak a korábban nem elérhetõ tartalmak (pl. adatbázis-függõ, automatikusan generált lapok esetében).

Könnyen elképzelhetõ, hogy ezt a megoldást késõbb viszontlátjuk a nagy keresõmotoroknál.
Végül léteznek, nem általános, hanem egy-egy szûk témakörre összpontosító keresõk (pl. a closerlooksearch.com, northernlight.com), amelyeket akár igényeink alapján módosíttatni is lehet. Ekkor a motor testreszabása során nagy figyelmet kap a számunkra fontos témákhoz tartozó deep web felderítése.