A webes űrlapok

Az űrlapokon keresztül elérhető oldalak legtöbbször áthidalhatatlan akadályt jelentenek a keresőrobotok számára. A Google annak érdekében, hogy a web minél nagyobb részét indexelni tudja, kísérleti jelleggel elkezdte a megbízható, jó minőségű tartalmat adó oldalakon az űrlapok automatikus feldolgozását.

A mezők értékei

Felmerülhet a kérdés, hogy hogyan "tölti ki" a robot az űrlapot. Egy űrlap többfajta mezőt is tartalmazhat: a szövegdobozok értékét a honlapon található jellemző kulcsszavakkal, a legördülő listákat, rádiógombokat és jelölőnégyzeteket pedig a rendelkezésre álló választási lehetőségekkel küldi el a robot.

Ha az elküldés hatására úgy tűnik, hogy értékes, új tartalommal rendelkező oldal jön válaszként, akkor - ha addig nem lett volna benne - az adott oldal belekerül a Google indexébe, akárcsak egy "hagyományos" módon megtalált lap.

A lekérések korlátai

Természetesen nem minden honlap esetében próbálkozik ilyen módon a keresőrobot, és a próbálkozások száma is igen korlátozott, hiszen nagy számú beérkező űrlap feldolgozása negatív hatással lehet az oldal működésére.

Továbbá csak GET metódussal működő űrlapok kerülnek elküldésre, és azok is csak abban az esetben, ha valószínűsíthetően nem felhasználó bejelentkeztetés céljából vannak ott. Erre utalhat, ha jelszó típusú beviteli mező is van az űrlapon. További kizáró tényező az, ha a robots.txt az oldal keresőrobotok általi feldolgozását megtiltotta.

Lehetséges hatások

Azok az oldalak, amelyeknél a keresőrobot űrlap elküldésekkel kísérletezik, nem kapnak kiemelt figyelmet a többi honlaphoz képest, az eljárás nincs hatással a keresési listák helyezéseire, vagy az oldal PageRank-jére, pusztán az adott oldalon indexelendő információ mennyiségét hivatott növelni.

Az űrlapok sokáig akadályozták a keresőket abban, hogy értékes oldalakat érhessenek el. A láthatatlan (deep) web kifejezés mögött olyan tartalmakat értünk, amelyek nem érhetők el a hagyományos keresőrobotok számára. A HTML-es űrlapok kitöltésével a láthatatlan web egy része "megnyílik", és a Google felhasználói számára részletesebb keresési eredményeket nyújthat, és akár olyan oldalakat is figyelembe vehet, amelyek más keresőkben esetleg meg se jelennek.