Többszörös érték megadás

Azt javasoljuk, hogy a minden tartalomra vonatkozó értéket inkább egyetlen meta tag-ben sorakoztassunk fel. Ez által könnyebben értelmezhetővé tesszük a robot számára és elkerülhetjük az összeférhetetlenséget.

Például:

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Ha az oldalon többszöri meta tag szerepel ugyanahhoz az típushoz, mi összevonjuk az értékeit.

Például a következő képpen dolgozzuk fel:

<META NAME="ROBOTS" CONTENT="NOINDEX">

<META NAME="ROBOTS" CONTENT="NOFOLLOW">

Ez ugyanaz, mint:

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Ha a összeférhetetlenséget fedezünk fel, akkor a legszigorúbbat alkalmazzuk.

A következő esetben például:

<META NAME="ROBOTS" CONTENT="NOINDEX">
<META NAME="ROBOTS" CONTENT="INDEX">

Mi a NOINDEX érték szerint járunk el.

Felesleges tartalmi jellemzők

Alapesetben a Google robot az oldalakat indexeli a lekövetett linkjei alapján. Tehát nincs szükség megadni a következő tartalomra vonatkozó elemeket: INDEX vagy FOLLOW.

A kereső robotok közvetlen megszólítása meta tagekkel

Ha minden kereső robot számára akarunk utasítást adni, akkor használjuk a ROBOTS meta nevet. De ha csak a Google robotját akarjuk irányítani, akkor használhatjuk névnek a GOOGLEBOT –ot. Ha külön utasításokat akarunk adni a kereső robotoknak (pl. ha csak egy kifejezett robotnak akarjuk engedélyezni az oldalunk feldolgozását), akkor használjuk ezeket a speciális meta tag neveket. A kereső robotok listája megtalálható robotstxt.org oldalon.

A szóközök és a nagy- illetve kisbetűs tartalom

A Google robot értelmezni tudja a kis- és nagybetűvel írt oldalakat is. Tehát a következő példák ugyanúgy feldolgozásra kerülnek:

<meta name="ROBOTS" content="NOODP">
<meta name="robots" content="noodp">
<meta name="Robots" content="NoOdp">

Ha több értéket adunk meg azonos típushoz, akkor vesszővel kell azokat elválasztani, de értelmezni tudja a szóközzel elválasztott értékeket is.

Pld:

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

Ha robots.txt fájlt is használunk és robot meta tageket is

Ha azonos típusok összeütközésbe kerülnek, akkor a Googlebot a legszigorúbbat fogja figyelembe venni.

Ez azt jelenti, hogy:

• Ha blokkolsz egy oldalt a robots.txt-vel, akkor a Google robot egyáltalán nem fogja olvasni az oldalukat, nem veszi figyelembe egyik meta tag-jét sem.
• Ha a robots.txt-ben engedélyezzük az oldalunk feldolgozását, és közben meta tag-gel tiltjuk az indexelését, akkor a Google robot eléri ugyan az oldalunkat, beolvassa a meta tagjeit, de mégsem fogja indexelni.

Engedélyezett meta robot értékek

A Google robotja a következő értékeket fogja figyelembe venni:

• NOINDEX – megakadályozhatjuk vele oldalunk indexelését
• NOFOLLOW – megakadályozhatjuk, hogy oldalunkon található hivatkozások feldolgozásra kerüljenek. (Ez különbözik a link-színtű NOFOLLOW értéktől, mert az egyedi linkek lekövetését akadályozza)
• NOARCHIVE – letilthatjuk vele, hogy az oldalunkról archív másolat készüljön keresési listáknak
• NOSNIPPET – segítségével megtiltjuk azt, hogy archív másolat készüljön az oldalunkról és azt is, hogy kereső eredmények listájában leírás is megjelenjen az oldal linkje alatt.
• NOODP – megakadályozhatjuk, hogy az Open Directory Project leírásai közé is bekerüljön a kereső listában szereplő leírása az oldalnak
• NONE – ugyanaz, mint : NOINDEX NOFOLLOW

Néhány szó a NONE értékről

Amint a robotstxt.org leírásában szerepel, ennek az értéknek a jelentése: NOINDEX, NOFOLLOW

Azonban némely rendszergazda felcseréli jelentését, úgy értelmezve, hogy nem jelent semmilyen tiltást a robotoknak, közben az ellenkezőjét érik el vele, tiltják a robotoktól oldalunk feldolgozását.