Če želimo biti opaženi in prepoznani s strani iskalnikov, je na začetku najbolj pomembno, da imamo vsebino zapisano v HTML formatu, saj imajo spletni roboti težavo z branjem Flash datotek in Java programov. Slike v gif, jpg ali png formatu se lahko naslovijo v HTML jeziku kot »alt attributes« in tako postrežejo s tekstovno verzijo vizualne vsebine. Na sploh je priporočljivo, da imata tako video kot avdio vsebina pripadajočo tekstovno vsebino, zlasti če naj bi bile določene besede in fraze narejene za indeksiranje strani.

Pri uporabi orodij kot so Google’s cache, SEO-browser.com in MozBar lahko hitro vidimo kateri elementi naše vsebine so vidni in indeksirani spletnim robotom. V nadaljevanju bomo videli kateri specifični tehnični aspekti oblikovanja internetne strani so zasnovani tako za spletne pajke kot za dvonožne obiskovalce strani in kateri so ključni razlogi za nedosegljivost določene strani:
– Obrazci za prijavo v sistem
Utegnejo nam povzročati težave, če jih imamo na svoji strani z namenom vpisa uporabnika, še preden ta pride na našo stran, saj spletni pajek ni vajen izpolnjevanja obrazcev, zato mu bodo tudi vsebine ostale uganka.
– Povezave v Javaskriptu
Če uporabljate Javaskript za povezave, boste ugotovili, da mu spletni pajki ne obračajo veliko pozornosti. Standardne HTML povezave naj zamenjajo (ali spremljajo) Javaskript na vseh tistih straneh, kjer si želimo spletnih pajkov.
– Povezave, ki kažejo na strani, ki so blokirane s strani meta robot značke ali robot.txt
Obe namreč omogočata lastniku strani prepoved dostopa pajka na dotično spletno stran.
– Povezave v okvirjih
Tehnično gledano so povezave v okvirjih s strani spletnih pajkov izsledljive, a predstavljajo strukturne vsebine za namen organizacije in sledenja. Če niste ravno strokovnjak na področju razumevanja kako spletni pajki sledijo in indeksirajo povezave v okvirjih, vam odsvetujemo uporabo okvirjev.
– Spletni roboti ne uporabljajo obrazcev za iskanje
Nekateri lastniki strani so prepričani, da bodo s pomočjo obrazca za iskanje tudi spletni pajki prepoznali ključna iskanja ljudi na njihovi strani. Vendar temu ni tako. Še enkrat: spletni roboti ne znajo uporabljati obrazcev in so jim zato prikrajšane vse informacije, ki ležijo za njimi …
– Povezave v flash, java in podobnih aplikacijah
– Povezave na strani, ki vključujejo več sto ali tisoč povezav
Spletni pajki lahko »preplezajo« samo omejeno število povezav, zato jim enormno število povezav dela preglavice, težave pa se lahko začnejo že pri številki 100, saj se lahko zgodi, da pajek vseh povezav ne more preplezati in indeksirati.

DANAŠNJI SEO SLOVAR:
Robots.txt – (Robots Exclusion Protocol) –usmeritvena tekstovna datoteka, ki jo preberejo roboti iskalnikov in na ta način izvejo katere dele spletne strani naj obiščejo.
Spider trap – neskončni loop, v katerem je pajek ujet v krogu avtomatsko generiranih linkov. Včasih se uporablja z namenom zaščite pred krajo e-mail naslovov ali vsebine. A spider trap (or crawler trap) je set internetnih strani, ki naj bi bile uporabljene namensko ali naključno z namenom povzročitve spletnega pajka ali brskalnega robota, da povzroči neskončno število zahtev ali padec slabo zastavljenega pajka. Pajkove pasti so zasnovane tako, da ulovijo spam robote in ostale pajke, da uničijo spletno »pajčevino«. Lahko so narejeni nenamensko s strani koledarjev, ki uporabljajo dinamične strani s povezavami, ki kotinuirano kažejo na naslednji dan ali leto.

Domača naloga:
Preverite povezave na vaši strani in si ustvarite vpogled v spletno pajčevino, ki se nahaja okrog nje. Imate stran sestavljeno v HTML jeziku ali morda vsebuje kakšne flash, javaskript formule in iskalne obrazce, ki zmedejo vašega pajka?