Za iskanje po spletnih straneh je odgovoren robot iskalnika. Program samodejno bere podatke z vseh strani in jih registrira v obliki, ki je razumljiva za sam iskalnik, tako da bo kasneje sistem prikazal najprimernejše rezultate za uporabnika.
Funkcije
Vse indeksirane informacije so zabeležene v skupni bazi podatkov.
Iskalni robot je program, ki samodejno potuje po straneh interneta in zahteva potrebne dokumente ter prejme strukturo iskanih spletnih mest. Robot samostojno izbere strani, ki jih želite optično prebrati. V večini primerov so spletna mesta za skeniranje naključno izbrana.
Vrste botov
Nepravilno delujoč robot znatno poveča obremenitev omrežja in strežnika, kar lahko povzroči, da vir ni na voljo.
Vsak iskalnik ima več programov, imenovanih roboti. Vsak od njih lahko opravlja določeno funkcijo. Na primer, v Yandexu so nekateri roboti odgovorni za skeniranje RSS novic, kar bo koristno za indeksiranje spletnih dnevnikov. Obstajajo tudi programi, ki iščejo samo slike. Najpomembnejša stvar pa je indeksirni bot, ki je osnova za vsako iskanje. Na voljo je tudi pomožni hitri robot, namenjen iskanju posodobitev virov novic in dogodkov.
Postopek optičnega branja
Drug način za preprečevanje iskanja po vsebini je ustvariti dostop do spletnega mesta prek registrske plošče.
Ob obisku spletnega mesta program skenira datotečni sistem na prisotnost datotek z navodili robots.txt. Če obstaja dokument, se začne branje direktiv, zapisanih v dokumentu. Robots.txt lahko prepove ali, nasprotno, omogoči skeniranje določenih strani in datotek na spletnem mestu.
Postopek optičnega branja je odvisen od vrste programa. Včasih roboti berejo samo naslove strani in nekaj odstavkov. V nekaterih primerih se optično branje opravi v celotnem dokumentu, odvisno od oznake HTML, kar lahko deluje tudi kot sredstvo za določanje ključnih besednih zvez. Nekateri programi so specializirani za skrite ali metaoznake.
Dodajanje na seznam
Vsak spletni skrbnik lahko prepreči, da bi iskalnik iskal po straneh po robots.txt ali oznaki META. Ustvarjalec spletnega mesta ga lahko ročno doda v čakalno vrsto za indeksiranje, vendar to ne pomeni, da bo robot takoj preiskal želeno stran. Za dodajanje spletnega mesta v čakalno vrsto iskalniki ponujajo tudi posebne vmesnike. Dodajanje spletnega mesta znatno pospeši postopek indeksiranja. Za hitro registracijo v iskalniku lahko uporabite sisteme za spletno analitiko, imenike spletnih mest itd.
