Indeksiranje je postopek skeniranja datotek, ki se nahajajo na spletnem viru s strani iskalnega robota. Ta postopek se izvede tako, da je spletno mesto na voljo v rezultatih iskanja za različne poizvedbe v iskalniku. Danes je med največjimi iskalniki Yandex, ki to skeniranje izvaja na svoj način.
Navodila
Korak 1
Indeksiranje spletnega mesta izvajajo posebni samodejni programi - iskalni roboti, ki samodejno sledijo pojavu novih spletnih mest na svetovnem spletu, nenehno skenirajo internetne strani, ki se nahajajo v internetu, datoteke in povezave do njih na vsakem viru.
2. korak
Za optično branje robot preide v imenik, kjer je vir na določenem strežniku. Pri izbiri novega spletnega mesta robota vodi njegova razpoložljivost. Na primer, obstaja mnenje, da Yandex najprej pregleda spletna mesta, ustvarjena v domeni v ruskem jeziku in v ruščini - ru, rf, su ali ua, in se nato preseli v druge regije.
3. korak
Robot se pomakne do spletnega mesta in pregleda njegovo strukturo, najprej poišče datoteke, ki kažejo na nadaljnje iskanje. Spletno mesto je na primer optično prebrano za Sitemap.xml ali robots.txt. Te datoteke lahko uporabite za nastavitev vedenja iskalnega robota med skeniranjem. Z uporabo zemljevida mesta (sitemap.xml) robot dobi natančnejšo predstavo o strukturi vira. Spletni skrbnik z datoteko robots.txt definira datoteke, za katere ne bi želel, da bi bile prikazane v rezultatih iskanja. Na primer, lahko gre za osebne podatke ali druge neželene podatke.
4. korak
Ko je skeniral ta dva dokumenta in prejel potrebna navodila, začne robot razčleniti kodo HTML in obdelati prejete oznake. Če ni datoteke robots.txt, privzeto začne iskalnik obdelovati vse dokumente, shranjene na strežniku.
5. korak
S klikom na povezave v dokumentih robot prejme tudi informacije o drugih spletnih mestih, ki so v čakalni vrsti za skeniranje po tem viru. Optično prebrane datoteke na spletnem mestu se shranijo kot besedilna kopija in struktura na strežnikih v podatkovnih centrih Yandex.
6. korak
Potrebo po ponovnem skeniranju samodejno določijo tudi roboti. Program primerja obstoječi rezultat pregleda s posodobljeno različico spletnega mesta, ko gre spet skozi indeksiranje. Če se podatki, ki jih prejme program, razlikujejo, se kopija spletnega mesta posodobi tudi na strežniku Yandex.
