Come
vengono indicizzati i siti Web dai motori di ricerca
I motori di ricerca esaminano i siti Web che vengono a loro
segnalati e a alcuni, come Yahoo, Yahoo Italia, Virgilio, Dmoz
( Open Directory ) si servono di personale specializzato per
visionare materialmente ciascun sito che viene proposto, tutti
gli altri utilizzano un software di indicizzazione automatico
chiamato "Spider" . Gli "Spiders" , una volta che un sito è
stato segnalato, vengono a visitarlo analizzandone il contenuto
e i relativi collegamenti ipertestuali ( links ) .
Le informazioni raccolte vengono poi utilizzate per determinare come il sito deve essere catalogato e posizionato all'interno dell'indice del motore di ricerca. I metodi di indicizzazione utilizzati dagli spiders in genere vengono tenuti segreti dai motori di ricerca Una delle cose più importanti da tenere presente nella fase di realizzazione di un sito Web è quello di vedere il sito stesso dal punto di vista dello Spider . Uno Spider può solo analizzare il testo e le parole che sono presenti nelle pagine in formato strutturato.
