De spider van een zoekmachine weet via een zogenaamde robots metatag of een pagina geïndexeerd mag worden en of de links op de betreffende pagina gevolgd mogen worden zodat deze de zoekmachineresultaten weergegeven worden.