Helaas is in de afgelopen 12 jaar een groot aantal misverstanden ontstaan ​​over hoe de zoekmachines werken en wat er nodig is om er effectief resultaat mee te behalen. In twee delen zullen we proberen de meeste van deze misverstanden behandelen en de echte verhalen erachter vertellen. Deze week deel 1!

Hoe vertel je de spider van een zoekmachine dat je wilt dat hij alleen de eerste pagina, of de hele website indexeert? Dat doe je met de zogenaamde meta name ROBOTS tag. De robots metatags is iets anders dan de robots.txt Deze moeten samen gebruikt worden. Beide worden gebruikt door onder andere Google en Yahoo. Staat deze metatag verkeerd dan kunt u zoekmachine spiders helemaal buitensluiten met alle gevolgen van dien.

Het robots.txt-bestand moet worden opgeslagen in de root van een website directory (bijv. www.google.com / robots.txt). Het bestand dient als een leidraad voor toegang tot geautomatiseerde bezoekers (web robots). Door gebruik te maken van een robots.txt bestand kunnen webmasters aangeven welke delen van de website niet doorzocht mogen worden door de bots van bijvoorbeeld de zoekmachines. Ook kan in het bestand de locatie worden aangegeven van de sitemaps.