在20世纪90年代中期开始优化网站的搜索引擎，作为第一个搜索引擎编目早期的Web 网站管理员和内容提供商。最初，所有的网站管理员需要做的是，“ 蜘蛛 “爬行”的页面，提取链接到其他页面，并返回上找到的信息发送到不同的引擎提交一个网页的地址或URL的页面，以进行索引。过程涉及到一个搜索引擎蜘蛛下载的页面和存储它在搜索引擎中的自己的服务器，在那里一个第二个程序，被称为一个索引，提取有关的页面的各种信息，如的话它包含，而这些都位于，以及任何特定的字的重量，以及页面中包含的所有的链接，然后被放置到调度器，用于在稍后的日期爬行。