蜘蛛程序是“抓取“网站并且将它们发现的抓取内容情况反馈到它们的上级（Google或其他搜索引擎的创造者），蜘蛛的“抓取“就意味着访问到了这网站并且拷贝相关信息。

Google的蜘蛛的工作就是抓取网址和信息报告反馈给Google的数据库。这样，相关信息就加入到Google这个搜索引擎中，并且通过使用Google数据库的网站显示出来。这一过程与很多其他搜索引擎类似。