Google的Sitemaps协议发布于2005年6月,网站所有者可以根据此协议手动生成一张站点地图,Google搜索引擎爬虫将根据此地图来获取站点的详细内容。先前,网站所有者为了让这三大搜索引擎都能够快速收录的自己的站点,不得不分别采用各搜索引擎所规定的方式来提交站点内容。
雅虎搜索产品管理部门经历Tim Mayer说:“现在,网站所有者可以只通过一个方式就可以向三大搜索引擎提交他们的站点了。我想,这也正是他们所希望的。”
三个公司联合发布的消息称:“为了改进搜索引擎的Web抓取过程,Google、雅虎和微软今天将宣布对Sitemaps 0.90的支持。Sitemap 0.90可以使网站管理员通知搜索引擎更加广泛地、高效地抓取和索引站点,从而使网站在搜索引擎中更好的呈现出来。对于用户,Sitemaps将提供更高质量、更具时效的搜索结果。”
这项计划将由Google和雅虎首先启动。Mayer说道:“我们认为,对于发布者和网站管理员来说,能够以一个格式向所有的搜索引擎提交他们的内容是一件很棒的事情。我们正在极力推荐其他搜索引擎参与到这个计划中来。”
微软Windows Live Search项目总经理Ken Moss说:“Windows Live Search非常高兴能够在Sitemaps上和Google以及雅虎合作。这样,我们不但帮助了网站管理员们,同时也可以向客户们提供更具相关性的搜索结果,这样,客户们可以更快地找到他们所希望寻找的结果。我相信,这将是我们合作的一个开始,今后,将会由更多的合作出现。”
手工提供网页的方式客户弥补搜索引擎传统的Web抓取方式的不足,但是却不能保证网页是否将被搜索引擎的索引所包含。