百度蜘蛛Baiduspider是什么？

随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，例如传统的通用搜索引擎百度baidu和谷歌Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的重要入口和指南。

百度蜘蛛Baiduspider是网络爬虫的一种，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

而百度蜘蛛Baiduspider就是百度搜索引擎的一个自动程序。它可以访问为百度搜索收集整理互联网上的网页、图片、视频等内容，然后分门别类建立索引数据库，使用户能按照自己的需要在百度搜索引擎中搜索需要的结果，包括各种网站的网页、图片、视频、文档、等内容。

它作为一个自动化运行程序，夜以继日得在互联网上找寻新的URL，接着抓取URL上的内容，返回到百度的网页暂存数据库。

百度用来抓取网页内容的程序，叫做Baiduspider，抓取其他内容的蜘蛛，则是新的名字：

产品名称                 对应user-agent

网页搜索 Baiduspider
无线搜索 Baiduspider
图片搜索 Baiduspider-image
视频搜索 Baiduspider-video
新闻搜索 Baiduspider-news
百度搜藏 Baiduspider-favo
百度联盟 Baiduspider-cpro
竞价蜘蛛 Baiduspider-sfkr