爬虫是什么

爬虫是指网络爬虫，一种按照设定好的程序抓取网络信息的程序或者脚本。

网络爬虫又被称为网页机器人或者网络蜘蛛，是一种按照开发者设定好的既定程序对万维网上的信息进行自动抓取的程序或者脚本，与之类似的还有自动程序、蠕虫、蚂蚁等网络程序。

爬虫目前的形式有四种，分别是通用网络爬虫、聚焦网络爬虫、增量式网络爬虫和Deep Web爬虫，其中通用网络爬虫为现在大部分搜索引擎都带有的功能，聚焦网络爬虫可以当成前者的加强版，只抓取搜索相关信息，后两者因为例子和界限过于模糊，不做赘述。