ZhangSichu

WebLinkSpider 简单搜索引擎分析

WebLinkSpider 网络爬虫。很多网站都会发现,经常有搜索引擎在访问自己的网站。搜索引擎访问网站是为了采集这个网站的信息,为搜索引擎提供内容服务。这种爬虫就是从页面中的一个链接跳到另一链接就这样一次又一次的跳,收集每个页面的信息,存储起来,为搜索引擎提供内容服务。 有了这些内容,当用户进行搜索的时候,搜索引擎从中找到相关的内容,把对应的Url和相关的内容返回给用。就完成了一个简单的...