功能亮点
-
多线程多任务蜘蛛程序
功能:断点续爬、多线程多任务智能采集、智能修复死链接及无效链接、指定行业采集、分类采集、自动判别网站权重、支持单页、多页采集等等
-
分布式存储及计算技术
采用分布式储存及云计算技术,通过蜘蛛采集自动处理大数据的存储生成多个数据库表,防止数据冗余造成搜索速度变慢
-
PHP+MYSQL+SPHINX完美组合
整合了sphinx全文检索程序,支持分布式搜索,高速索引及分词,承载量可达1000亿条信息量,搜索速度小于0.1秒