红叶文章收集器是一款超级强盛的网站文章收集器,英文称谓Fast_Spider,属于蜘蛛爬举植物挨次,用于从指定网站收集海量精髓文章,将直接扔掉其中的剩余网页信息,仅保存具备浏览价钱以及浏览价钱的精髓文章,自动实施HTM-TXT转换。本软件为绿色软件解压即可运用!
红叶文章收集器软件特色
(1)本软件接管北大天网MD5指纹排重算法,对于相似相同的网页信息,再也不一再保存。
(2)收集信息寄义:[[HT]]展现网页问题,[[HA]]展现文章问题,[[HC]]展现10个权重关键字,[[UR]]展现网页中的图片链接,[[TXT]]之后为诠释。
(3)蜘蛛功能:本软件开启300个线程来保障收集功能。经由收集100万精髓文章来实施压力测试,以艰深网夷易近的联网合计机为参考尺度,单台合计性可能在一天内遍历200万网页、收集20万精髓文章,100万精髓文章仅需5天即可收集竣事。
(4) 正式版与收费版的差距在于:正式版应承将收集的精髓文章数据自动保存为ACCESS数据库。置办正式版请分割QQ(970093569)。