iWebCrawler百度谷歌搜索爬虫加速工具 1.0 开源版
v1.0
iWebCrawler搜查爬虫减速工具提供罕有搜查引擎日志合成(重点是baidu爬虫)；可凭证网站提供的适宜格式的baidusitemap网站舆图，把天天的新产出链接自动推送给baidu推送接口，而且可能在推送前过滤掉baidu爬虫已经抓取链接及零星已经推送的链接，从而减速网站收录速率，提升网站权重。可凭证用户要求为用户定制baidusitemap网站舆图生乐成用模块，反对于天生baiduSitemap协议三莳格式：文本格式、xml格式、Sitemap索引格式,可能凭证自己状态来抉择恣意一莳格式机关sitemap;假如文件很大，可能自动拆分为多少个小的Sitemap。自动推送功能可能反对于任何网站（惟独能提供适宜格式的baidusitemap网站舆图）安定洋下载中间为您提供iWebCrawlerbaidugoogle搜查爬虫减速工具民间下载。
一、 爬虫碰头记实合成 二、 天生baidusitemap网站舆图(商业版，可定制) 三、 自动推送站点新产出链接(商业版)
平台：PHP/MYSQL
相关推荐
最新更新
下载地址