Linux学习笔记
当前位置:Linux学习笔记 > Linux 新闻 > 正文

WebMagic 0.5.3 版本发布,Java爬虫框架

bbs.yuanmawu.net.jpg

时隔一年半,作者终于回归了。这个版本主要解决之前的一些BUG,后续会慢慢的继续完善功能。

  • 升级Xsoup到0.3.1,支持//div[contains(@id,'te')]语法。

  • #245 升级Jsoup到1.8.3,解决n-th selector二进制不兼容的问题。

  • #139 修复JsonFilePipeline保存路径的问题

  • #144 修复@TargetUrl增加SourceRegion后取不到链接的问题

  • #157 修复FileCacheQueueScheduler中去重偶尔不工作的问题 @zhugw

  • #188 增加重试的间隔时间,默认为1秒 @edwardsbean

  • #193 修复分页功能MultiPagePipeline可能出现的并发问题 edwardsbean

  • #198 修正site.setHttpProxy()不起作用的bug @okuc

未经允许不得转载:Linux学习笔记 » WebMagic 0.5.3 版本发布,Java爬虫框架

赞 (0)
分享到:更多 ()