好库网 好库网首页 | 我的好库
javaeye的专栏

WebMagic(Java爬虫框架) v0.6.1

发布者:javaeye
发布日期:2018/9/13 20:49:26   更新日期:2018/9/13 20:49:26
文件大小:729K
下载次数:10   浏览次数:70
评分:4.80

介绍

webmagic采用完全模块化的设计,功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化),支持多线程抓取,分布式抓取,并支持自动重试、自定义UA/cookie等功能。

修改默认策略为信任所有 https 证书 #444 @ckex

修复使用 startUrls 添加 url 时,如果使用了 cookie 会出现空指针的问题 #438

PhantomJSDownloader 支持 crawl.js 路径自定义 #414 @jsbd

POST 请求支持 302 跳转 #443 @xbynet

同类推挤:站长常用源码



评论

账号 密码 还没帐号呢,现在注册一个?



免责声明:好库网所展示的信息由发布者自行提供,其真实性、准确性和合法性由信息发布人负责。好库网不提供任何保证,并不承担任何法律责任。