webmagic垂直爬虫 v0.7.5
webmagic是一个开源的Java垂直爬虫框架,目标是简化爬虫的开发流程,让开发者专注于逻辑功能的开发。webmagic的核心非常简单,但是覆盖爬虫的整个流程,也是很好的学习爬虫开发的材料。
webmagic的主要特色:
1、完全模块化的设计,强大的可扩展性。
2、核心简单但是涵盖爬虫的全部流程,灵活而强大,也是学习爬虫入门的好材料。
3、提供丰富的抽取页面API。
4、无配置,但是可通过POJO+注解形式实现一个爬虫。
5、支持多线程。
6、支持分布式。
7、支持爬取js动态渲染的页面。
8、无框架依赖,可以灵活的嵌入到项目中去。
下载列表
版权声明:本文来源于互联网,如有侵权,请联系下方邮箱,一个工作日删除!
最新
热门
热评
-
AJ-Report可视化报表工具 v0.9.8.6
-
Sa-Token权限认证框架 v1.31.0
-
wangmarket网市场云建站系统 v5.4
-
yudao-cloud微服务架构 v1.0
-
maku-boot企业级快速开发平台 v2.0.0
-
spring-boot-pay支付服务 v1.0
软件排行
悟空源码网提供网站源码软件下载!侵权联系邮箱yingshicc#outlook.com