SEARU.ORG
当前位置:SEARU.ORG > Linux 软件 > 正文

数据采集平台 Gather Platform

Gather Platform 数据抓取平台是一套基于 Webmagic 内核的,具有 Web 任务配置和任务管理界面的数据采集平台,一个轻量级的搜索引擎系统。具有以下功能

  • 根据配置的模板进行数据采集

  • 对采集的数据进行NLP处理,包括:抽取关键词,抽取摘要,抽取实体词

  • 在不配置采集模板的情况下自动检测网页正文,自动抽取文章发布时间

  • 动态字段抽取与静态字段植入

  • 已抓取数据的管理,包括:搜索,增删改查,按照新的数据模板重新抽取数据

  • 多数据输出方式:Elasticsearch、JSON文本,Redis

爬虫模板配置页面

抓取样例数据效果

爬虫管理页面

数据搜索与管理页面

根据域名统计数据页面

 

 

具体部署方式参考项目主页README

百度云下载链接密码: v3jm

未经允许不得转载:SEARU.ORG » 数据采集平台 Gather Platform

赞 (0)
分享到:更多 ()

评论 0