*本系统功能模块、字段参数,均可结合用户实际业务需求调整,可增可减,以达到最佳业务管理流程的体验!
编号 | 模块名称 | 字段参数 |
1 | 爬虫管理 | 种子URL、抓取状态、上次抓取时间、抓取深度、抓取间隔、抓取频率、响应时间、HTTP状态码、内容类型、存储位置、抓取日志等 |
2 | URL管理 | URL链接、来源页面、目标网页、上次抓取时间、抓取次数、抓取状态、外部链接数、内部链接数、包含关键词、包含标签、链接深度等 |
3 | 内容解析 | 页面URL、抓取时间、页面多媒体文件、页面标题、页面关键词、页面描述、页面正文、页面链接、页面标签、页面发布时间等 |
4 | 数据存储 | URL链接、网页标题、页面正文、页面链接、网页源码、网页关键词、网页描述、抓取时间、存储位置、存储日志等 |
5 | 任务调度 | 任务名称、执行状态、执行时间、抓取进度、执行结果、抓取间隔、任务日志、抓取成功数、抓取失败数、总共抓取数等 |
6 | 反爬虫处理 | URL链接、访问频率、访问方式、访问时间、访问成功率、状态码、访问日志、失败次数、被封IP、代理设置等 |
7 | 数据分析 | 网页数量、数据更新时间、页面类型、页面关键词分布、热门页面、常见爬虫IP、重复内容比例、数据统计时间、统计算法、分析报告生成等 |
8 | 日志管理 | 日志时间、日志级别、日志内容、日志来源、日志类型、日志详情、日志大小、日志路径、日志归档、日志分析等 |
9 | 安全设置 | 账户名称、密码、权限级别、登录记录、IP白名单、禁止访问IP、手机短信验证、邮箱验证、API密钥、安全日志等 |
10 | 系统设置 | 系统名称、系统版本、服务器IP、服务器端口、数据库类型、数据库地址、数据库用户名、数据库密码、系统参数配置、系统日志路径等 |