采用统一的数据采集框架和任务调度机制实现海量多源数据的统一采集与采集任务的统一管理。
同时支持接入流式数据以及集成来自数据库的数据,图形化的配置界面,各种来源的数据均可便捷的接入。
通过数据处理pipeline对流式数据进行实时处理,内置多种数据处理组件以及数据处理模版,开箱即用,满足数据预处理的要求。
采用高性能深度列式存储集群,能够满足PB级数据规模下的数据存储需求。
将数据抽象成业务模型进行查询分析,查询结果供大屏等可视化使用。
对系统内节点进行日常巡检以及对数据处理pipeline的运行状态进行监控,及时发现异常,定位问题。
支持高可靠的数据采集、处理、存储与查询,数据查询毫秒级响应,100GB日志采集和处理用时仅需358秒。
采用无中心化可扩展架构,可根据数据量进行水平伸缩,轻松从GB级扩展到PB级别。
灵活的数据输出能力,经过数据处理以及数据存储后的数据可轻易地与外部系统(包括BI系统)对接,来进行其他实时处理或批处理的数据应用。
采用列式存储,支持高压缩比,满足低磁盘存储空间以及低内存需求,节省硬件资源的成本。
数据源管理
通过Kafka Topic以及HTTP接口来接收流式数据,实时获取流式数据,数据接入的配置过程简单、便捷。
数据建模分析
基于SQL语言建模,支持数据源扩展与跨数据源的关联查询,查询结果生成标准的API接口,满足因业务变化而产生的频繁建模需求,节省开发时间。
数据处理pipeline
提供可视化的数据处理pipeline定义面板,内置丰富的数据处理组件以及数据处理模版,用户通过拖拽的方式即可创建数据处理pipeline,操作简单、使用方便。
1.8亿条/分钟
540MB/秒
30%以下
高
24/7小时高负载运行
只需30秒,立即体验智能业务运维专家服务