VideoMind大数据处理系统

概述

VideoMind大数据处理系统，基于开源Hadoop，*，实现海量数据的采集、存储、管理、分析、查询、展现等与相关应用于一体的平台型、一站式解决方案，帮助客户有效管理海量数据，提升数据价值，同时确保系统代码、数据的安全可靠等，该产品代表了未来一段时期的技术和方案的发展潮流。充分利用目前的云计算和海量数据处理相关技术，保证系统技术的前瞻性和性。
 
总体架构

主要包括以下几部分：

1、数据接入层：负责从多个数据源采集数据，并对数据进行清洗和转换，把外部系统的数据转换成适合本系统存储和分析的格式，并装载到存储层。

2、计算存储层：作为数据的载体，提供稳定高效的海量数据存储以及供上层访问的数据接口，数据包括实时数据和非实时数据。

3、计算存储层支持批量计算和流计算，批量计算采用业界通用Hadoop平台为基础，在平台之上集成安全加固、作业调度、能力开放等组件；流计算通过在平台中集成STORM实现。

4、数据服务层：提供数据开放平台及数据共享平台，对上层提供服务。根据业务需求，对数据进行分析和处理，包括数据标签以及对外提供服务能力

5、应用开发层：根据用户需求，实现业务流程，基于下层提供的服务和能力，解决用户实际问题。

6、大数据管理平台：对平台中的各组件进行统一管理，包括安全管理、日志管理、告警管理、性能管理、版本管理、监控管理等。
 
技术架构

VideoMind是大数据的存储和计算中心，具有分布式、统一存储、统一访问、动态扩容的特点，用于汇集视频、图像、报警、卡口信息、位置信息、案事件等大数据，为数据的综合利用提供支撑。