一、课题来源与背景 黑龙江恒讯科技有限公司从事大数据系统多年，能否实现界面友好、功能强大的大数据系统呢？黑龙江恒讯科技有限公司自选课题，并利用自有资金进行研究开发NewhxBigData科技项目，通过虚拟化和优化基础架构、自动执行服务交付以及为传统应用和新应用类型提供高可用性，从而更快地使应用上线。 二、技术原理及性能指标 NewhxBigData V1.0是个全面支持Spark的Hadoop发行版，也是内外领先的高性能平台，比开源基于Hadoop MapReduce计算框架的 版本快10x~100x倍。应用范围覆盖各种规模和不同数据量的企业，通过内存计算、高效索 引、执行优化和高度容错的技术，使得一个平台能够处理GB级到PB级的数据，并且在每个数量 级上，都能比现有技术提供更快的性能；企业客户不再需要混合架构，可以伴随企业客户 的数据增长，动态不停机扩容，避免MPP或混合架构数据迁移的棘手问题。 在统一的分布式存储之上数据平台上通过Newhx YARN提供统一的资源管理调度，结合LDAP 与Kerberos提供完备的权限管理控制，不同的部门以及使用租户可以按需创建计算集群访 问其授权数据，包括基于Spark计算框架的SQL类统计分析应用与数据挖掘类应用，或者基于 MapReduce计算框架的应用。同时，平台通过使用Hyperbase结合Inceptor，为用户提供基于 SQL的高并发的查询以及分析能力。 三、技术创新与先进性 NewhxBigData数据平台提供实时的流处理能力，通过消息队列Kafka接收实时数据流， 做到数据不丢不重，通过Newhx Stream基于Spark Streaming提供类似与批处理系统的计 算能力、健壮性、扩展性的同时，将数据时延降低至秒级甚至毫秒级。 采用基于云平台的虚拟化架构，基于JavaEE开发；云平台支持NewhxCloud、VMware vSphere，虚拟化平台支持NewhxVM、VMware Esxi,操作系统支持NewhxLinux、IBM AIX，数据库支持NewhxBase、Oracle 11g、IBM DB2，中间件支持NewhxWeb、IBM WebSphere、Oracle WebLogic。依托分布式集群、云存储、大数据等技术，设计基于云架构的资源库，可按需划分虚拟化的资源池，且只需合理优化网络配置和存储计算设备，利用现有的视频专网和公安信息网进行数据传输，即可实现跨区域的资源共享、统查；同时，采用分布式技术，能将存储计算指令分配到各个节点，避免由单个处理节点进行超负荷运算，大大提升数据存储、计算、检索速度； NewhxBigData支持NewhxCloud、NewhxLinux、NewhxVM、NewhxSDS、NewhxkBAK、NewhxNoSQL 四、技术的成熟程度，适用范围和安全性 NewhxBigData采用主流模式设计，产品成熟稳定；NewhxBigData可以伴随企业客户的数据增长，动态不停机扩容，避免MPP或混合架构数据迁移的棘手问题。 五、应用情况及存在的问题 NewhxBigData在多个项目中成功应用，取得显著的社会及经济效益；NewhxBigData需要专业的系统管理人员进行管理和维护。 六、历年获奖情况 2016年，取得《恒讯大数据系统V1.0》软件著作权登记证书。 2017年，申请《一种基于QSFP接口128G的存储前端卡》发明专利。 2017年，取得《一种支持多种接口的RAID卡》实用新型专利证书。

黑龙江恒讯科技有限公司

该项目为储备库项目资源，暂无效益分析内容。