欢迎来到北京航星中云科技有限公司官网!

195 6872 2817

010-69801779

北京航星中云科技有限公司
扫一扫
服务咨询热线
关注我们

Beijing Navistar Cloud Technology Co. LTD

工程案例
当前位置:
大数据解决方案

大数据解决方案

0.00
0.00
  
大数据解决方案

随着政府、企事业用户信息化进程的不断推进,用户在信息系统中沉淀了大量了数据,人们也越来越认识到数据是有价值的。近几年,互联网和物联网应用的不断发展,数据的产生、积累的速度也远远超过人类历史上的任何一个时代。据估计,人类在最近两年产生的数据量相当于之前产生的全部数据量,而到2020年全球的数据量将达到40ZB。

大数据主要有如下特征:

数据量大(Volume)。第一个特征是数据量大,包括采集、存储和计算的量都非常大。

类型繁多(Variety)。第二个特征是种类和来源多样化。包括结构化、半结构化和非结构化数据,具体表现为网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。

价值密度低(Value)。第三个特征是数据价值密度相对较低,或者说是浪里淘沙却又弥足珍贵。随着互联网以及物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何结合业务逻辑并通过强大的机器算法来挖掘数据价值,是大数据时代最需要解决的问题。

速度快时效高(Velocity)。第四个特征数据增长速度快,处理速度也快,时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到,个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。

因此,处在大数据时代,用户必须要面对大数据带来的挑战。

用户需求分析
海量数据如何存:传统的数据存储多采用传统关系型数据库加集中存储的方式,而这种传统的架构在面临海量数据存储时,由于架构的原因,会给网络及存储产生极大地压力,最终产生数据存储方面的瓶颈;同时,传统的关系型数据库在非结构化数据的存储方面存在先天的不足;随着客户业务数据的不断增长,需要随时对数据的存储进行扩展,而传统的数据存储架构不能有效地支持节点的线性扩展,随着节点的扩充,性能会出现瓶颈。
海量数据如何快速查询和分析:进入大数据时代,数据类型不再局限于结构化数据,随之产生的是海量的半结构化和非结构化数据,如文本,图片,视频等;但是传统的关系型数据库在面对海量半结构化以及非结构化数据查询方面存在先天的不足。因此,如何实现半结构化数据与非结构化数据的高效查询成为客户在信息化建设方面的一大难题。

解决方案

大数据解决方案的基本架构主要分为五个部分:

数据源。一般包括用户业务系统的历史数据(包括结构化和非结构化数据)、来自其他单位的协同数据以及来自互联网的数据等。

数据存储。主要用于存储来自数据源的原料数据以及数据清洗、转换后的待分析数据和分析完后的结果数据。

数据分析。主要是对结构化和非结构化数据进行分析的过程,产出用户关心的结果数据.

数据应用与展示。利用经过分析后的结果数据,通过业务系统或数据接口为用户提供报表、决策支持等服务。

大数据平台的监控管理。对大数据平台的硬件、软件的运行情况、资源使用情况以及作业的运行情况进行监控和管理



航星中云的大数据平台解决方案利用基于自主可控芯片的计算、存储设备,实现用户对于大数据的采集、存储、分析计算和应用展示,解决了用户对于大数据存储和查询分析的需求。


  扫一扫 / 关注我们