第十七回

携手巨象，弄潮破浪

海杜普，巨象门，分布式系统架构流派。

门内旁支林立，Hive、HBase、Zookeeper、MapReduce，各有千秋。

然

HDFS为立派根基，数据江湖之上颇有威名，生态圈一呼百应。

但是公共开源，龙蛇混杂，HDFS也有其薄弱之处，主要两点

1、  容量利用率低

HDFS采用副本机制（一般为三副本）存储数据，即有效容量利用率仅为33%。由此在硬件采购、机房空间占用、能源消耗等方面，都会造成成本大幅增加。

2、硬件容错能力低

三副本机制，最大仅容忍2个数据节点故障，且开源HDFS仅可容忍1个元数据节点故障，系统的可靠性较低。

同时相对企业级存储的丰富特性，如远程复制、分级存储、配额管理、病毒扫描、NDMP备份等，HDFS也支持有限，不利于海量数据的使用和管理。

强强联合，携手巨象

作为分布式存储系统的翘楚，欧九仟自不能等闲视之。所谓两虎相争必有一伤，合作共赢才是王道。通过在Hadoop节点与客户端中部署华为HDFS Plugin，将HDFS协议的文件访问请求转换为NFS协议请求，从而实现将Hadoop业务数据直接存储到OceanStor 9000中。简要示意如下图所示。

HDFS特性示意

当前OceanStor 9000支持对接的Hadoop产品及其版本为：

l 华为FusionInsight Hadoop V100R002C50

l Cloudera Hadoop 5.4.1

HDFS Plugin用于将HDFS协议的文件访问请求转换为NFS协议请求。在Hadoop软件架构中的位置如下图所示。

HDFS Plugin通过继承开源HDFS提供的FileSystem类和AbstractFileSystem类，对外提供如下的文件访问接口。

部署HDFS Plugin后，文件读写流程大体为:

1.         Hadoop节点内应用程序发起文件读写请求，或操作人员在Hadoop客户端内执行HDFS Shell命令，本地HDFS Plugin接收请求并将其转化为NFS协议请求。

2.         HDFS Plugin通过前端业务网络发送NFS协议请求给OceanStor 9000某个存储节点处理。

3.         此存储节点根据文件所属目录的数据保护级别选取一组存储节点内的一组硬盘，然后通过后端存储网络读写该硬盘组。

生态共赢，弄潮破浪

OceanStor 9000通过HDFS特性，实现将自身融入Hadoop生态圈。

在金融行业大数据分析场景中的典型应用如下图所示。

金融行业大数据分析典型场景示意

部署Hadoop与OceanStor 9000构成大数据平台后，可以从如下方面解决金融企业的问题，提升其竞争力：

l   历史交易明细实时查询业务

能够实时查询用户的历史交易明细从1年提升到7年以上。

l   实时征信业务

用户信用卡征信时间由3天左右减少到10分钟以内。 

l   小微贷业务预测

TOP 1000小微贷倾向用户预测准确率比传统模式提高40倍以上。 

l   精准营销

缩短网银日志收集周期，基于用户行为统计分析，提升网银体验。

在运营商大数据分析场景中的典型应用如下图所示。

运营商大数据分析典型场景示意

部署Hadoop与OceanStor 9000构成大数据平台后，可以从如下方面解决运营商问题，提升其竞争力：

l  构建统一的大数据详单集中平台和经营详单数据分析平台，从架构上根本解决运营商问题。历史话单查询，客户可实时查询的历史话单由3个月提升到6个月至24个月。

l  构建统一的PB级大数据平台，统一存储业务数据。利用大数据平台分布式计算能力，并发处理各种分析任务，快速获取业务决策结果。缩短新业务推出周期，由原来的1.5个月减少到1周。 存量用户挽留，VIP用户离网率大幅降低。

恩，今天的分享就到这里，下回将奉上InfoContainer，敬请期待。