华为Hetu:三板斧搞定数据虚拟化

digest [复制链接]
发表于 : 2020-1-23 16:38:02 最新回复:2020-02-03 14:30:25
190 1
godi2007
godi2007  新锐

Hetu引擎,是华为打造的数据虚拟化平台,它致力于解决越来越多的公司与组织在实现大数据解决方案时遇到的各种问题,降低大数据准入门槛,为客户提供安全、高效、易用的数据虚拟化服务。

    近年来,希望在公司中部署或正在研发大数据解决方案的公司越来越多,但在实际使用中,用户对于使用大数据解决方案的满意度却在下降,

163737j5kvnbznkrwjszl3.png

通过分析,我们发现存在的主要问题包括:

1)数据来源复杂,数据类型多样,存在数据逻辑和和物理隔离,

2)大数据分析性能较差,无法提供实时分析以支持更及时有效的业务决策;

3)数据安全问题严重,存在数据隐私泄露风险。同时,为了避免泄露导致的巨大损失,在数据分析中构建了多种壁垒,对数据联合分析形成阻碍;

华为Hetu,能够协助用户打破数据壁垒,消灭数据烟囱,实现全域统一元数据和安全权限的统一管理,支撑端到端数据管理,快速实现数据价值

Hetu引擎,可以为用户提供如下服务和价值:

一、“大道至简,万法归一”

标准SQL,统一接口

1)通过SQL 2003标准接口,提供统一的虚拟数据访问层(数据虚拟化当前业界也都是起步,该领域市场空间大),实现面向数据湖的统一SQL访问接入服务,单一SQL查询支持100TB数据量;

2)实现分钟及安装部署,即时可用,零学习成本,现有数据库使用者可马上使用。实现北向生态完美支持AIBI、应用、工具无缝对接,形成完整的工具链。

一份数据,减少冗余

(1)    支持异地、异构(不同格式)的数据源接入,当前业界面对异地数据源接入的能力都比较弱,对于异构我们针对接入数据源种类的支持会更加广泛;

(2)    开源统一数据格式,存储原生支持包括CarbonData在内的大数据文件格式,支持ACID

二、“天下武功,唯快不破”

163737mm1y0s1n16s000ju.png

三、极致性能,优化项:

低时延

1、提供近实时的数据分析能力,除增强引擎外,增加跨源索引、虚拟数仓、物化视图,覆盖1+sec 以上的应用场景。增加内存处理,实现100+ms以上应用场景的支持

2、相比Spark SQL,在典型即席查询场景执行时间降低3x;同时基于AQP(模糊查询)算法聚合查询,相比没有AQP,性能提升5x

163737o1wj2ibjnwbl2htt.png

四、“行走江湖,安全第一”

    随着大数据应用日益广泛,数据的安全性越来越受到重视,隐私泄露对个人及企业影响巨大,各国隐私法律法规也日益趋严

163737muuq4iat5dx4tdax.png

 

在实际使用过程中,用户对于数据隐私泄露的担忧,已成为大数据分析中的主要障碍。

163737rgse7ssmeihtz7q3.png

 

  1. Hetu引擎以机器学习、深度学习为基石,内置AI training 支持,实现Schema自动识别补齐,自动纠错,提升数据质量。

2.      通过数据脱敏、敏感数据分类分级、文本水印三大安全模块为基础,构建数据可信及隐私保护的金字塔。在保证数据分享及使用过程中数据安全的同时做到数据的高隐秘性、高完整性及高可用性。

 

CONFIEDENTIALITYINTEGRITYAVAILABILITY         163738g5ftjt20lghzqlj8.png

 

(1)    数据脱敏

支持100+种基本脱敏算法(掩码、枚举、洗牌等),保证基本脱敏需求;支持多种高阶脱敏算法 (泛化、微聚合、差分等),保证脱敏需求的同时大幅提升数据质量;通过聚类分析、上位词解析自动构建语义层次,深入理解数据语义

(2)    敏感数据分类分级

自动检测敏感信息(支持中英文、数字100+种敏感数据),解决手工识别的客户痛点,当前查准率、查全率均达90%以上;自动数据分类分级 (敏感度级别可配置);支持结构化、非结构化数据

(3)    文本水印

文本水印不修改原始数据,最大程度保证水印后数据的可用性;通过行噪音、列噪音、不可见字符等多种算法协同工作保证所嵌入水印的隐蔽性,保证提取水印时鲁棒性、可溯源性;当前算法可有效防止常见攻击手段,例如子集修改、子集选取、合谋攻击等。

 


  • x
  • 常规:

点评 回复

跳转到指定楼层
SSSDATA
SSSDATA   发表于 2020-2-3 14:30:25 已赞(0) 赞(0)

好文
  • x
  • 常规:

点评 回复

发表回复
您需要登录后才可以回帖 登录 | 注册

警告 内容安全提示:尊敬的用户您好,为了保障您、社区及第三方的合法权益,请勿发布可能给各方带来法律风险的内容,包括但不限于政治敏感内容,涉黄赌毒内容,泄露、侵犯他人商业秘密的内容,侵犯他人商标、版本、专利等知识产权的内容,侵犯个人隐私的内容等。也请勿向他人共享您的账号及密码,通过您的账号执行的所有操作,将视同您本人的行为,由您本人承担操作后果。详情请参看“隐私声明
如果附件按钮无法使用,请将Adobe Flash Player 更新到最新版本!
登录参与交流分享

登录参与交流分享

登录