大数据

参与方式：进入社区【网络与安全】>>【网管与控制器】版块，选择投稿，主题选择【培训赋能&经验交流】标题：【NCE案例征集】+文章标题，例如：【NCE案例征集】图文讲解如何独立配置WAC参考案例：https://forum.huawe ...

GaussDB(DWS)性能调优系列基础篇三：衍化至繁之分布式计划详解【摘要】 数据库分布式计划的主要特点在于执行算子在不同的节点（逻辑节点/物理节点）上执行，在保证最终执行结果正确性的前提下，如何更好的利用各节点 ...

GaussDB(DWS)性能调优系列实战篇一：十八般武艺之总体调优策略摘要】 性能调优是应用迁移或开发过程中的关键步骤，同时也在整个项目实施过程中占据很大的份量，在很多实施步骤中都需要进行考虑。本篇博文作为《Gauss ...

组件 内容 Hbase HBase 的regionserver异常到恢复   Regionserver 模块介绍   HBase的Hfile合并   HBase写入与读介绍 Manager Manager界面无法打开处理 ...

    模块 主题   链接 原理学习 GaussDB(DWS)通信原理总结 https://forum.huawei.com/enterprise/zh/thread-852649.html GaussDB(DWS)通信视图监控分析 https://forum.hu ...

FusionInsight是华为大数据平台，能够实现海量数据的快速处理，同时支持批处理、微批处理、实时处理等多种业务需求。以下课程对于刚刚接触 FusionInsight的二次开发人员能够提供快速入门的捷径，帮助企业提供更加科 ...

在标准化部署的集群中，CN有多个并且CN的角色是对等的（执行DML语句时连接到任何一个CN都可以得到一致的结果）。在CN和应用程序之间增加一个负载均衡器。应用程序先连接负载均衡服务器的IP地址和端口号，负载均衡服 ...

华为工程师，下午好 这边在扩容dws集群的时候遇到了一个问题；Disk format failed，看详细报错如下：磁盘分区都正常的；配置文件里面的，磁盘数目，磁盘大小，都已经写准确了的，但是还是有下面的报错；[Wed May 25 ...

华为工程师，下午好 我这边有个问题需要解答一下： 如题，怎么检查一个集群的差异化配置呢？背景条件是，我刚刚完成了集群的扩容工作，现在需要检查一下差异化配置； ...

华为工程师，早上好 公司这边需要一个资源使用表来统计汇总，反馈出当前集群资源使用情况，请问，我从哪里能知道当前集群资源使用情况，目前想要反馈，yarn资源以及hdfs资源使用情况，在哪里可以查询到这些信息呢？ ...

华为工程师，早上好 [root@gaussdb-AP02-DT/opt/FusionInsight_SetupTool/preinstall/tools/cluster]#lltotal 56-rwxr-x--- 1 root root  5593 May 19 17:10 clustercmd.sh-rw-r----- 1 root root  1104 May 19 1 ...

现象：执行drop partitions操作，执行异常：MetaStoreClient lost connection. Attempting to reconnect. | org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.invoke(RetryingMetaStoreClient.java:187) o ...

 现象：执行语句select count(*) from XXX;时客户端报错，Error:Error while processing statement :FAILED:Execution Error,return code 2 from ...这个报错return code2说明是在执行mapreduce任务期间报错导致任 ...

现象：hive sql执行后运行很慢，后天查看任务启动了很多map task，但是却只有一个reduce task ，reduce task运行慢。 分析：hive存在以下三种情况只会启动一个reduce。使用聚合函数但未加groupby。用了order by。笛 ...

现象：FusionInsight Manager页面监控发现RegionServer状态为Concerning。 分析：通过查看RegionServer日志（/var/log/Bigdata/hbase/rs/hbase-omm-xxx.log）。使用lsof -i:21302查看到pid，然后根据pid查看到相应 ...

信息爆炸引爆了大数据时代的到来，前一两年大数据到达了炒作的高峰，而马云则称今后 30年 属于数据技术（DT）。但是最近一段时间大数据似乎没有那么大的动静了，这固然有技术炒作周期曲线的规律作用，也跟大数据遭遇 ...

现象：HDFS的DataNode数据分布不均匀，在某节点上磁盘使用率很高，甚至达到100%，其他节点空闲很多。 分析：首先要了解下HDFS的副本存储策略，策略默认如下： NameNode默认的副本存储策略为：第一副本：存放到客户 ...

正常情况下，查询集群配置需要在manager页面查看，但是部分开发和运维分离的场景，开发侧没有登录manager页面的权限，但是又想查询hbase的某一个参数配置值时，可以使用此方法查看。使用方式如下：hbase(main):006:0 ...

安全架构安全FusionInsight HD基于开源组件实现功能增强，保持100%的开放性，不使用私有架构和组件。认证安全基于用户和角色的认证统一体系，遵从帐户/角色RBAC（Role-Based Access Control）模型，实现通过角色进行 ...

    查看客户端编码： show client_encoding;    • client_encoding显示客户端的字符编码类型。尽量客户端编码和服务器端编码一致，提高效率，例如可通过setclient_encoding=GBK;（session级生效）进行调整 ...

Redis是一个开源的，基于网络的，高性能的key-value数据库，弥补了memcached这类key-value存储的不足，在部分场合可以对关系数据库起到很好的补充作用，满足实时的高并发需求。Redis跟memcached类似，不过数据可以持 ...

本次测试使用的是客户端的flume，虽然华为的flume区分了服务端和客户端，但是不管是服务端flume还是客户端flume，起本质上其实都是一个agent，相关source、channel、sink配置和开源大同小异，产品文档上虽然给了kafk ...

Index：即索引，是Elasticsearch中一个逻辑命名空间，指向一个或多个分片，内部Apache Lucene实现索引中数据的读写。索引与关系数据库实例Database相当。一个Elasticsearch实例可以包含多个索引。Type：文档类型，相 ...