!guide_close_btn!

大数据

主题:3767 (0)   回复:1.1W (0)   已订阅:293

面向众多行业客户推出的,基于Apache开源社区软件进行功能增强的企业级大数据存储、查询和分析的统一平台、建模中间件及OM系统。并针对数据密集型行业的大数据项目设计实施、开发、分析、运维等需求,提供专业服务,让企业可以更快、更准、更稳的从各类繁杂无序的海量数据中发现全新价值点和企业商机。

参与方式:进入社区【网络与安全】>>【网管与控制器】版块,选择投稿,主题选择【培训赋能&经验交流】标题:【NCE案例征集】+文章标题,例如:【NCE案例征集】图文讲解如何独立配置WAC参考案例:https://forum.huawe ...
社区大书童
  • 社区大书童 管理员 
  • 发帖时间 :2022-5-5   最后回复 3 天前
    2322 34 28
GaussDB(DWS)性能调优系列基础篇三:衍化至繁之分布式计划详解【摘要】 数据库分布式计划的主要特点在于执行算子在不同的节点(逻辑节点/物理节点)上执行,在保证最终执行结果正确性的前提下,如何更好的利用各节点 ...
蜗牛的逆生长
  • 蜗牛的逆生长 版主 
  • 发帖时间 :2022-1-29   最后回复 前天 21:40
    235 6 6
GaussDB(DWS)性能调优系列实战篇一:十八般武艺之总体调优策略摘要】 性能调优是应用迁移或开发过程中的关键步骤,同时也在整个项目实施过程中占据很大的份量,在很多实施步骤中都需要进行考虑。本篇博文作为《Gauss ...
蜗牛的逆生长
组件 内容 Hbase HBase 的regionserver异常到恢复   Regionserver 模块介绍   HBase的Hfile合并   HBase写入与读介绍 Manager Manager界面无法打开处理 ...
瓜瓜果果
  • 瓜瓜果果 管理员 
  • 发帖时间 :2022-3-30   最后回复 6 天前
    167 4 3
    模块 主题   链接 原理学习 GaussDB(DWS)通信原理总结 https://forum.huawei.com/enterprise/zh/thread-852649.html GaussDB(DWS)通信视图监控分析 https://forum.hu ...
瓜瓜果果
  • 瓜瓜果果 管理员 
  • 发帖时间 :2022-3-28   最后回复 :2022-3-28 14:25
    113 0 0
FusionInsight是华为大数据平台,能够实现海量数据的快速处理,同时支持批处理、微批处理、实时处理等多种业务需求。以下课程对于刚刚接触 FusionInsight的二次开发人员能够提供快速入门的捷径,帮助企业提供更加科 ...
雄芯
  • 雄芯  
  • 发帖时间 :2019-3-27   最后回复 :2022-3-15 10:36
    6554 5 5
在标准化部署的集群中,CN有多个并且CN的角色是对等的(执行DML语句时连接到任何一个CN都可以得到一致的结果)。在CN和应用程序之间增加一个负载均衡器。应用程序先连接负载均衡服务器的IP地址和端口号,负载均衡服 ...
4336109
  • 4336109  
  • 发帖时间 昨天 17:45   最后回复 昨天 17:45
    7 0 0
华为工程师,下午好 这边在扩容dws集群的时候遇到了一个问题;Disk format failed,看详细报错如下:磁盘分区都正常的;配置文件里面的,磁盘数目,磁盘大小,都已经写准确了的,但是还是有下面的报错;[Wed May 25 ...
华为社区未来技术萌新团团长
华为工程师,下午好 我这边有个问题需要解答一下: 如题,怎么检查一个集群的差异化配置呢?背景条件是,我刚刚完成了集群的扩容工作,现在需要检查一下差异化配置; ...
华为社区未来技术萌新团团长
华为工程师,早上好 公司这边需要一个资源使用表来统计汇总,反馈出当前集群资源使用情况,请问,我从哪里能知道当前集群资源使用情况,目前想要反馈,yarn资源以及hdfs资源使用情况,在哪里可以查询到这些信息呢? ...
华为社区未来技术萌新团团长
华为工程师,早上好 [root@gaussdb-AP02-DT/opt/FusionInsight_SetupTool/preinstall/tools/cluster]#lltotal 56-rwxr-x--- 1 root root  5593 May 19 17:10 clustercmd.sh-rw-r----- 1 root root  1104 May 19 1 ...
华为社区未来技术萌新团团长
现象:执行drop partitions操作,执行异常:MetaStoreClient lost connection. Attempting to reconnect. | org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.invoke(RetryingMetaStoreClient.java:187) o ...
幸运一
  • 幸运一 版主 
  • 发帖时间 昨天 10:45   最后回复 昨天 10:45
    9 0 0
 现象:执行语句select count(*) from XXX;时客户端报错,Error:Error while processing statement :FAILED:Execution Error,return code 2 from ...这个报错return code2说明是在执行mapreduce任务期间报错导致任 ...
幸运一
  • 幸运一 版主 
  • 发帖时间 昨天 10:41   最后回复 昨天 10:41
    10 0 0
现象:hive sql执行后运行很慢,后天查看任务启动了很多map task,但是却只有一个reduce task ,reduce task运行慢。 分析:hive存在以下三种情况只会启动一个reduce。使用聚合函数但未加groupby。用了order by。笛 ...
幸运一
  • 幸运一 版主 
  • 发帖时间 昨天 09:35   最后回复 昨天 09:35
    10 0 0
现象:FusionInsight Manager页面监控发现RegionServer状态为Concerning。 分析:通过查看RegionServer日志(/var/log/Bigdata/hbase/rs/hbase-omm-xxx.log)。使用lsof -i:21302查看到pid,然后根据pid查看到相应 ...
幸运一
  • 幸运一 版主 
  • 发帖时间 昨天 09:20   最后回复 昨天 09:20
    8 0 0
信息爆炸引爆了大数据时代的到来,前一两年大数据到达了炒作的高峰,而马云则称今后 30年 属于数据技术(DT)。但是最近一段时间大数据似乎没有那么大的动静了,这固然有技术炒作周期曲线的规律作用,也跟大数据遭遇 ...
beloved818414
  • beloved818414  
  • 发帖时间 :2016-3-8   最后回复 前天 20:55
    2341 5 0
现象:HDFS的DataNode数据分布不均匀,在某节点上磁盘使用率很高,甚至达到100%,其他节点空闲很多。 分析:首先要了解下HDFS的副本存储策略,策略默认如下: NameNode默认的副本存储策略为:第一副本:存放到客户 ...
幸运一
  • 幸运一 版主 
  • 发帖时间 前天 17:39   最后回复 前天 17:39
    14 0 0
正常情况下,查询集群配置需要在manager页面查看,但是部分开发和运维分离的场景,开发侧没有登录manager页面的权限,但是又想查询hbase的某一个参数配置值时,可以使用此方法查看。使用方式如下:hbase(main):006:0 ...
幸运一
  • 幸运一 版主 
  • 发帖时间 :2021-7-7   最后回复 前天 13:50
    394 50 43
安全架构安全FusionInsight HD基于开源组件实现功能增强,保持100%的开放性,不使用私有架构和组件。认证安全基于用户和角色的认证统一体系,遵从帐户/角色RBAC(Role-Based Access Control)模型,实现通过角色进行 ...
哈哈哈哈哈哈嘻嘻嘻嘻
    查看客户端编码: show client_encoding;    • client_encoding显示客户端的字符编码类型。尽量客户端编码和服务器端编码一致,提高效率,例如可通过setclient_encoding=GBK;(session级生效)进行调整 ...
同学少年练号打怪
Redis是一个开源的,基于网络的,高性能的key-value数据库,弥补了memcached这类key-value存储的不足,在部分场合可以对关系数据库起到很好的补充作用,满足实时的高并发需求。Redis跟memcached类似,不过数据可以持 ...
哈哈哈哈哈哈嘻嘻嘻嘻
本次测试使用的是客户端的flume,虽然华为的flume区分了服务端和客户端,但是不管是服务端flume还是客户端flume,起本质上其实都是一个agent,相关source、channel、sink配置和开源大同小异,产品文档上虽然给了kafk ...
幸运一
  • 幸运一 版主 
  • 发帖时间 :2021-6-17   最后回复 前天 13:07
    314 25 26
Index:即索引,是Elasticsearch中一个逻辑命名空间,指向一个或多个分片,内部Apache Lucene实现索引中数据的读写。索引与关系数据库实例Database相当。一个Elasticsearch实例可以包含多个索引。Type:文档类型,相 ...
哈哈哈哈哈哈嘻嘻嘻嘻

登录参与交流分享

登录

屏蔽
!block_confirm_cont!
温馨提示
!bind_my_phone_cont!