Cual es el ancho de banda recomendado para implementar fusión insight?

Pubilicado 2019-3-22 00:47:18Última respuesta mzo. 28, 2019 11:39:31 45 2 0 0
  Recompensa Goldies : 0 (solución de problemas)

Cual es el ancho de banda recomendado para implementar fusión insight?


  • x
  • convención:

Hemingway  Moderador   Pubilicado 2019-3-28 11:39:31 Útil(0) Útil(0)

Cómo obtener el mejor rendimiento de clúster


Principio 1: principio de asignación de núcleo de CPU


Nodo de datos: se recomienda que se reserven de dos a cuatro núcleos para otros procesos (base de datos y HBase) y otros núcleos se asignen a YARN.

Nodo de control: se recomienda que se reserven de seis a ocho núcleos porque hay muchos procesos en ejecución.


Principio 2: asignación de memoria


Excepto la memoria asignada al sistema operativo y otros servicios, asigne la mayor cantidad posible de memoria a YARN.


Principio 3: núcleo de CPU y coincidencia de memoria


Establezca yarn.nodemanager.vcores-pcores-ratio correctamente para evitar el desperdicio de recursos de CPU y memoria.


Principio 4: rendimiento de E / S del disco


Monte más discos en yarn.nodemanager.local-dirs, yarn.nodemanager.log-dirs y en dfs.data.dir para mejorar el rendimiento de E / S del disco.


Factores que afectan el rendimiento

Factor 1: E / S del disco del servidor de archivos


En general, la velocidad de escritura y lectura del disco es de 100 Mbit / s. Por ejemplo, la velocidad de lectura secuencial teórica de los discos SATA de segunda generación es de 300 Mbit / s, en lectura de un solo disco. Es imposible alcanzar una velocidad de importación de 1 Gbit / s. En la lectura de un solo disco, agregar el número de mapas puede no ser capaz de mejorar la velocidad de importación. A medida que aumenta el número de mapas, la lectura secuencial de archivos en un disco se convierte en lectura aleatoria de archivos, lo que deteriora el rendimiento de la lectura. Si la lectura aleatoria más pobre puede llegar a ser 800 Kbit / s. Por lo tanto, para aumentar la eficiencia de lectura de E / S del disco de un servidor de archivos, puede utilizar un servidor de archivos profesional, como el sistema NAS. Además, puedes usar métodos más simples, como construir Raid 0 o Raid 5.


Factor 2: ancho de banda de la red del servidor de archivos


Cuanto mayor sea el ancho de banda de la red de un solo servidor de archivos, mejor será el rendimiento. Se recomienda 10000 Mbit / s o más.


Factor 3: configuración del hardware del nodo del clúster


Si la configuración del hardware del nodo del clúster es alta, por ejemplo, un nodo tiene muchos núcleos de CPU y una gran memoria, puede aumentar el número de mapas simultáneos o reducir las operaciones. Si la configuración de hardware de un solo nodo es difícil de mejorar, puede aumentar la cantidad de nodos en el clúster.


Factor 4: configuración de parámetros SFTP


se prefiere aes128-cbc si no se usan los algoritmos de compresión y encriptación y se prefiere umac-64@openssh.com si se usa el algoritmo de verificación de integridad.


Factor 5: configuración de parámetros del cluster


Factor 6: valor de lectura anticipada de archivos de Linux


Ejecute el siguiente comando de Linux para establecer el valor de lectura anticipada del archivo de disco en 16384:


echo 16384> / sys / block / sda / queue / read_ahead_kb

  • x
  • convención:

Aurea  Administrador   Pubilicado 2019-3-22 08:55:33 Útil(0) Útil(0)

Buenas tardes. Te invitamos a participar en el nuevo concurso de la Comunidad Huawei Enterprise, en el cual puedes ganar hasta 100USD en tarjetas de regalo y otros premios. Sólo debes de responder a esta publicación con el link de tu pregunta. En la siguiente liga toda la información:


https://forum.huawei.com/enterprise/es/thread-508361.html


¡Participa y gana!

  • x
  • convención:

Responder

Responder
Debe iniciar sesión para responder la publicación Inicio de sesión | Registrarse

Aviso: Para garantizar sus legítimos derechos e intereses, la comunidad y los terceros no publicarán contenido que pueda generar riesgos legales a las partes, por ejemplo, pornografía, contenido político, contenido sobre juego, consumo y tráfico de drogas, así como contenido que viole los derechos de propiedad intelectual de terceros, por ejemplo, secretos comerciales, marcas, derechos de autor, patentes y privacidad personal. No comparta su cuenta ni su contraseña con terceros. Todas las operaciones realizadas usando su cuenta se considerarán como sus acciones y todas las consecuencias que estas acciones generen serán responsabilidad suya. Para obtener información detallada, consulte la “ Política de privacidad.”
Si el botón para adjuntar no está disponible, actualice Adobe Flash Player con la versión más reciente
Respuesta rápida Desplácese hasta arriba