[Conferencia de Mr.V] SmartDedupe & SmartCompression

Pubilicado 2019-1-18 16:46:57 28 0 0 0

5729aef677216.png

¿Qué es SmartDedupe Smart Compression?

A medida que aumenta el volumen de servicio, se requiere más espacio de almacenamiento. Por lo tanto, se generan más problemas para las empresas.

Una gran cantidad de datos de redundancia pueden estar contenidos en los datos de servicio. El aumento de los datos de redundancia conduce a un aumento espectacular en los gastos de compra de dispositivos de almacenamiento.

Más dispositivos de almacenamiento hacen que el mantenimiento y la administración sean más complejos. Además, para mantener el funcionamiento correcto de los dispositivos de almacenamiento, se debe invertir una gran suma de dinero para construir salas de equipos, suministro de energía y sistemas de refrigeración.

Basado en lo anterior, el valor de los datos de redundancia está lejos de compensar el costo de mantener los dispositivos de almacenamiento. Como resultado, bajo la premisa de que la seguridad de la información y la precisión de los datos del servicio están garantizadas, la reducción de los datos de redundancia y la reducción de la capacidad de almacenamiento tomada por los datos de redundancia se convierten en el foco de los administradores de sistemas.

SmartDedupe & SmartCompression es una tecnología de compresión de datos desarrollada por Huawei, cuyo objetivo es reducir la capacidad de almacenamiento de los datos de redundancia y mejorar la transmisión, el procesamiento y la eficiencia de almacenamiento de un sistema de almacenamiento.

SmartDedupe & SmartCompression incluye dos funciones: deduplicación de datos y compresión de datos.

SmartDedupe limpia la capacidad de almacenamiento físico al eliminar bloques de datos redundantes en el sistema de almacenamiento, por lo que cumple con los requisitos de capacidad cada vez mayores.

SmartCompression limpia la capacidad de almacenamiento físico al reorganizar los datos, lo que mejora la transmisión, el procesamiento y la eficiencia de almacenamiento de un sistema de almacenamiento.

¿Cómo se realiza SmartDedupe & SmartCompression?

SmartDedupe & SmartCompression funciona antes de que los datos se escriban en el sistema de almacenamiento. Cuando el host entrega una solicitud de escritura, el sistema de almacenamiento deduplica y comprime la solicitud y la escribe en los discos.

En SmartDedupe y SmartCompression, debe comprender los siguientes conceptos:

Bloque de datos de deduplicación: especifica la granularidad de los datos que se deduplicarán en un sistema de almacenamiento.

Para los LUN, el tamaño de un bloque de datos deduplicado es el mismo que el de una unidad de asignación de LUN delgada. En función de las necesidades del servicio, un usuario puede ejecutar el comando create lun en CLI para configurar el tamaño de la unidad de asignación al crear una LUN delgada (gran tamaño).

Para un sistema de archivos, el tamaño de un bloque de datos deduplicado es el mismo que un bloque de sistema de archivos. Según las necesidades del servicio, un usuario puede ejecutar el comando general create file_system en CLI para configurar el tamaño de bloque al crear un sistema de archivos.

Bloque de datos de compresión: especifica la granularidad de los datos que se comprimirán en un sistema de almacenamiento. El sistema de almacenamiento descomprime inteligentemente los bloques de datos que se escriben recientemente en el sistema según sus tamaños.

Algoritmo de hash: indica un algoritmo utilizado para verificar la consistencia del bloque de datos. La información de huellas dactilares del bloque de datos se puede calcular utilizando este método. Si las huellas dactilares de dos bloques de datos son iguales, el sistema de almacenamiento reconocerá estos bloques de datos como datos redundantes.

Política de comparación byte a byte: indica un método de verificación utilizado por un sistema de almacenamiento para complementar el algoritmo hash cuando el sistema de almacenamiento detecta bloques de datos redundantes. Si se usa una política de comparación byte a byte, un sistema de almacenamiento compara no solo las huellas dactilares de los bloques de datos, sino también los datos de los bloques de datos byte a byte.

Para un LUN o un sistema de archivos, SmartDedup y SmartCompression se pueden habilitar de forma independiente o simultánea. Cuando SmartDedupe y SmartCompression se activan simultáneamente, el sistema de almacenamiento deduplica los bloques de datos y luego los comprime. Lo siguiente ilustra cómo funcionan SmartDedupe y SmartCompression.

SmartDedupe

57ad3f8c7e49a.jpg

 

El sistema de almacenamiento utiliza el algoritmo hash para calcular la información de huellas dactilares sobre los bloques de datos que se escribieron recientemente en el sistema de almacenamiento.

Al comparar la información de la huella digital, el sistema puede determinar si los bloques de datos recién escritos son duplicados de los bloques de datos originales.

En caso afirmativo, el sistema de almacenamiento reconoce los nuevos bloques de datos como redundantes, los elimina y permite que la ubicación de almacenamiento de los nuevos bloques de datos apunte a la ubicación de almacenamiento de los bloques de datos originales.

Si no, el sistema de almacenamiento identifica los bloques de datos que se escriben en él como nuevos bloques de datos y los escribe en los discos.

Por ejemplo, los bloques de datos A, B y C existen en el LUN. El servidor de aplicaciones escribe los bloques de datos D y E en el sistema de almacenamiento. La siguiente tabla enumera los resultados de comparar los bloques de datos D y E con los bloques de datos existentes. La siguiente figura muestra cómo se procesan los bloques de datos cuando se utilizan diferentes políticas de deduplicación de datos.

57ad3f8cbf591.jpg

57ad3f8cdcee9.jpg

 

La política de comparación byte por byte puede mejorar la precisión de la comparación de bloques de datos. El usuario puede ejecutar el comando change lun o change file_system dedup_compress para configurar la política de comparación byte a byte.

SmartCompression comprime bloques de datos según la política de compresión configurada. El sistema de almacenamiento admite las siguientes dos políticas de compresión:

Rápido: Rápido es la política de compresión predeterminada. Esta policía tiene mayor velocidad de compresión pero menor eficiencia en el ahorro de capacidad, en comparación con la política de Deep.

Profundo: la política Profundamente mejora significativamente la eficiencia en el ahorro de capacidad, pero lleva más tiempo en la compresión y descompresión.

Proceso de escritura de bloques de datos cuando SmartCompression está habilitado

57ad3f8d10f61.jpg

 

¿Cuáles son las restricciones en el uso de SmartDedupe Smart Compression?

En los sistemas de almacenamiento OceanStor V3R3, tanto los sistemas de archivos como los LUN son compatibles con SmartDedupe y SmartCompression.

Observe las siguientes precauciones al usar estas características:

SmartDedupe & SmartCompression solo se puede configurar en sistemas de archivos en los que se configuran los LUN delgados SmartThin.

SmartDedupe & SmartCompression solo se puede habilitar cuando se crean LUN delgados. Sin embargo, SmartDedupe y SmartCompression pueden habilitarse cuando se crea un sistema de archivos o modificando los atributos después de crear el sistema de archivos.

SmartDedupe & SmartCompression es una función de valor agregado que requiere licencias. Para un sistema de archivos, se requieren dos licencias para SmartDedupe y SmartCompression por separado. Sus nombres son Característica de SmartDedupe (para FS) y Característica de SmartCompression (para FS). Para un LUN, solo se requiere una licencia para SmartDedupe y SmartCompression. El nombre es Característica de SmartDedupe y SmartCompression (para LUN).

¿Por qué se desarrolla la política de comparación byte por byte?

Diferentes bloques de datos pueden tener la misma información de huella digital. Esto se llama conflicto hash. La política de comparación byte por byte es resolver este conflicto.

¿Los servicios serán influenciados después de que SmartDedupe & SmartCompression esté habilitado?

Wcuando SmartDedupe & SmartCompression está habilitado, el cálculo de huellas dactilares, la comparación de huellas dactilares y la compresión de bloques de datos ocuparán los recursos de la CPU. Por lo tanto, cuanto más deduplicados y comprimidos sean los bloques de datos, mayor será el impacto en el rendimiento del sistema.

¿Se puede aplicar el módulo de aceleración inteligente a todos los escenarios?

El módulo de aceleración inteligente desinstala los recursos de CPU ocupados por la computación de huellas dactilares, la comparación de huellas dactilares y la compresión en el hardware para reducir su impacto en otros servicios. Sin embargo, el módulo no es aplicable a todos los escenarios. Debido a la falta de canales de E / S concurrentes, el módulo de aceleración inteligente provoca la cola de solicitudes de E / S en servicios intensivos de IOPS (como las bases de datos) y prolonga la latencia. Por el contrario, en los servicios ricos en ancho de banda (como VDI), se recomienda el módulo de aceleración inteligente, que puede aliviar el impacto de la ocupación de la CPU en otros servicios.

¿En qué porcentaje se deduplican y comprimen los datos en diferentes escenarios?

La eficiencia de la deduplicación y la compresión varían para diferentes tipos de datos en diferentes escenarios.

57ad3f8d40077.jpg

 

Los datos de la tabla anterior son solo para su referencia. En la ejecución del servicio, la eficiencia de la deduplicación y compresión de datos está sujeta a la condición real.

  • x
  • convención:

Responder

Responder
Debe iniciar sesión para responder la publicación Inicio de sesión | Registrarse

Aviso: Para garantizar sus legítimos derechos e intereses, la comunidad y los terceros no publicarán contenido que pueda generar riesgos legales a las partes, por ejemplo, pornografía, contenido político, contenido sobre juego, consumo y tráfico de drogas, así como contenido que viole los derechos de propiedad intelectual de terceros, por ejemplo, secretos comerciales, marcas, derechos de autor, patentes y privacidad personal. No comparta su cuenta ni su contraseña con terceros. Todas las operaciones realizadas usando su cuenta se considerarán como sus acciones y todas las consecuencias que estas acciones generen serán responsabilidad suya. Para obtener información detallada, consulte la “ Política de privacidad.”
Si el botón para adjuntar no está disponible, actualice Adobe Flash Player con la versión más reciente
Respuesta rápida Desplácese hasta arriba