Introduction à SmartDedupe & SmartCompression

publié il y a  2020-2-12 09:54:00 13 0 0 0

Bonjour à tous, je voudrais partager avec vous le principe de la fonctionnalité SmartDedupe & SmartCompression de Huawei.


i_f15.gif Qu'est-ce que SmartDedupe & SmartCompression?


La fonction de déduplication des données (SmartDedupe) est une technologie de réduction des données qui réduit la quantité de stockage physique utilisée par les données en éliminant les blocs redondants dans le système de stockage pour répondre à la demande croissante de stockage de données.

La fonction de compression des données (SmartCompression ) fait référence à la réorganisation des données sans réduire les informations, en réduisant la quantité de données pour réduire l'espace de stockage et en améliorant la transmission, le traitement et l'efficacité du stockage du système de stockage.

Le but et les avantages de SmartDedupe & Smart Compression


But et avantage

Description détaillée

Réduisez l'espace de stockage occupé par les données.

En utilisant la fonctionnalité SmartDedupe & SmartCompression, l'utilisation de technologies de déduplication et de compression de données seules ou en combinaison peut réduire efficacement les données redondantes et réduire l'espace de stockage occupé par les données.

Réduisez le coût d'achat initial du système de stockage.

En raison de l'espace de stockage réduit occupé par les données, seule une petite quantité de périphériques de stockage doit être achetée au stade initial pour répondre aux besoins de stockage des données dans la période de temps suivante.

Réduire le TCO

Étant donné que le nombre de périphériques de stockage achetés est réduit, il n'est pas nécessaire d'investir beaucoup de personnel de gestion. Dans le même temps, les coûts d'exploitation et de maintenance de l'espace de la salle d'équipement, de l'alimentation, de la climatisation et de la gestion de la maintenance diminueront également.


Concepts qui doivent être compris avant la fonctionnalité SmartDedupe & SmartCompression:


Taille du bloc de déduplication : utilisée pour spécifier la granularité du système de stockage pour la déduplication. La taille du bloc de données dédupliqué est identique à la taille de l'unité d'allocation du LUN léger. Vous pouvez exécuter la commande create lun dans l'interface CLI (Command Line Interface) et définir la taille d'unité d'allocation différente pour le LUN léger via le paramètre grain_size.


Taille de bloc compressé: utilisée pour spécifier la granularité à laquelle le système de stockage. Le système de stockage effectue une compression de fusion intelligente basée sur la taille de bloc du nouveau LUN écrit.


Déduplication de longueur fixe: pendant le processus de déduplication, le système de stockage déduplique les données écrites sur le LUN en fonction de la même taille du bloc de données dédupliqué.


Algorithme de hachage: méthode de vérification de la cohérence d'un bloc de données. Grâce à cette méthode, les informations d'empreintes digitales du bloc de données peuvent être calculées (les informations d'empreintes digitales sont une valeur binaire de longueur fixe, similaire à une empreinte digitale humaine, et peuvent être considérées comme un identifiant unique de chaque bloc de données). Lorsque les informations d'empreintes digitales de plusieurs blocs de données sont cohérentes, le système de stockage considère que ces blocs de données sont dupliqués.


Stratégie de comparaison octet par octet: une méthode de vérification supplémentaire pour l'algorithme de hachage lors de la recherche de blocs de données en double. Lors de l'utilisation d'une stratégie de comparaison octet par octet, le système de stockage doit comparer les données du bloc de données octet par octet en plus de l'empreinte digitale.


Métadonnées de déduplication: enregistre des informations sur le processus de déduplication. Par exemple, les informations d'empreinte digitale du bloc de données, l'emplacement de stockage des données après la déduplication, etc.


Les deux fonctionnalités suivantes de SmartDedupe & SmartCompression seront introduites concernant les fonctionnalités de compression de données en ligne.


Le système de stockage implémente la déduplication en ligne et dédoublonne uniquement les données nouvellement écrites. Une fois la fonction de déduplication activée sur le LUN, le système de stockage compare le bloc de données nouvellement écrit avec le bloc de données d'origine dans le LUN. Si un bloc de données en double est identifié, le système de stockage supprime le bloc de données nouvellement écrit et l'emplacement de stockage des données supprimées est modifié en l'emplacement du bloc de données d'origine dans le système de stockage.

1. Le système de stockage utilise l'algorithme de hachage pour calculer les informations d'empreinte digitale du bloc de données nouvellement écrit. La taille du bloc de données est la même que celle du LUN mince. La taille du bloc de données est la même pour chaque processus de déduplication.


2. Comparez le bloc de données nouvellement écrit avec le bloc de données d'origine par les informations d'empreintes digitales.

- Oui => Le système de stockage considère que le bloc de données nouvellement écrit est dupliqué avec le bloc de données d'origine, supprime le bloc de données et pointe l'emplacement de stockage du bloc de données vers l'emplacement de stockage du bloc de données d'origine.

- Non => Le système de stockage considère les nouvelles données écrites comme un nouveau bloc de données et écrit le nouveau bloc de données sur le disque dur. Par exemple, les données d'origine dans le LUN sont A et B. Le serveur d'applications écrit le bloc de données C et le bloc de données D, et le bloc de données C et le bloc de données D sont comparés avec les données d'origine. Lorsque différentes stratégies de déduplication des données sont adoptées, le résultat du traitement de déduplication des données est affiché dans le diagramme schématique.


une


b


Compression des données


Le système de stockage implémente la compression en ligne et ne comprime que les données nouvellement écrites. Une fois la fonction de compression des données activée sur le LUN, le système de stockage combine et compresse intelligemment chaque nouvelle donnée écrite pour améliorer l'efficacité de la compression des données. Lorsque le système de stockage effectue un traitement de compression de données, il effectue différents degrés de compression selon la politique de compression définie par l'utilisateur. Le système de stockage prend en charge les deux stratégies de compression suivantes.


La stratégie Fast: Fast est l'algorithme de compression utilisé par défaut par le système. L'algorithme a une vitesse de compression rapide, mais l'efficacité d'économie d'espace est inférieure à celle de la stratégie Deep.


Deep: la stratégie Deep peut améliorer considérablement les économies d'espace, mais la compression et la décompression prennent plus de temps.

c

La fonction SmartDedupe & SmartCompression occupe la source CPU pour la déduplication et la compression des données. Il est utilisé pour calculer les informations d'empreinte digitale, la compression et la décompression. Par conséquent, plus il y a de LUN dédupliqués et compressés en même temps, plus l'impact sur les performances du système est important.


La fonctionnalité SmartDedupe et SmartCompression interagit avec d'autres fonctionnalités


Si le LUN est configuré avec la fonctionnalité SmartDedupe & SmartCompression, le LUN ne prend pas en charge les fonctionnalités à valeur ajoutée suivantes: HyperMetro, Snapshot, Clone, LUN Copy, Remote Copy, SmartMigration, Volume Mirror, SmartErase et SmartTier.


Si le LUN est configuré avec la fonctionnalité SmartDedupe & SmartCompression, le LUN prend en charge les fonctionnalités ou fonctions à valeur ajoutée suivantes: SmartQoSSmartCacheMapping et Multi-Tenant.


L'eDevLUN hébergé d'un système de stockage hétérogène vers le système de stockage local ne prend pas en charge la fonctionnalité SmartDedupe & SmartCompression.


Une fois la fonctionnalité SmartDedupe & SmartCompression activée sur un LUN léger, le LUN ne prend pas en charge l'authentification Windows 2012.


Une fois la fonctionnalité SmartDedupe & SmartCompression activée sur un LUN léger, le LUN ne prend pas en charge l'interface VAAI (API vStorage pour l'intégration de baies).


La fonctionnalité SmartDedupe & SmartCompression n'est pas prise en charge.


Le contenu ci-dessus est les fonctionnalités Huawei SmartDedupe & SmartCompression que je souhaite partager avec vous.


  • x
  • Standard:

Commentaire

envoyer
Connectez-vous pour répondre. Se connecter | Enregistrer

Remarque Remarque : Afin de protéger vos droits et intérêts légitimes, ceux de la communauté et des tiers, ne divulguez aucun contenu qui pourrait présenter des risques juridiques pour toutes les parties. Le contenu interdit comprend, sans toutefois s'y limiter, le contenu politiquement sensible, le contenu lié à la pornographie, aux jeux d'argent, à l'abus et au trafic de drogues, le contenu qui peut divulguer ou enfreindre la propriété intellectuelle d'autrui, y compris les secrets professionnels, les marques commerciales, les droits d'auteur et les brevets, ainsi que la vie privée personnelle. Ne partagez pas votre nom d'utilisateur ou votre mot de passe avec d'autres personnes. Toutes les opérations effectuées à partir de votre compte seront considérées comme vos propres actions, et toutes les conséquences en découlant vous seront imputées. Pour plus de détails, voir « Politique de confidentialité ».
Si le bouton de la pièce-jointe n'est pas disponible, mettez à jour Adobe Flash Player à la dernière version.

My Followers

Connectez-vous pour participer à la communication et au partage

Connectez-vous pour participer à la communication et au partage

S'identifier