[Refroidir le vin et parler de stockage] Épisode 1: Changements radicaux dans le Big Data

Dernière réponse jul. 10, 2019 12:07:15 54 1 1 0

"L'humanité passe de l'ère informatique à l'ère des technologies de l' information (DT)." - Jack Ma (fondateur d'Ali Baba)

Livre blanc sur le Big Data publié par la Maison Blanche

https://forum.huawei.com/enterprise/en/data/attachment/forum/dm/ecommunity/uploads/2016/0322/17/56f1124b2adee.png

 

Le Big Data est arrivé. Dites au revoir à l'ère des petites données!

Des couches et de la bière de Wal-Mart, le centre de détection de Volvo, la migration humaine au Festival de Printemps de la Chine et les taux d'utilisation des smartphones. Données massives, explosion d'informations, inondations numériques, Internet des objets ... Des mots à la mode et des infographies ludiques nous submergent. En tant que membre du secteur des TIC, si vous dites ne pas en avoir entendu parler auparavant, même Super Man ne sera pas de cet avis.

Le Big Data n’est que de l’exploitation aurifère. L’exploration de données, l’entreposage de données, OLAP et la modélisation prédictive sont donc très populaires. Cependant, la manière de stocker et de gérer une telle quantité de données est primordiale. De PB à EB et même à ZB, le taux de reproduction de 0101 fichiers binaires dépasse notre imagination. Les données impliquées dans les connexions interhumaines, interhumaines et interchangeables croissent de manière exponentielle. En 2011, la quantité de données dans le monde dépassait 1,8 ZB. En 2012, ce chiffre était de 2,8 ZB (équivalent des données stockées sur 87,5 milliards d'iPad de 32 Go). En 2013, le chiffre était de 4 ZB. Combien le chiffre était et sera pour 2014, 2015 et 2016?

Les gens peuvent désormais prendre facilement des photos avec un appareil photo ou un téléphone portable, créant ainsi de plus en plus de photos. Regarder des films est tellement agréable que la taille des films haute définition grimpe à 10 Go. Tous doivent être stockés. Pourtant, les données personnelles sont une bagatelle. En ce qui concerne l' édition de programmes dans les stations de télévision, la cartographie des gènes dans les institutions de recherche scientifique et NEPH *** yse dans les bureaux météorologiques, la taille d'une image peut être plusieurs dizaines de Go qui est assez pour remplir un disque.

Prenons un autre exemple de surveillance vidéo dans le domaine de la sécurité. Une caméra génère environ 5 Go de données par jour au format de stockage vidéo universel CIF. En règle générale, un fichier vidéo doit être conservé pendant un mois. Un poste de police contrôle 300 caméras. La quantité de données générée par chaque poste de police est donc de 45 To par mois. Imaginez combien de postes de police y a-t-il à Beijing?Combien de "villes sûres" la Chine doit-elle construire? La quantité de données doit être stupéfiante.

Il existe de nombreuses définitions du Big Data et des informaticiens, et les *** financiers ont des perspectives différentes. Toutefois, les grands ensembles de données sont généralement compris comme étant vastes, diversifiés, complexes, profonds et distribués. Les données sont générées par différents types d'équipements ou de dispositifs, capteurs, trading en ligne, courriels, vidéos, flux de clics et toutes autres sources numériques utilisables.

 https://forum.huawei.com/enterprise/en/data/attachment/forum/dm/ecommunity/uploads/2016/0322/17/56f1129356a58.png
  

 

Trois des caractéristiques 4V du Big Data sont associées à des périphériques de stockage de base.

    Volume : grande échelle et expansion facile. La capacité des centres de données est au niveau PB.

    Velocity : haute performance. Un traitement de données en temps réel ou presque temps réel est requis.

    Varieté: types et interfaces de données sont diverses. Les données non structurées continuent d'être générées à partir des comportements des utilisateurs, des médias sociaux, des informations de localisation, des images, des vidéos, des courriels et des capteurs. Les applications sont indénombrables.

Le volume et la vélocité signifient que l'ère du Big Data a besoin de périphériques de stockage de base offrant des performances élevées, un débit élevé et une grande capacité. De plus, ces appareils doivent être faciles à développer et à gérer à mesure que les services et les données augmentent. Quelles sont les tendances pour le développement de périphériques de stockage? Comment fonctionnent les nouvelles architectures technologiques? Trouvons quelques réponses de plusieurs magnats de l'industrie du stockage.

      SNIA - Chine : le stockage et l'informatique ont tendance à être convergés et la migration traditionnelle des données est en baisse. Les données sont   épars   et écrit dans différents dispositifs de stockage et l'informatique est effectuée par la CPU à côté des données.

      NetApp : Pour stocker des données n'est pas difficile. La clé est le niveau de service de stockage que les clients peuvent apprécier. NetApp   grappe   Les systèmes de stockage sont conçus pour des applications pratiques et peuvent répondre aux exigences de la hiérarchisation des applications et de la superposition des ressources.

      Ponts Sino:   Architecture distribuée mais convergée   permet une gestion unifiée, une expansion en ligne et un équilibrage dynamique de la charge tout en améliorant l'efficacité du déploiement et en réduisant les goulots d'étranglement matériels.

      Fusion- io & Intel: Les données non structurées évolue rapidement en informations, ce qui nécessite que les serveurs soient rapides et que la vitesse des périphériques de stockage correspondent à celui des processeurs. La mémoire flash est donc une solution efficace pour améliorer les performances. L'application à grande échelle de disques SSD dans les centres de données permet de réduire les coûts, d'accélérer l'accès aux données et d'améliorer la fiabilité. Dans le même temps, la gestion et la maintenance du stockage centralisé sont difficiles, de sorte que   distribué   le stockage est une tendance irrésistible.

      Dell: pour utiliser des disques SSD, vous devez trouver un équilibre entre coût et performances. Le Big Data nécessite un stockage partagé avec une capacité et une vitesse élevées. L'architecture des flux de données de Dell n'est qu'une plate-forme permettant une migration en douceur des données.

      Huawei: De centralisé à   distribués , de l’informatique à l’information, nous avons constaté une efficacité accrue de la gestion et de l’efficacité découlant de la   convergence   d’informatique et de stockage basés sur des architectures convergentes.

Différents experts ont des points de vue différents, mais la tendance à la   les périphériques de stockage évoluent vers la distribution et la convergence   est reconnu par tous.

Le système dit distribué consiste en fait à exercer un pouvoir collectif. Prenons l'exemple de la logistique du fret.

Les cargaisons générales sont transportées par de petits camions (correspondant aux capacités logicielles et matérielles d'un seul nœud).

https://forum.huawei.com/enterprise/en/data/attachment/forum/dm/ecommunity/uploads/2016/0322/17/56f1124b59347.png

 

Les cargaisons en vrac sont transportées par de gros camions (c'est-à-dire, améliorant la capacité de traitement d'un seul nœud en ajoutant des mémoires ou des cartes).

https://forum.huawei.com/enterprise/en/data/attachment/forum/dm/ecommunity/uploads/2016/0322/17/56f1124b73d27.png

 

Et si les cargos augmentent de façon exponentielle ? Que pouvons-nous faire ?

https://forum.huawei.com/enterprise/en/data/attachment/forum/dm/ecommunity/uploads/2016/0322/17/56f1124bb1ee3.png

 

Build a super Optimus Prime. Non ! Le transport et la capacité de transport des routes sont limités. En fait, en utilisant plusieurs camions à la même heure, c'est bon !

https://forum.huawei.com/enterprise/en/data/attachment/forum/dm/ecommunity/uploads/2016/0322/17/56f1124c12d56.png

 

De même, la mise à niveau infinie du processeur, de la mémoire et des disques d'un seul périphérique n'est pas réaliste. Au lieu de cela, le traitement distribué et parallèle devrait être adopté, à savoir, utiliser plusieurs nœuds de stockage pour former un cluster et partager les charges de service. Un système distribué doit être facile à développer, c'est-à-dire évoluer. En empilant les nœuds, la capacité et les performances peuvent augmenter presque linéairement avec la quantité de nœuds.

Après avoir parlé des systèmes distribués, passons au NAS. Après DAS et SAN, NAS est apparu pour répondre aux besoins de partage de données et de réduction des coûts. Sur la base du stockage de blocs de base, NAS crée des systèmes de fichiers qui fournissent diverses interfaces de protocole (telles que POSIX / NFS / CIFS / FTP). NAS organise les données sous forme de répertoires et de fichiers, ce qui signifie que les ressources de stockage peuvent être utilisées, partagées et connectées plus facilement aux systèmes d’application. De plus, la technologie de système de fichiers du NAS correspond exactement à la variété des caractéristiques 4V.Informations non structurées, représentant plus de   90 % des données sont stockées dans des espaces 0101 dans divers formats de fichiers et sont invoquées par une myriade d'applications. En ce qui concerne la construction de l'appareil,   NAS   adopte le mode de réseau IP, qui est peu coûteux et facile à déployer. Par conséquent, on peut dire que la mise à l'échelle NAS est un choix idéal pour le stockage Big Data au niveau de l'entreprise.

Nous pensons que chaque DSI veut que l’argent qu’il dépense en stockage puisse présenter les avantages suivants:

      Plus : grande capacité et espace suffisant;

      Plus rapide: performances robustes, bande passante large, faible temps de latence et haute   I / O ;

      Mieux: fiabilité élevée, expansion et gestion faciles;

      Moins cher: coût et prix bas par capacité en To;

      Bien entendu, nous devons pratiquement trouver un équilibre entre ces quatre aspects en fonction de nos besoins de service réels.

Les produits phares du secteur incluent EMC Isilon ( OneFS ), HDS HNAS (PLATEFORME HITACHI NAS), IBM SONAS (GPFS), HP X9000 (IBRIX FUSION FS) et Panasas. ActiveStor ( PanFS ).   Pour en nommer quelques uns. Outre tous ces prédécesseurs, dans le monde du stockage Big Data, un épéiste né avec une symétrie complète, une convergence totale, des interfaces multiples et des performances élevées est apparu au cours des deux dernières années. Hé, tu veux savoir son nom? C'est moi, O9000, qui ne changerais jamais de nom, quelles que soient les conditions. Dans les jours suivants, O9000 vous expliquera quelque chose sur le Big Data.

 

Prochainement:

Exercez des muscles et des nerfs en dehors de votre corps (philosophie de l'art martial chinois): les nœuds P / C / I traitent des coups combinés. S'exercer à respirer dans son corps: des systèmes de fichiers distribués protègent le cœur. Comme le dit un vieux poème chinois:

Pour savoir ce qui se passe ensuite, consultez le prochain épisode.

Épisode 2: Ce mont Wushan n'est pas un nuage et DFS forge un cœur d'acier


Poste Originale: http://forum.huawei.com/enterprise/thread-186191.html

Traduit par Mohamed Boubaker

 

This post was last edited by Mohamed_Boubaker at 2019-02-15 15:34.
  • x
  • Standard:

Adham_mostafa publié il y a 2019-7-10 12:07:15 Utile(0) Utile(0)
Utile :D merci
  • x
  • Standard:

Responder

envoyer
Connectez-vous pour répondre. Se connecter | Enregistrer

Remarque : Afin de protéger vos droits et intérêts légitimes, ceux de la communauté et des tiers, ne divulguez aucun contenu qui pourrait présenter des risques juridiques pour toutes les parties. Le contenu interdit comprend, sans toutefois s'y limiter, le contenu politiquement sensible, le contenu lié à la pornographie, aux jeux d'argent, à l'abus et au trafic de drogues, le contenu qui peut divulguer ou enfreindre la propriété intellectuelle d'autrui, y compris les secrets professionnels, les marques commerciales, les droits d'auteur et les brevets, ainsi que la vie privée personnelle. Ne partagez pas votre nom d'utilisateur ou votre mot de passe avec d'autres personnes. Toutes les opérations effectuées à partir de votre compte seront considérées comme vos propres actions, et toutes les conséquences en découlant vous seront imputées. Pour plus de détails, voir « Politique de confidentialité ».
Si le bouton de la pièce-jointe n'est pas disponible, mettez à jour Adobe Flash Player à la dernière version.

Connectez-vous pour participer à la communication et au partage

S'identifier
Réponse rapide Accéder au haut de page