[Refroidir le vin et parler de stockage] Épisode 2: Cette montagne de Wushan n'est pas mise en évidence

22 0 0 0

Dans le précédent épisode, nous a parlé sur cette dans le Gros Les données espace de rangement monde, une Jeune épéiste O9000 était née avecplein convergence, plusieurs interfaces, haute performance et divers unique compétences. Dans ce épisode, bien parler sur Comment O9000commencé à entraine toi distribué fichier systèmes dans le belle et scénique Wushan Montagne  le Wushan Secte vies.

Techniques d'architecture à trois niveaux

O9000 a commencé son parcours de pratiques éprouvantes en étudiant les techniques de base de la section Wushan.

[Refroidir le vin et parler de stockage] Épisode 2: Cette montagne de Wushan n'est pas-1236119-1

l   le premier étage: le Matériel couche les usages une commun X86 architecture et est configuré avec cinq Hercule (cinq les types de physiqueespace de rangement nœuds), couvrant des scénarios cette avoir différent exigences sur performance, capacité, et frais.

l   le seconde étage: le architecture est une complet y-symm etric et distribué un. Entièrement symétrique veux dire cette tout noeuds dans unegrappe avoir le même logique structure, les fonctions, et fonctionnement prestations de service. Métadonnées et autre Les données sontpropager uniformément sur tout noeuds à éviter inégal charges. Ce architecture a excellent évolutivité et performance, et est notamment fort àEn traitement grand des dossiers.

l   le troisième étage: Diverse interfaces tel comme NFS, CIFS (SMB), FTP, et HDFS sont à condition de pour usage externe. Espace de rangement Ressources pouvez être accédé et utilisé par Windows / Linux / Unix / Mac OS les clients et applications.

Système de fichiers dit la fondation

À construire une distribué fichier système, nous doit premier comprendre des dossiers et fichier systèmes.

Prendre Baidu Nuage dans Chine pour Exemple. Ordinateur des dossiers sont information collection stockée sur ordinateur disques. Des dossierspouvez être des textes, images, ou programmes. Des dossiers typiquement avoir une trois lettres fichier prénom extension à indiquer le fichiertype.

Fichier système est le façon cette des dossiers sont organisé sur disques. Il pouvez également référer à le cloison  des dossiers sont stockée.(Pour Exemple, O9000 a deux fichier systèmes.)  sont beaucoup les types de fichier systèmes, tel comme FAT / NTFS / EXT / ZFS / UFS / VMFS. Ensemble ils forme le XFS famille. Fichier systèmes offre le Suivant les fonctions:

l   Spatial organisation et Distribution de espace de rangement dispositifs

l   Fichier accès:

-Accès à fichier métadonnées

–Accès aux données de contenu du fichier

Qu'il appartienne au camp Windows ou Linux, un système de fichiers organise généralement les données dans une structure arborescente. Les données composent les fichiers et les fichiers sont ensuite stockés dans des répertoires. C'est facile à comprendre.

[Refroidir le vin et parler de stockage] Épisode 2: Cette montagne de Wushan n'est pas-1236119-2

Dans Comparaison, métadonnées est relativement abstrait. Parlant de métadonnées, chaque un de vous pouvez lâcher en dehors cette"Métadonnées est le Les données cette décrit Les données." Juste trouver une fichier, clic-droit il, et choisir Propriétés de le raccourci menu. le La position , La taille , Occupé L'espace , et Modification Temps cette vous pouvez voir sont tout métadonnées.

De une plus microscopique vue, metadat a est composé de dentry et inode. Dentry enregistrements fichier des noms et répertoires parents dans une structure arborescente tandis que inode enregistre les informations d’organisation et de gestion relatives aux fichiers (principalement l’emplacement et la distribution des fichiers sur un support de stockage).

[Refroidir le vin et parler de stockage] Épisode 2: Cette montagne de Wushan n'est pas-1236119-3

Dans Linux fichier systèmes, pour Exemple, des dossiers sont stockée sur disques. le le plus petit unité de espace de rangement sur les disques estcal conduit secteur. Chaque secteur magasins 512 octets. Quand un en fonctionnement système lit des disques, il volonté ne pas lis secteurs un parun. Ce est aussi inefficace. Au lieu, il volonté lis plusieurs secteurs, à savoir un bloc, continuellement à un temps. Ce bloc, composé de plusieurssecteurs, est le le plus petit unité de fichier espace de rangement et accès. le commun Taille de une bloc est 4 KB, ce qui signifie que huit continusecteurs forme un bloc.

Contenu Les données de une fichier est stockée dans des blocs mais un autre emplacement est nécessaire pour stocker métadonnées comprenant ledes dossiers créateur, création rendez-vous amoureux, et Taille. le emplacement cette magasins fichier métadonnées est appelé inode .

Dans Linux, nous pouvez utilisation le stat commander à vérifier le inode information sur une fichier, pour Exemple, stat example.txt .

[Refroidir le vin et parler de stockage] Épisode 2: Cette montagne de Wushan n'est pas-1236119-4

Le stockage d'objets forge le cœur d'acier

Tr additionnel couche de coin fichier systèmes sont fermement accouplé et avoir limité l'évolutivité, fabrication le la concrétisation de distribuédes architectures difficile. Aujourd'hui, plus un e mo re grande échelle distribué espace de rangement systèmes sont commuté à le objet espace de rangement architecture. le différences entre traditionnel espace de rangement et objet espace de rangement sont montré dans le Suivant figure.

[Refroidir le vin et parler de stockage] Épisode 2: Cette montagne de Wushan n'est pas-1236119-5

l    Objet est le de base unité de un objet espace de rangement système. Un objet comprend fichier Les données et en relation propriétéinformation, a une unique KeyID, et pouvez être autogéré. Puisque le objet Taille est limité seulement par le nombre de morceaux de KeyID,un objet a une presque infini l'évolutivité.

l    À base d'objet espace de rangement dispositif (OSD) est une de base unité de une distribué obje ct espace de rangement système et magasinsobjets. Chaque OSD est une intelligent dispositif avec ses posséder espace de rangement médias, processeur, Mémoire, et réseau système.OSD gérer local objets et sont les noyaux de objet espace de rangement systèmes.

La fusion du Yin et du Yang affûte l'épée

Tandis que en train d'étudier dans le Wushan Secte, O9000 ne pas seulement posé une solide fondation et forgé une acier cœur, mais égalementcréé le O9000 DFS cascades par fusion le compétences de le Wushan Secte avec le nuage espace de rangement Écritures et Les données protectiondix-huit paumes martial arts de le sien posséder Secte.

Situé sur Haut de le distribué objet espace de rangement couche, O9000 DFS répond à fichier accès demandes à travers le Client Agent module etfournit lis et écrire cache pour métadonnées à travers le Métadonnées Un service module. Outre, O9000 DFS les usages Protocole et valeur ajoutéeUn service à répondre à accès demandes de externe applications en fonction, dépendemment sur le NFS / CIFS / FTP protocole. Tel DFSégalement fournit une variété de valeur ajoutée Caractéristiques.

[Refroidir le vin et parler de stockage] Épisode 2: Cette montagne de Wushan n'est pas-1236119-6

Basé sur le précédent de base structure, O9000 DFS réalise élastique sans couture expansion de 3 à 288 nœuds. UNE unique fichier systèmepouvez être étendu à 60 PB dans capacité et fournit le Suivant fonctionnalités:

NFS / CIFS (SMB) / FTP fichier partage, justificatif SMB3 À canaux multiples

l   Automatique espace de rangement hiérarchisation

l   Utilisateur / Répertoire quota la gestion

l   Charge équilibrage parmi client les liaisons

l   Instantané

l   Éloigné réplication

l   Écrire Une fois que Lis Beaucoup (VER)

l   NDMP sauvegarde

l   SecureVideo: lis et écrire faute tolérance fonctionnalité vidéo surveillance des scénarios

l   Éloigné fichier synchronisation

Objets dans O9000 DFS sont métadonnées objets et Les données objets.

[Refroidir le vin et parler de stockage] Épisode 2: Cette montagne de Wushan n'est pas-1236119-7

Les données objets sont composé de une groupe de des rayures généré par matrice calculs de effacement codes. Détails sur objets dans O9000 DFSpouvez être a trouvé dans subséquent épisodes sur Les données Distribution et Les données protection .

Dans une addition, le O9000 système également les usages le Suivant les technologies, lequel volonté également être décrit dans subséquentépisodes.

l   UNE distribué fermer à clé mécanisme cette empêche fichier accès conflits

l   NVDIMMs Mémoire, combinaison de différent objet Les données des blocs dans continu grand disque I / O, concurrent En traitement deplusieurs des disques, dynamique sous-arbres pour métadonnées (basé sur la charge dynamique tranchage de métadonnées et mise en cachede métadonnées dans différent physique nœuds), 10Ge / InfiniBand haute vitesse la mise en réseau, et TCP Décharger Moteur (DOIGT DE PIED) cette de manière exhaustive améliorer système performance

Prochainement

À savoir quoi arrive suivant, voir le suivant épisode.


  • x
  • Standard:

Responder

envoyer
Connectez-vous pour répondre. Se connecter | Enregistrer

Remarque : Afin de protéger vos droits et intérêts légitimes, ceux de la communauté et des tiers, ne divulguez aucun contenu qui pourrait présenter des risques juridiques pour toutes les parties. Le contenu interdit comprend, sans toutefois s'y limiter, le contenu politiquement sensible, le contenu lié à la pornographie, aux jeux d'argent, à l'abus et au trafic de drogues, le contenu qui peut divulguer ou enfreindre la propriété intellectuelle d'autrui, y compris les secrets professionnels, les marques commerciales, les droits d'auteur et les brevets, ainsi que la vie privée personnelle. Ne partagez pas votre nom d'utilisateur ou votre mot de passe avec d'autres personnes. Toutes les opérations effectuées à partir de votre compte seront considérées comme vos propres actions, et toutes les conséquences en découlant vous seront imputées. Pour plus de détails, voir « Politique de confidentialité ».
Si le bouton de la pièce-jointe n'est pas disponible, mettez à jour Adobe Flash Player à la dernière version.

Connectez-vous pour participer à la communication et au partage

S'identifier
Réponse rapide Accéder au haut de page