Huawei FusionInsight - HBase creación de Índice secundario

80 0 0 0

En el siguiente post se muestra cómo crear un índice secundario en una tabla hbase por primera vez o en una existente.


1)       Crea tablas HBase e índices secundarios en función del contenido de los archivos en HDFS

Método uno:

a)      Cree una tabla (tabla de nombre de table 2) y una tabla de índice en hbase y genere hfile

Hbase org.apache.hadoop.hbase.index.mapreduce.IndexImportTsv -Dimporttsv.separator = ',' -Dimporttsv.skip.bad.lines = true -Dtable.column.index = 'c1 => f1: [c1-> String & 3 ] '-Dimporttsv.columns = HBASE_ROW_KEY, f1: c1, f2: c2, f3: c3, f1: c4 -Dimporttsv.bulk.output = / tmp / output / table2 / tmp / bigdata

Nota: / tmp / ouput y / tmp / bigdata son archivos en DHFS, que son datos que necesitan crear tablas e índices secundarios.

b)       asociar hfile con la tabla, incluida la tabla de índice y la tabla de índice

Hbase org.apache.hadoop.hbase.index.mapreduce.IndexLoadIncrementalHFiles / tmp / output / table2

Después de la ejecución, puede ver el archivo de datos en / hbase / data / defalut / table2

Método 2:

Hbase org.apache.hadoop.hbase.index.mapreduce.IndexImportTsv -Dimporttsv.separator = ',' -Dimporttsv.skip.bad.lines = true -Dtable.column.index = 'c1 => f1: [c1-> String & 3 ] '-Dimporttsv.columns = HBASE_ROW_KEY, f1: c1, f2: c2, f3: c3, f1: c4 table3 / tmp / bigdata

Nota 1: Esta declaración creará la tabla y la tabla de índice en hbase, y escribirá los datos en la tabla, usando el método put, de modo que los datos serán más lentos cuando la cantidad sea grande

Nota 2: este comando compara el método a) paso, no hay ningún parámetro Dimporttsv.bulk.output

Nota 3: vaciar 'table3' ---- cepille los datos en el caché, después de la ejecución, puede ver el archivo de datos en / hbase / data / defalut / table3

 

 

2)      Tabla HBase existente, agregando índice secundario

 

Utilice el siguiente comando:

Hbase org.apache.hadoop.hbase.index.mapreduce.TableIndexer -Dtablename.to.index = stu_grad -Dtable.columns.index = 'idx1 => f1: [grade-> String & 7]' 2 1


  • x
  • convención:

Responder

Responder
Debe iniciar sesión para responder la publicación Inicio de sesión | Registrarse

Aviso Aviso: Para garantizar sus legítimos derechos e intereses, la comunidad y los terceros no publicarán contenido que pueda generar riesgos legales a las partes, por ejemplo, pornografía, contenido político, contenido sobre juego, consumo y tráfico de drogas, así como contenido que viole los derechos de propiedad intelectual de terceros, por ejemplo, secretos comerciales, marcas, derechos de autor, patentes y privacidad personal. No comparta su cuenta ni su contraseña con terceros. Todas las operaciones realizadas usando su cuenta se considerarán como sus acciones y todas las consecuencias que estas acciones generen serán responsabilidad suya. Para obtener información detallada, consulte la “ Política de privacidad.”
Si el botón para adjuntar no está disponible, actualice Adobe Flash Player con la versión más reciente
¡Ingresa y disfruta de todos los beneficios para los miembros!

¡Ingresa y disfruta de todos los beneficios para los miembros!

Aterrizaje