Cómo definir la fila de datos.

65 0 0 0

1. Coloque los datos en el HDFS.

 

HDFS DFS-mkdir < inputDir >

 

HDFS DFS-Put < local_data_file > < inputDir >

 

 

2. Create y define Configuration. Xml.

3. Detalles sobre cómo definir filas de datos inaplicables son los siguientes.


114540v53fojgyaimetdza.png


4. Ejecute el siguiente comando para hacer que la configuración de Configuration. XML tome efecto:

 

$ bin/HBase com. Huawei. Hadoop. HBase. Tools. bulkload. ImportData

 

-DIMPORT. SKIP. Bad. Lines = false

 

-DIMPORT. Bad. Lines. Output = </path/badlines/Output >

 

-DIMPORT. hfile. Output = </ruta/for/Output > < configuración xmlfile > < TableName > < inputDir >

El -DIMPORT. SKIP. Bad. Lines: Si este parámetro se establece en falso, el comando se detendrá en una fila inaplicable. Si este parámetro se establece en verdadero, el comando omitirá la fila inaplicable y continuará ejecutándose.

El -DIMPORT. Bad. Lines. Output = </path/badlines/Output >: indica la ruta de salida de las filas de datos inaplicables.

El -DIMPORT. hfile. Output = </path/for/Output >: indica la ruta de salida de los resultados de la ejecución.

El < configuración xmlfile >: indica el archivo de configuración.

El < TableName >: indica el nombre de la tabla que se debe utilizar.

El < inputDir >: indica el directorio donde se cargan los datos en lotes.

 

 

5. Ejecute el comando para importar HFile a HBase. Tiene dos formas de importar:

El Importar datos sin índice secundario.

./HBase org. apache. Hadoop. HBase. index. MapReduce. LoadIncrementalHFiles </path/for/Output > < TableName >

 

El Importar datos con el índice secundario, necesitamos asegurar que la división de la región no ocurrirá durante el proceso de bulkload.

Si los datos necesarios para importar superan el tamaño máximo predeterminado de una región, la división de región vendrá. Por lo que podemos establecer el tamaño máximo de región estableciendo el valor de HBase. hRegion. Max. filesize parámetro en fusioninsight Manager.

 

./HBase org. apache. Hadoop. HBase. index. MapReduce. IndexLoadIncrementalHFiles </path/for/Output > < TableName >


  • x
  • convención:

Responder

Responder
Debe iniciar sesión para responder la publicación Inicio de sesi | Registrarse

Aviso: Para garantizar sus legítimos derechos e intereses, la comunidad y los terceros no publicarán contenido que pueda generar riesgos legales a las partes, por ejemplo, pornografía, contenido político, contenido sobre juego, consumo y tráfico de drogas, así como contenido que viole los derechos de propiedad intelectual de terceros, por ejemplo, secretos comerciales, marcas, derechos de autor, patentes y privacidad personal. No comparta su cuenta ni su contraseña con terceros. Todas las operaciones realizadas usando su cuenta se considerarán como sus acciones y todas las consecuencias que estas acciones generen serán responsabilidad suya. Para obtener información detallada, consulte la “ Política de privacidad.”
Si el botón para adjuntar no está disponible, actualice Adobe Flash Player con la versión más reciente

¡Ingresa y disfruta de todos los beneficios para los miembros!

Aterrizaje
Respuesta rápida Desplácese hasta arriba