Producción de datos Kafka

59 0 0 0

Esta publicación se refiere a la producción de datos de Kafka. Más detalles se encuentran a continuación.

 

1. Introducción a Kafka

 

Desarrollado originalmente por Linkedin, Kafka es un sistema de registro distribuido, particionado, multicopia, multisuscriptor y distribuido basado en ZooKeeper.

 

También se puede usar como un sistema MQ. Kafka se usa principalmente en dos tipos de aplicaciones:

 

1. Construir un canal de flujo de datos en tiempo real entre aplicaciones;

 

2. Construya aplicaciones de transmisión en tiempo real para transmitir o procesar transmisiones de datos.

 

kafkadata1

2. Realización básica de los productores.

 

2.1. Esquema

 

kafkadata2

2.2. Implementación específica

 

2.2.1. Modo disparar y olvidar

 

Después de enviar un mensaje, el programa lógico no necesita verificar si el mensaje se envió con éxito. Este es el modo de escritura predeterminado. Depende de la alta disponibilidad de la API del productor (el reintento se realiza después de configurar los parámetros relacionados). Por defecto, se utiliza la transmisión asincrónica de alto rendimiento. En la mayoría de los casos, los datos serán exitosos, pero también habrá fallas.

 

kafkadata3



Enlace relacionado:


Características de Kafka en Big Data


  • x
  • convención:

Comentar

Responder
Debe iniciar sesión para responder la publicación Inicio de sesión | Registrarse

Aviso Aviso: Para garantizar sus legítimos derechos e intereses, la comunidad y los terceros no publicarán contenido que pueda generar riesgos legales a las partes, por ejemplo, pornografía, contenido político, contenido sobre juego, consumo y tráfico de drogas, así como contenido que viole los derechos de propiedad intelectual de terceros, por ejemplo, secretos comerciales, marcas, derechos de autor, patentes y privacidad personal. No comparta su cuenta ni su contraseña con terceros. Todas las operaciones realizadas usando su cuenta se considerarán como sus acciones y todas las consecuencias que estas acciones generen serán responsabilidad suya. Para obtener información detallada, consulte la “ Política de privacidad.”
Si el botón para adjuntar no está disponible, actualice Adobe Flash Player con la versión más reciente
¡Ingresa y disfruta de todos los beneficios para los miembros!

¡Ingresa y disfruta de todos los beneficios para los miembros!

Inicia sesión