#apache-kafka

[geeksmexico]

Kafka streams: Primera aplicación con Kafka streams

Kafka streams: Primera aplicación con Kafka streams #streaming #brokers #clustering #realtime #kafka #zookeeper

El primer ejemplo que escribiremos será una topología que leerá mensajes de un topic de Kafka y contará el número de palabras en el mismo emitiendo el resultado a un topic de salida, para hacerlo se realizarán las siguientes operaciones:

Lee un mensaje de kafka

Transforma el mensaje en minúsculas

Separa el mensaje por espacios en un arreglo de Strings

Selecciona la palabra como una llave

Agrupa…

View On WordPress

[geeksmexico]

Apache Kafka: Producers

El punto más importante al utilizar Apache Kafka es el envío y consumo de mensajes, en este post explicaremos como funcionan los producers y consumers, si tienes dudas sobre como instalar tu cluster de kafka te recomendamos el post Primeros pasos con Apache Kafka en Español !.

Producers

Un producer es un componente que escribe mensajes en un topic, para poder hacerlo requiere de la siguiente…

View On WordPress

[geeksmexico]

Apache Kafka : Brokers y réplica de datos

En el post anterior hablamos sobre el ecosistema de Apache Kafka en el post Apache Kafka: El ecosistema y los conceptos básicos, ahora es el turno de hablar de brokers y replicación de datos.

Brokers

Un cluster de Apache Kafka se compone de multiples brokers (servidores), cada uno de ellos contiene un id y  particiones. Una vez que te conectas a un broker, estarás conectado al cluster completo.

U…

View On WordPress

[pugmarx]

A 'Kafka > Storm > Kafka' Topology gotcha

A ‘Kafka > Storm > Kafka’ Topology gotcha

If you’re trying to make a Kafka <-> Storm topology work, and are going bonkers over your recipient topic not receiving any damn thing, here’s the secret:

The defaultorg.apache.storm.kafka.bolt.KafkaBolt implementation expects only a single key field from the upstream (Bolt/Spout)

If you’re tieing your KafkaBoltto aKafkaSpout, you’ve got to use the internal name:str

However, if you have an…

View On WordPress