15호의 개발자

Avro란? JSON과 Avro의 차이 (아브로, 에이브로) 직렬화 / 역직렬화 (Serialization, Deserialization) Avro에 대해서 알기 전에 우선 직렬화와 역직렬화가 무엇인지에 대해 먼저 알고있어야 한다. 디스크에 데이터를 저장하거나, 네트워크로 데이터를 전송하려면 객체를 직렬화한 후 사용해야한다. 직렬화(serialization)란 객체를 전송 가능한 형태로 만드는 것으로써, 데이터를 연속적인 형태로 변형하는 것이다. 반대로, 디스크에 저장된 데이터를 읽거나, 네트워크를 통해 전송된 데이터를 받아서 메모리에 재구축 하려면 다시 객체 형태로 만들어야하며 이 과정을 역직렬화(deserialization)라고 한다. Avro란? Avro(에이브로, 아브로)는 Apache에서 만든 ..

[Kafka] 아파치 카프카 스트림즈란? (Apache Kafka Streams) 아파치 카프카 스트림즈 카프카는 분산 이벤트 스트리밍 플랫폼으로써, 프로듀서와 컨슈머를 사용해서 데이터를 보내고 가져와서 처리할 수 있다. 수많은 국내외 기업에서 카프카를 사용하고 있으며, 자바/고랭/파이썬과 같은 언어들을 사용해서 프로듀서와 컨슈머를 개발하고 있다. 하지만 컨슈머를 사용해서 데이터를 처리하는 것보다 더 안전하고 빠르면서도 다양한 기술을 사용할 수 있는 것이 있다. 바로 '카프카 스트림즈Kafka Streams'이다. 카프카 스트림즈는 카프카에서 공식적으로 제공하는 자바 라이브러리로써, 토픽에 있는 데이터를 낮은 지연과 빠른 속도로 처리할 수 있다. 스트림즈는 라이브러리로 제공되는 것이므로, 자바/스칼라/코..

Confluent Cloud Kafka란? (아파치 카프카 vs 컨플루언트 카프카) 대량의 데이터를 다룬다면 카프카가 거의 필수라고 말할 만큼, 카프카는 요즘 대세이다. 하지만 카프카를 실제로 운영하는 데에는 많은 노하우가 필요하다. 토픽 삭제 정책, bootstrap(부트스트랩) 접근 권한 등과 같은 운영 이슈는 노하우가 없다면 시행착오를 많이 겪어야 되는 과정이다. 이러한 시행착오와 운영성 이슈를 해결하고 싶다면, 아래의 SaaS 카프카 플랫폼이 도움이 될 것이다. 카프카에 대한 기본 개념은 아래 글을 참고하면 좋다. [Kafka] 카프카 기본 개념_1 (브로커, 프로듀서, 컨슈머, 메시지 + 주키퍼) [Kafka] 카프카 기본 개념 및 간단한 설명 카프카란? 카프카(Kafka) 또는 카프카 클러스터..