반응형 카프카2 카프카(Kafka)의 기본 개념 카프카를 학습하기 전에 왜 카프카를 사용하는지 궁금해서 카프카의 탄생부터 알아보았다. 카프카(kafka)의 탄생 2011년, 구인/구직 및 동종업계의 동향을 살펴볼 수 있는 소셜 네트워크 사이트인 '링크드인(LinkedIn)'에서 출발한 기술로 파편화된 데이터를 수집 및 분배 아키텍처를 운영하는데 큰 어려움을 겪었다.데이터를 생성하고 적재하기 위해서는 데이터를 생성하는 소스 애플리케이션과 데이터가 최종 적재되는 타깃 애플리케이션을 연결해야 한다.초기 운영 시에는 단방향 통신을 통해 소스 애플리케이션과 타깃 애플리케이션으로 연동하는 소스코드를 작성했고 아키텍처가 복잡하지 않았으므로 운영에 문제가 없었으나 시간이 지날수록 아키텍처는 거대해지고 소스 애플리케이션과 타깃 애플리케이션의 개수가 점점 많아지면서 .. 2024. 2. 11. Kafka와 MongoDB를 연동하는 자바 애플리케이션 구축 가이드 이 글에서는 프로듀서 애플리케이션에서 카프카 토픽에 메시지를 전송하고 컨슈머는 메시지를 MongoDB에 적재하는 과정을 실습한다. Docker는 리눅스를 기반으로 하기때문에 윈도우 환경에서 리눅스를 사용할 수 있도록 도와주는 WSL2 ( Windows Subsystem for Linux 2 )를 활성화하고 리눅스 우분투와 도커를 설치 이후 과정을 실습했다. 1. Docker-Compose.yml 작성 도커 컨테이너에 카프카와 주키퍼를 실행하기 위해 Docker-Compose.yml 을 작성한다. version: '3.8' services: zookeeper: image: wurstmeister/zookeeper:latest ports: - "2181:2181" # 주키퍼의 기본 포트 2181 kafka:.. 2024. 2. 10. 이전 1 다음 반응형
