kafka2 아파치 카프카 개발 AWS에 카프카 클러스터 설치 및 실행 1. AWS ec2 3대를 준비하고 각각 접속한다. 2. 각 인스턴스에서 jdk를 설치한다. yum install java-1.8.0-openjdk-devel.x86_64 3. 각 인스턴스에서 주키퍼를 다운받는다. wget https://dlcdn.apache.org/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9-bin.tar.gz 4. 각 인스턴스에서 다운받은 주키퍼의 압축을 풀어준다. tar xvf apache-zookeeper-3.5.9-bin.tar.gz 5. 주키퍼 앙상블을 구축하기 위해서 각 서버마다 주키퍼 설정을 해준다. cd apache-zookeeper-3.5.9-bin/conf 위 경로에 들어가서 zoo.c.. 2022. 1. 25. 아파치 카프카(Apache Kafka) 기초 Before Kafka 소스 앱과 타켓 앱 간 데이터 전송 라인이 매우 많아짐 -> 배포와 장애에 대응하기 어려움 프로토콜과 데이터 포맷의 다양화 -> 변경사항 유지보수가 어려움 Kafka Feature 소스 앱과 타켓 앱의 결합도를 낮추기 위해 사용 카프카 내부에 위치한 각종 토픽(=큐)에 데이터를 넣는 역할은 프로듀서가 수행하고, 데이터를 가져가는 역할은 컨슈머가 수행 데이터 흐름에 있어서 서버가 이슈가 생기는 상황에서도 데이터를 손쉽게 복구 가능 토픽 카프카에서는 토픽을 여러 개 생성할 수 있음 데이터베이스의 테이블이나 파일시스템의 폴더와 유사 파티션이 하나일 경우 하나의 큐는 여러 개의 파티션을 가질 수 있고, 하나의 파티션은 큐와 같이 내부에 데이터가 차곡차곡 쌓임 컨슈머는 가장 오래된 데이터부.. 2022. 1. 19. 이전 1 다음
