728x90 Apache Kafka3 Kafka 의 동작 원리 Kafka 의 동작 방식 주요 개념 Kafka 의 동작 방식에는 주요한 개념이 존재합니다. 주요 개념을 한 가지씩 알아보겠습니다. Producer & 컨슈머의 분리 카프카의 Producer와 Consumer는 완전 별개로 동작합니다. Producer는 브로커의 토픽에 메세지를 카프카 게시하기만 하고 Consumer는 브로커의 특정 토픽에서 메세지를 가져와 처리하기만 합니다. Push &Pull 카프카 클러스터를 중심으로 Producer 와 컨슈머가 데이터를 push & pull 하게 됩니다. Producer와 Consumer는 각기 다른 프로세스에서 비동기로 동작하며 Consumer는 풀 모델을 기반으로 메세지 처리를 진행하는데 Consumer 가 필요시 브로커로부터 메세지를 가져와 처리하는 형태로 효율.. 2022. 12. 6. Apache Kafka 란? Apache Kafka 카프카란 무엇일까요? 카프카는 대용량 실시간 스트리밍 데이터 처리를 위해 사용하는 메시징 시스템이에요. Pub-Sub모델 구조를 이용하고 있습니다. Pub-Sub 모델이란 Publish/Subscribe( 발행/구독 )의 줄임말로 메시지 기반의 미들웨어 시스템입니다. publisher 는 어떤 subscriber 가 있는지 모르는 상태에서 topic 을 통해 메시지를 카테고리화 하여 전송합니다. 반대로 subscriber 는 publisher 에 대한 정보 없이 자신의 Interest 에 맞는 메시지만을 전송받습니다. 그럼 카프카는 어떤 영역에서 활용될 수 있을까요? 아래에서 알아보겠습니다. Kafka 활용 사례 증권 거래소, 은행, 보험 등에서 실시간으로 결제 및 금융 거래를 처.. 2022. 12. 6. Apache Ranger 란? Apache Ranger 란 무엇이고 왜 사용할까? Apache Ranger 는 Hadoop 플랫폼 전반에 걸쳐 보안을 활성화, 모니터링 및 관리하는 프레임워크입니다. 그런데 각각의 서비스 별로 권한 관리가 가능한데 왜 Apache Ranger 를 사용하는 걸까요? 그 이유는 역할 혹은 속성 기반의 접근 제어 등 일관성 있는 보안 정책의 정의, 관리 및 운영이 가능하도록 중앙화 된 프레임워크를 제공하기 때문입니다. Ranger 지원 프로젝트 Ranger는 아래와 같은 서비스들에 대하여 권한 관리를 지원합니다. Apachce Hadoop Apachce Hive Apachce Hbase Apachce Storm Apachce Knox Apachce Solr Apachce Kafka Apachce Nifi Y.. 2022. 12. 6. 이전 1 다음 728x90
