주키퍼 사용에 따른 제약사항 컨슈머의 오프셋 저장소 전환 카프카 2.0 이전 버전에서는 컨슈머 그룹의 저장소로 주키퍼의 지노드를 이용했음 점점 메시지 수가 늘어나면서 오프셋도 커지고 컨슈머의 숫자도 늘어남에 따라 주키퍼에 대한 부담이 높아짐 결국 2016년에 출시된 카프카 0.10 버전부터 컨슈머의 오프셋 저장소를 카프카의 내부 토픽인 __co...

컨슈머 오프셋 관리 카프카에서는 메시지의 위치를 나타내는 위치를 오프셋(offset)이라고 브루는데, 숫자 형태로 나타냄 컨슈머 그룹은 자신의 오프셋 정보를 카프카에서 가장 안전한 저장소인 토픽에 저장함 즉, _consumer_offsets 토픽에 각 컨슈머 그룹별로 오프셋 위치 정보가 기록됨 컨슈머 기본 동작 컨슈머들은 지정...

파티셔너 카프카의 토픽은 성능 향상을 위한 병렬 처리가 가능하도록 하기 위해 파티션으로 나뉘고, 최소 하나 또는 둘 이상의 파티션으로 구성됨 프로듀서가 카프카로 전송한 메시지는 해당 토픽 내 각 파티션의 로그 세그먼트에 저장됨 프로듀서는 토픽으로 메시지를 보낼 때 해당 토픽의 어느 파티션으로 메시지를 보내야 할지를 결정해야 하는데, 이때...

카프카 리플리케이션 데이터 파이프라인의 메인 허브 역할을 하는 카프카 클러스터가 하드웨어의 문제나 점검 등으로 인해 정상적으로 동작하지 못한다거나, 카프카와 연결된 전체 데이터 파이프라인에 영향을 미친다면 매우 심각한 문제로 발생할 수 있기 때문에 안정성을 확보하기 위해 리플리케이션이 동작하게 된다. 동작 원리 메시지들을 여러 개로...

카프카의 기본 구성 카프카는 데이터를 받아서 전달하는 데이터 버스의 역할을 한다. 프로듀서(Producer) : 데이터(메시지)를 만들어서 주는 쪽 컨슈머(Consumer) : 카프카에서 데이터를 빼내서 소비하는 쪽 주키퍼(zookeeper) : 카프카의 정상 동작을 보장하기 위해 메타데이터를 관리하고, 브로커의 정상상태 점...

실전 카프카 개발부터 운영까지 책을 읽으며 정리한 글입니다. 카프카란? 카프카(Apache Kafka)는 분산 이벤트 스트리밍 플랫폼이다. 쉽게 말하면, 여러 시스템 사이에서 데이터를 빠르고 안전하게 전달해주는 중간 다리 역할을 한다. 탄생 배경 2011년 링크드인(LinkedIn)이 내부 문제를 해결하기 위해 만들었다. 당시 링크드인은 사용...

어텐션의 필요성 RNN은 문장 분석 과정에 왜곡이 생긴다. RNN은 앞 시점의 상태값이 뒤 시점으로 전달되고, 전달된 상태값과 새로운 입력값을 같이 고려해 상태값을 다시 업데이트 하는 구조다. 문제 : 입력되는 데이터가 많을수록 상태값이 갱신되는 횟수도 많아지게 된다. 이렇게 되면 앞쪽에서 입력된 데이터들, 입력 시점이 오래된 데이터들이 ...

자연어 처리 사람 말을 컴퓨터로 처리하는 기술 자연어 처리(Natural Language Processing, NLP)는 사람 말을 정제하고 숫자로 변환해, 컴퓨터가 내용 요약, 분류, 번역, 문장 생성, 질의응답 등을 수행할 수 있도록 한다. 말과 문장은 단어 단위로 쪼개거나 의미를 가진 더 작은 단위인 형태소로 잘게 쪼갤 수 있다...

CNN(Convolutional Neural Network) 이미지 인식의 대표 모델 이미지로부터 의미 있는 정보를 추출하는 기술인 컴퓨터 비전 분야의 대표적 모델 ex) 개와 고양이 사진을 구분하는 인공지능 CNN의 학습 방법 CNN은 학습해야 할 가중치를 ‘가로세로 넓이는 갖는 하나의 작은 면 형태의 세트’로 구성한다. 이걸...

뉴런 뇌세포의 작동 원리를 수식으로 표현해보자 뉴런은 신경세포에 여러 가닥으로 붙어 있는 수상돌기들을 통해 여러 자극 신호들이 신경세포로 들어오고, 축삭은 신경세포가 보내는 자극을 다른 신경세포로 전달하는 역할을 한다. 신경세포로 전달되는 여러 자극값들의 합이 일정 기준을 넘어서면 다음 세포로 전달되고, 못 미치면 그냥 소멸되는...