실전 카프카 개발부터 운영까지 책을 읽으며 정리한 글입니다. 카프카란? 카프카(Apache Kafka)는 분산 이벤트 스트리밍 플랫폼이다. 쉽게 말하면, 여러 시스템 사이에서 데이터를 빠르고 안전하게 전달해주는 중간 다리 역할을 한다. 탄생 배경 2011년 링크드인(LinkedIn)이 내부 문제를 해결하기 위해 만들었다. 당시 링크드인은 사용...

어텐션의 필요성 RNN은 문장 분석 과정에 왜곡이 생긴다. RNN은 앞 시점의 상태값이 뒤 시점으로 전달되고, 전달된 상태값과 새로운 입력값을 같이 고려해 상태값을 다시 업데이트 하는 구조다. 문제 : 입력되는 데이터가 많을수록 상태값이 갱신되는 횟수도 많아지게 된다. 이렇게 되면 앞쪽에서 입력된 데이터들, 입력 시점이 오래된 데이터들이 ...

자연어 처리 사람 말을 컴퓨터로 처리하는 기술 자연어 처리(Natural Language Processing, NLP)는 사람 말을 정제하고 숫자로 변환해, 컴퓨터가 내용 요약, 분류, 번역, 문장 생성, 질의응답 등을 수행할 수 있도록 한다. 말과 문장은 단어 단위로 쪼개거나 의미를 가진 더 작은 단위인 형태소로 잘게 쪼갤 수 있다...

CNN(Convolutional Neural Network) 이미지 인식의 대표 모델 이미지로부터 의미 있는 정보를 추출하는 기술인 컴퓨터 비전 분야의 대표적 모델 ex) 개와 고양이 사진을 구분하는 인공지능 CNN의 학습 방법 CNN은 학습해야 할 가중치를 ‘가로세로 넓이는 갖는 하나의 작은 면 형태의 세트’로 구성한다. 이걸...

뉴런 뇌세포의 작동 원리를 수식으로 표현해보자 뉴런은 신경세포에 여러 가닥으로 붙어 있는 수상돌기들을 통해 여러 자극 신호들이 신경세포로 들어오고, 축삭은 신경세포가 보내는 자극을 다른 신경세포로 전달하는 역할을 한다. 신경세포로 전달되는 여러 자극값들의 합이 일정 기준을 넘어서면 다음 세포로 전달되고, 못 미치면 그냥 소멸되는...

인공지능 구조 원리 교과서 책을 읽고 이해한 인공지능의 기초 지식 글 입니다. 빅데이터와 인공지능 머신러닝도 데이터를 활용하는 방법 중 하나이다. 빅데이터는 패러다임(어떤 한 시대 사람들의 견해나 사고를 근본적으로 규정하고 있는 테두리로서의 인식 체계)에 대한 이야기이지 기술적 물리적 관점에서 ‘데이터양’을 논하는 주제가 아니다. ...