https://gabaljaintheroom.github.io/개발자로서의 로그를 남깁니다. 2026-06-21T09:25:48+00:00 junsu https://gabaljaintheroom.github.io/ Jekyll © 2026 junsu /assets/img/favicons/favicon.ico /assets/img/favicons/favicon-96x96.png 2026-06-20T15:00:00+00:00 2026-06-20T15:00:00+00:00 https://gabaljaintheroom.github.io/posts/Kafka/ junsu

실전 카프카 개발부터 운영까지 책을 읽으며 정리한 글입니다. 카프카란? 카프카(Apache Kafka)는 분산 이벤트 스트리밍 플랫폼이다. 쉽게 말하면, 여러 시스템 사이에서 데이터를 빠르고 안전하게 전달해주는 중간 다리 역할을 한다. 탄생 배경 2011년 링크드인(LinkedIn)이 내부 문제를 해결하기 위해 만들었다. 당시 링크드인은 사용자 행동 로그, 서버 메트릭, 데이터베이스 변경 이력 등을 여러 시스템이 제각각 주고받고 있었다. 시스템이 늘어날수록 연결이 복잡해져 마치 스파게티처럼 얽혔고, 하나가 느려지면 연결된 모든 곳이 영향을 받았다. [개선 전] 시스템끼리 직접 연결 A → B A → C B → D C → D → 연결이 늘수록 복잡도가 폭발적으로 증가 [개선 후] Kaf...

2026-06-13T15:00:00+00:00 2026-06-13T15:00:00+00:00 https://gabaljaintheroom.github.io/posts/AI-5/ junsu

어텐션의 필요성 RNN은 문장 분석 과정에 왜곡이 생긴다. RNN은 앞 시점의 상태값이 뒤 시점으로 전달되고, 전달된 상태값과 새로운 입력값을 같이 고려해 상태값을 다시 업데이트 하는 구조다. 문제 : 입력되는 데이터가 많을수록 상태값이 갱신되는 횟수도 많아지게 된다. 이렇게 되면 앞쪽에서 입력된 데이터들, 입력 시점이 오래된 데이터들이 만들었던 상태값은 자꾸 희석돼 영향력이 낮아지는 현상이 발생한다. EX) 지금 / 알고 / 있는 / 걸 / 그때도 / 알었더라면 / 조금 / 더 / 현명하게 / 살 / 수 / 있었을 / 텐데 가장 먼저 입력된 ‘지금’은 거의 잊혀 영향을 적게 미치고, 가장 최신인 ‘있었을’은 지나치게 크게 영향을 미치는 상황이 발생한다. 장문일수록 심하게 발생할...

2026-06-13T15:00:00+00:00 2026-06-14T08:26:18+00:00 https://gabaljaintheroom.github.io/posts/AI-4/ junsu

자연어 처리 사람 말을 컴퓨터로 처리하는 기술 자연어 처리(Natural Language Processing, NLP)는 사람 말을 정제하고 숫자로 변환해, 컴퓨터가 내용 요약, 분류, 번역, 문장 생성, 질의응답 등을 수행할 수 있도록 한다. 말과 문장은 단어 단위로 쪼개거나 의미를 가진 더 작은 단위인 형태소로 잘게 쪼갤 수 있다. 자연어 처리에서는 이렇게 잘게 쪼갠 하나하나를 토큰(token)이라 부른다. 토큰은 일반적으로 사람 말을 컴퓨터로 처리하는 기본 단위다. 사람 말 -> 숫자로 변환 토큰들을 쭉 나열해 일련번호를 매긴 후, 실제 문자 대신 이 번호들을 사용해 진행하고, 모든 처리가 완료되면 산출된 결과를 다시 문자로 바꿔 출력한다. 인덱싱 : 토...

2026-06-08T15:00:00+00:00 2026-06-08T15:00:00+00:00 https://gabaljaintheroom.github.io/posts/AI-3/ junsu

CNN(Convolutional Neural Network) 이미지 인식의 대표 모델 이미지로부터 의미 있는 정보를 추출하는 기술인 컴퓨터 비전 분야의 대표적 모델 ex) 개와 고양이 사진을 구분하는 인공지능 CNN의 학습 방법 CNN은 학습해야 할 가중치를 ‘가로세로 넓이는 갖는 하나의 작은 면 형태의 세트’로 구성한다. 이걸 가중치 집합으로 본다. 가중치 집합을 CNN에서는 필터라 부르는데, 이 필터가 주어진 이미지를 스캐닝해서 각 화소가 갖는 특성을 주변 화소돌의 특성과 함께 학습한다. 그림2에서는 3X3 크기의 필터로 스캐닝하고, 필터의 칸 수가 9개이므로, 가운데 화소를 중심으로 주변 8개 화소들의 특성이 하나의 특성값으로 만들어진다. 필터가 읽어낸 특...

2026-06-07T15:00:00+00:00 2026-06-07T15:00:00+00:00 https://gabaljaintheroom.github.io/posts/AI-2/ junsu

뉴런 뇌세포의 작동 원리를 수식으로 표현해보자 뉴런은 신경세포에 여러 가닥으로 붙어 있는 수상돌기들을 통해 여러 자극 신호들이 신경세포로 들어오고, 축삭은 신경세포가 보내는 자극을 다른 신경세포로 전달하는 역할을 한다. 신경세포로 전달되는 여러 자극값들의 합이 일정 기준을 넘어서면 다음 세포로 전달되고, 못 미치면 그냥 소멸되는 방식으로 작동한다. 이 메커니즘을 기계로도 만들어 볼 수 있지 않을까?? 퍼셉트론 뉴런의 작동 방식을 인위적으로 모방한 모듈 여러 자극이 입력되는 것을 각각 하나의 변수로 생각해 w1x1, w2x2 … 의 형식으로 입력을 받고, 이를 합친 후 출력으로 보낸다. 이 출력값이 일정값 이상이면 다음 셀로 전달하고, 그렇지 않으면 출...