i-mini

[Kafka #2] 카프카 프로듀서

프로듀서란?프로듀서는 어플리케이션에서 Kafka로 메세지를 발행(produce)하는 역할을 수행한다.프로듀서는 특정 토픽에 전송하고, 카프카 브로커가 이를 파티션단위로 저장한다.이벤트 스트리밍(사용자행동기록)/ 성능 매트릭 기록/ 로그수집/ 실시간 데이터 파이프라인에 사용된다. 프로듀서에서 생성하는 메세지는 키-밸류 형식이다.어플리케이션 코드에서 이벤트/데이터를 메세지 객체로 생성하고, 메세지가 전송될 토픽을 지정한다.이때, 메세지의 키는 어떤 파티션으로 전송될지 지정된다. (키가 없으면 라운드로빈)메세지를 브로커에 전송할때는 크게 동기/비동기 방식이 있지만, 보통 비동기 전송 방식을 사용한다.Fire and forget: 메세지 전송만하고 확인 안함Synchronous send: 메세지 동기전송 ( s..

개요Kafka는 설계할 때 Commit Log 개념을 시스템 전체 아키텍처에 적용함토픽의 파티션 = 일종의 Commit Log : 메시지가 오면 뒤에 차곡차곡 추가(Append)만 하고, 절대 지우거나 덮어쓰지 않음오프셋(Offset) = 커서(cursor): 메시지를 읽는 소비자(Consumer)는 “내가 어디까지 읽었는지”를 오프셋으로 기억함(데이터는 그대로 두고, 읽는 쪽 위치만 바꾸는 구조)재처리(Replay): 소비자가 오프셋을 옛날로 되돌리면, 같은 로그를 다시 읽으면서 과거 이벤트를 재현할 수 있음 (데이터 파이프라인이나 장애 복구에 매우 유용)내구성과 복제Commit Log는 보통 분산 시스템에서 “진실의 원본(Source of Truth)” 역할을 함Kafka도 여러 브로커에 파티션을 복..

Docker Desktop, orbstack은 기업환경에서 사용할 수 없어서 완전무료인 Colima를 사용하여 Docker 개발환경을 구성한다.macOS에서는 Docker Engine이 macOS에서 직접 동작하지 않음• Docker의 핵심인 Docker Engine (dockerd)는 리눅스 커널 기능에 의존함 (예: cgroups, namespaces 등)• macOS는 리눅스 커널이 아니기 때문에 Docker Engine을 직접 실행할 수 없음• 그래서 Linux 가상 머신(VM) 위에서 Docker Engine을 실행해야 함. 이때 Colima 사용. 패키지설명dockerDocker CLI 도구 (도커 명령어 사용)colimaDocker Engine을 실행할 macOS용 경량 VM 설치brew i..

📌 개요⚠️ 주의: 이번 실습은 비용이 들어갑니다. (AWS/GoogleWorkSpace/Domain..)Google Workspace를 그룹웨어로 사용하는 환경에서는 Google 계정을 중심으로 다양한 서비스에 접근할 수 있도록 구성할 수 있다. 이때, Google Workspace를 직접 사용하는 것도 가능하지만, 중앙 인증 및 인가 솔루션인 Keycloak을 중간에 두고 구성하면 다음과 같은 장점이 있다.통합 사용자 및 그룹 관리• Google Workspace의 사용자 정보를 Role 또는 Group 단위로 다양한 서비스에 대한 접근 제어를 통합 관리할 수 있음중앙 권한 제어 및 유연한 확장성• “dev팀”, “infra팀”과 같이 그룹을 구성하고, 그룹별로 접근 가능한 AWS 계정이나 Argo..

📌 개요 LDAP이란? * 참고자료: https://www.okta.com/identity-101/what-is-ldap/LDAP(Lightweight Directory Access Protocol)이란, 디렉터리 서비스를 위한 프로토콜이다.일반적으로 회사에서 부서 및 사용자를 관리하기 위해 사용하며, 사용자/그룹/권한 등의 정보를 저장 및 조회 할 수 있다.dc=example,dc=org (회사) ├── ou=Development (개발부서) │ ├── cn=developer1 │ └── cn=developer2 ├── ou=Sales (영업부서) │ ├── cn=sales1 │ └── cn=sales2 └── ou=HR (인사부서) ├..

1️⃣ 개요Keycloak은 사용자 인증과 권한관리를 위한 Identity And Access management 솔루션이다.IAM 솔루션으로써 SSO(SingleSignOn), 사용자 Federation 등의 기능을 위해서는 세션 및 토큰 관리를 이해하는것이 매우 중요하다.이번 포스팅에서는 Keycloak의 세션 및 토큰 관리에 대해 다뤄보려고 한다.들어가기전에 세션과 토큰에 대한 아주 간단한 개념 정리를 해보자.구분세션 (인증)토큰 (인증+인가)기본 개념서버에 저장되는 사용자 상태 정보클라이언트와 서버 간의 지속적인 연결 상태서버 측에서 메모리나 데이터베이스에 저장됨클라이언트에 저장되는 인증 및 권한 증명서자체적으로 필요한 정보를 포함하는 데이터 조각주로 클라이언트 측에서 관리됨저장 위치서버 측에 저..

📌 개요📎 공식문서 링크인증은 Client(사람/기기/애플리케이션 등)의 신원을 검증하는것을 말한다.Keycloak은 OAuth2.0 기반의 인증/인가 프로세스를 가지고 있고, Keycloak에서의 인증은 어떻게 사용할 수 있는지 어떤 기능이 있는지 살펴보고자 한다. 📌 인증 흐름 (Authentication flows) 📎 공식문서 링크 인증 흐름이란?인증 흐름이란 클라이언트가 시스템에 접근할 때 거치는 인증 단계의 순서와 방법을 정의한 것을 말한다.Keycloak에서는 인증 흐름을 재사용 할 수 있도록 Template 형태로 정의할 수 있다.Keycloak에서 인증을 어떻게 수행할지 그 방법과 순서를 Authentication Flow로 정의하고,정의된 Authentication Flow를..

들어가기전에, *https://www.keycloak.org/server/configuration-production Keycloak은 수백~수천명의 사용자에게 안전한 인증 및 권한부여를 제공할 수 있도록 설계되어있다.안전하고 안정적인 Keycloak을 프로덕션 환경에 배포하기 위해 설정해야 할 부분들을 확인 해 보자.  1. Keycloak의 Hostname 설정* 공식문서: https://www.keycloak.org/server/hostname ✓ Hostname을 설정해야하는 이유keycloak은 보안상의 이유로 hostname 설정을 필수로한다.▪︎ 설명Keycloak은 OIDC Discovery 엔드포인트, 사용자 비밀번호 변경 엔드포인트 등의 URL이 외부로 공개된다.이때, hostname이..

개요, 인가란 무엇인가? 들어가기 전에 인가(Authorization)이 무엇인지 한번 더 개념을 정리해보자.인가는 "이 사용자가 특정 리소스나 기능에 접근할 권한이 있는지 확인하는 과정"이다.예를들자면 어떤 사용자가 ID/PW를 입력하고 사진첩 어플리케이션에 로그인했다면, 사용자 본인의 사진첩에만 접근 가능해야하며 다른 사용자의 사진첩에는 접근해서는 안된다.구분개념예시인증Authentication누구인지 확인하는 과정로그인인가Authorization무엇을 할 수 있는지 확인하는 과정내 사진첩에만 접근 즉, 인가란 사용자가 허용된 리소스에만 접근하도록 하는것이 인가의 개념이다.인가를 위해 고려해야하는 요소는 정말 많다.사용자 컨텍스트 (Who): 사용자 신원, 역할, 그룹, 속성, 조직 구조 내 위치리..

참고자료책: https://www.yes24.com/Product/Goods/122459785테스트 소스코드: https://github.com/PacktPublishing/Keycloak---Identity-and-Access-Management-for-Modern-Applications-2nd-Edition 통합 방식 설명 Keycloak과 애플리케이션을 통합할 때,  Embedded와 Proxied 방식이 있다. 각 방법은 애플리케이션의 구조와 보안 요구 사항에 따라 선택할 수 있다.구분EmbeddedProxied설명애플리케이션 코드 내에서 Keycloak 어댑터를 직접 사용하여 인증 및 권한 부여를 처리한다.역방향 프록시를 사용하여  Keycloak과의 통신을 처리하는 역방향 프록시를 설정하여 애..