개인 저장용 블로그

Kafka란 Kafka는 TCP 네트워크 프로토콜을 통해 통신하는 서버와 클라이언트로 구성된 분산 시스템입니다. 하드웨어, 가상 머신, on-premise 및 클라우드 환경의 컨테이너에 배포 할 수 있고, 세 가지의 주요 기능을 결합하여, end to event streaming을 구현 합니다. Kafka 주요 기능 1. 다른 시스템에서 데이터를 지속적으로 가져오기/내보내기를 포함하여 이벤트 스트림을 publish(write) 및 subscribe(read) 합니다. 2. 이벤트 스트림을 원하는 만큼 내구성 있고 안정적으로 store(저장) 합니다. 3. 이벤트 스트림을 발생 시 또는 소급하여 process(처리) 합니다. Kafka 주요 단어 Server Kafka는 하나 이상의 서버 클러스터로 실행 ..

이번 목차는 RPC 에 대한 내용입니다. 해당 소단원을 간략히 설명하면 클라이언트는는 Request를 Server에 전달하고 Server는 해당 Request를 처리하여 알맞은 결과 값을 다시 클라이언트는에 Response 해주는 방법입니다. 즉, RPC는 원격지에 메시지를 전달해서 결과를 다시 전달 받는 역할을 한다. - Message Properties delivery_mode : 메시지 속성이 persistent, transtient를 표시해주는데 사용됩니다. contend_type : 인코딩의 MIME 유형을 설명하는데 사용됩니다. reply_to : 롤백 큐의 이름을 지정하는데 사용됩니다. correlation_id : RPC 응답을 요청과 상관시키는데 유용합니다. - RPC 동작방식 ㄱ. 클라..

이번 목차는 Topics 에 대한 내용입니다. 이전 소단원에서는 diret exchange를 이용하여 선택적으로 로그를 수신 할 수 있게 하였습니다. diret exchange을 사용하여 시스템을 개선 되었지만 여전히 한계가 있습니다. 여러 기준에 따라 routing을 수행 할 수 없습니다. 해당 소단원에서는 심각도와 기능을 기반으로 로그를 라우팅하는 unix의 svslog 처럼 사용하기 위해 topic을 사용 할 예정입니다. - Topic exchange Topic exchange로 전송된 메시지는 임의의 라우팅 키를 가질 수 없습니다. 점(.) 으로 구분된 단어 목록이어야 합니다. 단어는 무엇이든 될 수 있지만 일반적으로 메시지와 연결된 일부 기능을 지정합니다. 바인딩 키도 같은 형식이어야 합니다. ..

이번 목차는 Routing 에 대한 내용입니다. 이전 소단원에서는 pub/sub를 이용하여 단순한 메시지를 모든 수신자에게 전달 하였습니다. 해당 소단원에서는 Routing 기능을 통해 특정 수신자에게 특정 메시지를 보내는 테스트를 할 예정 입니다. 예를 들어, 앞선 예저의 로깅 시스템에서 Disk Logging 프로그램은 Disk의 용량 절약을 목적으로 Critical한 메세지만 수신하여 파일로 떨구고 싶은 경우에 Routing 기능을 사용 할 수 있습니다. - Bindings 이전 소단원에서 아래와 같은 바인드 코드를 사용했습니다. channel.queue_bind(exchange=exchange_name, queue=queue_name) 바인딩은 매개 변수로 route_key를 사용 할 수 있습니다..