이 글은 NAVER D2에서 게시한 [ NELO Alaska: 대용량 로그 데이터 저장을 위한 Apache Iceberg 도입기 ]를 읽고 작성한 글입니다.(https://d2.naver.com/helloworld/8998207) 배경 로그 모니터링 시스템은 서비스 운영을 위해 반드시 필요한 시스템이다.이러한 로그 모니터링 시스템을 구축할 때는 인덱스 기반의 빠른 검색을 제공하는 Elastic Search 검색 엔진이 주로 사용된다. 네이버도 Elastic Search 기반의 로그 모니터링 시스템을 구축했으며, 수천 대의 서버로 대규모의 로그 데이터를 저장하였다.그러나, 최근 들어 서비스 규모가 확장되고 저장해야 하는 로그 데이터의 규모와 트래픽 양이 급속도로 증가하면서 Elastic Search 기..

메시지 지향 미들웨어 (Message-oriented Middleware, MOM) 메시지 지향 미들웨어 (MOM) : 메시지 API를 통해 분산되어있는 애플리케이션 간의 데이터를 교환할 수 있도록 하는 시스템 비동기적으로 메시지를 전달하고, 수신할 수 있다.즉, 보낸 쪽이 받는 쪽의 응답을 기다릴 필요가 없다.따라서, 즉각적인 응답이 필요하지 않거나, 많은 수의 요청을 동시에 처리해야 하는 환경에서 사용하기에 적합하다. 메시지 큐 (Message Queue, MQ) 메시지 큐 (MQ) : 메시지 지향 미들웨어를 구현한 시스템Producer (발행자) : 메시지 큐로 메시지를 전송한다.Consumer (수신자) : 메시지 큐로부터 메시지를 받아온다.발행자와 수신자 사이에서 메시지 큐가 중개 역할을 수행..