JacksonLog

AWS OpenSearch 자동 스냅샷 복원

안녕하세요. 오늘은 최근에 경험했던 AWS OpenSearch에서 자동 스냅샷을 통해 인덱스를 복원하는 방법에 대해 설명해보도록 하겠습니다. 배경 최근 회사에서 어떠한 이유로 인해 Develop 환경의 OpenSearch에서 모든 인덱스가 사라지게 되었습니다. 그래서 구글링을 해 본 결과 수동으로 S3 저장소를 지정하여 스냅샷을 저장하는 글만 발견할 수 있었습니다. 하지만 아마존 공식 페이지를 확인해본 결과 자동으로 생성되는 S3 저장소와 OpenSearch에서 기본으로 제공하는 API를 통해 스냅샷 복원이 가능하다는 것을 알게 되었습니다. 자동 스냅샷과 수동 스냅샷 AWS에서는 OpenSearch의 Cluster Recovery를 위해서 기본으로 자동 스냅샷 기능을 제공하고 있습니다. OpenSearc..

GraphQL 기반 애플리케이션 MSA 여정기 pt.2

안녕하세요. 이전 글에 이어 MSA 도입 여정기 Part. 2를 시작하도록 하겠습니다. 이번 글에서는 도입 과정 및 효과 그리고 개선사항에 대해 살펴보겠습니다. 과정 1. PoC (Proof of Concept) - Apollo Federation 이전 글에서 설명드렸던 요구사항 중 하나인 '프론트에서 변경을 최소화한다'를 달성하기 위해 기존의 GraphQL Schema를 변경하지 않고 기존 동작에도 변화가 없어야 했습니다. 사내 SRE분께서 Apollo Federation을 추천하셨고 로컬에서 간단하게 기술검증을 진행하였습니다. 기존 프로젝트, 분리된 프로젝트, 게이트웨이 이렇게 세개의 프로젝트를 각기 다른 포트에 실행시키고 게이트웨이에서는 두 애플리케이션을 연결하도록 하였습니다. 클라이언트 애플리케이..

GraphQL 기반 애플리케이션 MSA 여정기 pt.1

안녕하세요. 백엔드 엔지니어 잭슨입니다. 작년 한해 태스크 중에 가장 많은 시간을 할애했던 Micro Service Architecture 도입기를 다른 분들에게 도움이 됐으면 하는 마음에 기록으로 남겨봅니다. Why MSA? 저희 회사는 연초 대규모 투자를 받으며 회사의 규모를 확장하였습니다. 그로 인해 스쿼드(목적조직) 단위 조직구조로 개편이 되며 예상치 못한 문제에 봉착하게 되었습니다. 기존에 Mono Repo 구조에서 프론트엔드별 엔드포인트를 두어 사용하고 있었기 때문인데요. 이런 구조로 인해 5개의 스쿼드가 같은 개발주기를 가져가야 했고 또한 한 스쿼드가 준비가 되지 않았을 경우 다른 스쿼드의 블로커가 되는 비효율적인 구조가 되었습니다. 또한 스프린트 막바지에 항상 스쿼드 리드가 모여 배포에 대..

방치된 Spark 프로젝트에 CI/CD 파이프라인 구축기

안녕하세요, 백엔드 엔지니어 잭슨입니다. 오늘은 최근 맡게 된 검색 관련 프로젝트에 CI/CD 파이프라인을 구축하여 프로젝트 관리 및 배포를 개선한 경험을 공유하고자 합니다. 프로젝트 배경 모바일 프로덕트의 홈 화면 개편 스프린트에서 홈 화면 중앙에 위치한 검색 기능의 중요도가 높아짐에 따라 검색 관련 요구사항 및 개선사항이 증가했습니다. 제가 검색 관련 태스크를 맡게 된 후 프로젝트를 파악해본 결과, 다음과 같은 문제점을 발견했습니다. 코드 관리, 버전 관리, 배포 프로세스 등이 체계적으로 관리되지 않아 개발 및 배포에 어려움을 겪고 있었습니다. Production에서는 AirFlow를 통해, 나머지 환경에서는 CronTab을 통해 ElasticSearch에 인덱싱을 하고 있었습니다. 모든 배포 과정을..

✍🏻 2023 회고 Feat. 스타트업 혹한기

안녕하세요. 백엔드 엔지니어 잭슨입니다. 🙋🏻‍♂️ 한 해 동안의 엔지니어로서의 성장과 성과를 돌아보고, 2024에 방향을 설정하고자 이 회고를 작성해봅니다. 2023년은 저에게 정말 다사다난했던 해였던 것 같습니다. 연초에 이직을 하여 처음으로 스타트업 환경에서 일을 하게 되었고 그 동안 경험해보지 못한 많은 기술들을 다뤄볼 수 있었습니다. 또한 개발자 겨울이라는 말이 실감이 날 정도로 회사에서도 많은 일들이 있었던 한 해였습니다. 2023 좋았던 점 🚀 이직 📍 2022년에서 2023년에 대한 목표는 '이직' 단 하나였습니다. 약 10군데에서의 면접을 통해 현재 다니고 있는 헬스케어 플랫폼에 취직하게 되었습니다. 처음에 회사에 들어오기 전 각오는 했었지만 생각보다 많은 부분이 달랐던 것 같습니다.(아..

🚀 NEXTSTEP - TDD, 클린 코드 with Java 회고

NextStep에서 진행하는 TDD, 클린코드 with Java 15기 코스를 수강하고 제가 느낀 소감을 기록하고 추후 강의를 고민하시는 분들에게 도움이 되도록 이렇게 글을 남겨봅니다. 1. 나는 왜 이 과정을 듣게 되었나? 나의 환경 필자에 대해 간략하게 소개하자면 2년차 개발자로 작년 8월부터 프로젝트 하나를 팀원들과 함께 맡게 되었다. 필자가 맡은 프로젝트는 BtoC 프로젝트로, 런칭 전 개발을 진행하였고 런칭 후 현재 유지보수 및 운영업무를 진행하고 있다. 런칭 후 대고객 서비스가 그러하듯 예상치 못한 부분에서 에러가 발생하고 수정하는 경우가 다반사였다. (런칭 초기에는 하루에 한번씩 배포를 진행했다) 잦은 수정이 이뤄지다보니 항상 부수효과를 마주하는 나 자신을 보게 되었다. TDD? 실무 생긴 ..

MDC를 이용해 로그 쉽게 추적하기 : log4j2 보안이슈 및 트랜잭션 아이디 표시

자바의 멀티쓰레드 환경에서 다수의 요청이 들어왔을 때 로그를 쉽게 파악하기는 쉽지 않습니다. 이러한 문제를 해결하고자 Log4j에서 ThreadLocal 기술을 활용한 MDC(Mapping Diagnostic Context)을 제공하고 있습니다. ! 현재 Log4j의 보안이슈로 인해 Log4j의 버젼은 2.15.0 버젼 이상을 추천합니다. Log4j 를 업데이트를 해야 할까? Spring 공식 홈페이지에서 발표된 공식 문서에 의하면 Spring Boot users are only affected by this vulnerability if they have switched the default logging system to Log4J2. The log4j-to-slf4j and log4j-api jar..

MDC를 이용해 로그 쉽게 파악하기 : API Codes

지난 포스팅에서는 MDC(Mapping Diagnostic Context)를 이용하여 트랜잭션에 ID를 생성하고 이를 통해 로그 파악을 쉽게 하는 방법에 대해 기술해보았습니다. 오늘은 아주 조오금 더 쉽게 로그를 파악하기 위해서 MDC Filter를 이용해보도록 하겠습니다.😃 만들게 된 이유 🧐 제가 현재 맡고 있는 프로젝트는 규모가 크진 않지만 실서비스가 이뤄지고 있기 때문에 화면에서 어떤 API를 호출했고 어떤 값을 던져줬는지에 대해 파악하는 경우가 많았습니다. 화면과 저희 서버는 API 정의서를 통해 규격대로 데이터를 교환하고 있으며 각 API에는 API Code가 존재하고 있습니다. 예를 들어 주문은 CCN-001, 주문가능여부 조회 CCN-002 요런식으로 이뤄져 있습니다. API Code가 존..