JacksonLog

AWS EC2 part.2 Elastic IP EC2 인스턴스를 중지 후 다시 시작하는 경우 Public IP가 변경될 수 있는데, 이러한 IP 변경을 원하지 않는 경우 Elastic IP를 생성하여 IP를 고정할 수 있다. IPv4로 이루어져 있으며 지우기 전까지 사용자는 IP를 소유한다. 하나에 인스턴스에만 부여할 수 있다. 하나의 인스턴스에서 Failure가 발생할 경우 빠르게 다른 인스턴스에 리맵핑해줄 수 있다. - 빈번한 경우는 아님 1개의 AWS 계정은 최대 5개의 Elastic IP를 가질 수 있다. 결론적으로 사용하는 것이 권장되지는 않으며 Route 53을 통한 DNS 할당이 더 좋은 프랙티스이다. Placement Groups(배치 그룹) EC2 생성시 어디에 배치할지에 대한 전략 Cl..

Programming/AWS 2024. 3. 31. 20:48

안녕하세요. 오늘은 최근에 경험했던 AWS OpenSearch에서 자동 스냅샷을 통해 인덱스를 복원하는 방법에 대해 설명해보도록 하겠습니다. 배경 최근 회사에서 어떠한 이유로 인해 Develop 환경의 OpenSearch에서 모든 인덱스가 사라지게 되었습니다. 그래서 구글링을 해 본 결과 수동으로 S3 저장소를 지정하여 스냅샷을 저장하는 글만 발견할 수 있었습니다. 하지만 아마존 공식 페이지를 확인해본 결과 자동으로 생성되는 S3 저장소와 OpenSearch에서 기본으로 제공하는 API를 통해 스냅샷 복원이 가능하다는 것을 알게 되었습니다. 자동 스냅샷과 수동 스냅샷 AWS에서는 OpenSearch의 Cluster Recovery를 위해서 기본으로 자동 스냅샷 기능을 제공하고 있습니다. OpenSearc..

Programming/AWS 2024. 3. 24. 19:23

AWS EC2 EC2 가장 유명한 AWS 서비스 중 하나 Elastic Compute Cloud의 약자 주로 아래와 같은 서비스를 포함한다 가상 머신을 빌리는 것 - EC2 가상 드라이브에 데이터를 저장하는 것 - EBS 데이터를 분산시키는 것 - ELB 서비스를 스케일링 해주는 것 - ASG EC2를 이해하는 것이 클라우드 서비스를 이해하는 것 EC2 Configuration OS를 선택할 수 있다. Linux, Windows or MacOS CPU RAM Strage - EBS & EFS, EC2 Instance Store 네트워크 카드 - Speed, Public IP 방화벽 - Security Group 부트스트랩 스크립트 - EC2 User Data EC2 User Data Bootstrappi..

Programming/AWS 2024. 3. 17. 16:44

IAM Identity and Acess Management의 약자, Global Service로 전체 리전에 적용된다. Root 계정이 시작과 함께 기본값으로 설정되며, Root 계정은 사용이나 공유가 권장되지 않는다. Users는 Organization에 속한 인원들이며 그룹화할 수 있다. Group은 무조건 Users만 포함할 수 있으며 다른 Group을 포함할 수 없다. Users는 복수의 Groups에 포함될 수 있다. IAM Permissions Users와 Groups는 policies라고 불리는 JSON Documents가 부여된다. 위에서 말한 policies는 Users에게 Permission을 정의한다. AWS에서는 가장 최소화된 권한을 Users에게 주는 것을 권장한다. IAM Po..

Programming/AWS 2024. 3. 10. 18:17

본 포스팅은 ElasticSearch Essential 강의를 보고 작성되었습니다. Elastic Search Lucene(Java) 기반 오픈소스 검색 엔진 JSON 기반의 문서를 저장하고 검색, 분석 작업도 가능 준실시간 검색 시스템 - 실시간이라고 생각될 만큼 색인된 데이터가 빠르게 검색 된다. 고가용성을 위한 클러스터 구성 동적 스키마 생성 - 입력될 테이터들에 대해 미리 스키마를 정의하지 않아도 동적으로 스키마 생성 REST API 기반의 인터페이스 클러스터의 정의 여러 대의 컴퓨터들이 연결되어 하나의 시스템처럼 동작하는 컴퓨터들의 집합을 말한다. 노드의 종류 마스터 노드 - 클러스터 상태 관리 및 메타데이터 관리 데이터 노드 - 문서 색인 및 검색 요청 처리 코디네이팅 노드 - 검색 요청 처리..

Programming/TIL 2024. 2. 25. 19:08

안녕하세요. 이전 글에 이어 MSA 도입 여정기 Part. 2를 시작하도록 하겠습니다. 이번 글에서는 도입 과정 및 효과 그리고 개선사항에 대해 살펴보겠습니다. 과정 1. PoC (Proof of Concept) - Apollo Federation 이전 글에서 설명드렸던 요구사항 중 하나인 '프론트에서 변경을 최소화한다'를 달성하기 위해 기존의 GraphQL Schema를 변경하지 않고 기존 동작에도 변화가 없어야 했습니다. 사내 SRE분께서 Apollo Federation을 추천하셨고 로컬에서 간단하게 기술검증을 진행하였습니다. 기존 프로젝트, 분리된 프로젝트, 게이트웨이 이렇게 세개의 프로젝트를 각기 다른 포트에 실행시키고 게이트웨이에서는 두 애플리케이션을 연결하도록 하였습니다. 클라이언트 애플리케이..

Programming/DevOps 2024. 2. 18. 20:46

안녕하세요, 백엔드 엔지니어 잭슨입니다. 오늘은 최근 맡게 된 검색 관련 프로젝트에 CI/CD 파이프라인을 구축하여 프로젝트 관리 및 배포를 개선한 경험을 공유하고자 합니다. 프로젝트 배경 모바일 프로덕트의 홈 화면 개편 스프린트에서 홈 화면 중앙에 위치한 검색 기능의 중요도가 높아짐에 따라 검색 관련 요구사항 및 개선사항이 증가했습니다. 제가 검색 관련 태스크를 맡게 된 후 프로젝트를 파악해본 결과, 다음과 같은 문제점을 발견했습니다. 코드 관리, 버전 관리, 배포 프로세스 등이 체계적으로 관리되지 않아 개발 및 배포에 어려움을 겪고 있었습니다. Production에서는 AirFlow를 통해, 나머지 환경에서는 CronTab을 통해 ElasticSearch에 인덱싱을 하고 있었습니다. 모든 배포 과정을..

Programming/DevOps 2024. 2. 4. 17:30

안녕하세요. 백엔드 엔지니어 잭슨입니다. 작년 한해 태스크 중에 가장 많은 시간을 할애했던 Micro Service Architecture 도입기를 다른 분들에게 도움이 됐으면 하는 마음에 기록으로 남겨봅니다. Why MSA? 저희 회사는 연초 대규모 투자를 받으며 회사의 규모를 확장하였습니다. 그로 인해 스쿼드(목적조직) 단위 조직구조로 개편이 되며 예상치 못한 문제에 봉착하게 되었습니다. 기존에 Mono Repo 구조에서 프론트엔드별 엔드포인트를 두어 사용하고 있었기 때문인데요. 이런 구조로 인해 5개의 스쿼드가 같은 개발주기를 가져가야 했고 또한 한 스쿼드가 준비가 되지 않았을 경우 다른 스쿼드의 블로커가 되는 비효율적인 구조가 되었습니다. 또한 스프린트 막바지에 항상 스쿼드 리드가 모여 배포에 대..

Programming/DevOps 2024. 1. 28. 21:30