문제 현상
- 운영업무의 일환으로 AWS IAM 을 이용하여 AWS 타겟 그룹을 수시로 모니터링하고 있다.
- 최근 모니터링 중 타겟 그룹에 있는 타겟 인스턴스의
Health status
가 계속unhealthy
상태가 되며 타겟 그룹에서 제외되는 현상이 발생했다. - 총 3개의 타겟 인스턴스가 운영 중인데, 그 중 1개의 타겟 인스턴스 CPU 사용률이 매우 올라가면, 이상하게 CPU 사용률이 낮은 다른 타겟 인스턴스가 타겟에서 제외됐다.
모니터링하는데는 AWS 에서 제공하는 ELB V2 CLI 의 describe-target-health 메서드를 이용하고 있다.
해결
- AWS 헬스체크 설정을 통해 해결했다.
- AWS 로드 밸런싱 타겟 그룹의 헬스 체크 설정을 좀 더 느슨하게 만들었다.
Unhealthy threshold
의 횟수를 증가시켰다.- 타임아웃을 좀 더 관대하게 책정했다.
- 완벽하게 애플리케이션 상의 부하를 잡은 건 아니지만, 실제 서비스 이용에는 큰지장이 없는 수준이다.
반응형
'회고 > 주간 회고' 카테고리의 다른 글
JS 에서 selector 를 이용할 때 NPE 를 늦게 캐치하는 문제에 대한 회고 (0) | 2023.04.14 |
---|---|
message_en_US.properties 파일을 찾지 못하는 에러 발생 회고 (0) | 2023.04.13 |
2023년 2월 3.5주차 회고 (0) | 2023.02.22 |
쿠키와 Iframe 으로 인한 트러블 슈팅 회고 (0) | 2023.02.14 |
2023년 2월 2주차 임대차 계약 관련 회고 (0) | 2023.02.12 |