AWS 타겟 그룹 헬스체크 설정으로 인한 장애 회고

문제 현상

• 운영업무의 일환으로 AWS IAM 을 이용하여 AWS 타겟 그룹을 수시로 모니터링하고 있다.
• 최근 모니터링 중 타겟 그룹에 있는 타겟 인스턴스의 Health status 가 계속 unhealthy 상태가 되며 타겟 그룹에서 제외되는 현상이 발생했다.
• 총 3개의 타겟 인스턴스가 운영 중인데, 그 중 1개의 타겟 인스턴스 CPU 사용률이 매우 올라가면, 이상하게 CPU 사용률이 낮은 다른 타겟 인스턴스가 타겟에서 제외됐다.

모니터링하는데는 AWS 에서 제공하는 ELB V2 CLI 의 describe-target-health 메서드를 이용하고 있다.

해결

• AWS 헬스체크 설정을 통해 해결했다.
• AWS 로드 밸런싱 타겟 그룹의 헬스 체크 설정을 좀 더 느슨하게 만들었다.
  • Unhealthy threshold 의 횟수를 증가시켰다.
  • 타임아웃을 좀 더 관대하게 책정했다.
• 완벽하게 애플리케이션 상의 부하를 잡은 건 아니지만, 실제 서비스 이용에는 큰지장이 없는 수준이다.