대규모 서비스를 지탱하는 기술, 7강 대규모 데이터를 다루기 위한 기초 지식 요약

대규모 서비스를 지탱하는 기술, 7강 대규모 데이터를 다루기 위한 기초 지식 요약

프로그램을 작성할 때의 요령

• 어떻게 하면 메모리에서 처리를 마칠 수 있을까 생각해보기
  • 디스크 seek 횟수를 최소화해보자.
• 데이터량 증가에 강한 알고리즘 사용
  • 선형 탐색 말고 이분 검색 같은 알고리즘을 사용하면 데이터 양이 기하급수적으로 증가해도 실제 연산 양이 많이 늘지 않는다.
• 데이터 압축, 검색기술과 같은 테크닉 이용하기
  • 압축해서 데이터량을 줄이거나 검색엔진을 이용하자

대규모 데이터를 다루기 위한 전제 지식

• OS 캐시
• 분산을 고려한 RDBMS 운용
• 알고리즘 데이터 구조

CPU 사용률, I/O 대기율 확인하기

• 리눅스에서 sar 명령어로 가능
• 윈도우즈에서 Performance Monitor, Resource Monitor, Task Manager
  • Performance Monitor 내부에 Monitoring Tools 패널에서 많은 기능을 지원
  • Resource Monitor 에서는 Disk tab 에서 I/O 부하 정보 확인 가능

I/O wait 과 CPU 사용률을 통해 부하의 종류를 잘 분류해보자.