대규모 서비스를 지탱하는 기술, 4강 대규모 데이터란 요약

대규모 서비스를 지탱하는 기술, 4강 대규모 데이터란 요약

대규모 데이터 환경에 대한 이해

• 대규모 데이터의 크기는 어느정도인가?
• 대규모 데이터 처리는 왜 오래 걸리는가?
• 애플리케이션과 대규모 데이터의 부하 관계는 어떻게 되는가?

DB 에서 대규모 데이터란?

• 수백 GB 이상의 데이터만 축적돼도 기본적인 select 쿼리가 동작하지 않는다.
• 규모에 따라 수백 GB, TB, PB 가 될 수 있다.

대규모 데이터 처리는 왜 어려운가

• 메모리 내에서 계산할 수 없다.
  • 많은 양의 데이터를 디스크에서 찾아 메모리에 올렸다 내렸다하며 데이터를 처리해나가야 한다.
    • I/O 에 많은 시간이 소비된다.
• 메모리는 디스크보다 대략 10만~100만배 정도 빠르다.