데이터 마트/데이터 웨어하우스/데이터레이크

데이터 소스

• 데이터 웨어하우스 측면세어 업무 시스템을 위한 RDB 나 로그 등을 저장하는 파일 서버
• 데이터 소스의 로우 데이터 (원시 데이터) 를 추출, 포맷팅을 위한 가공 후 데이터 웨어하우스에 저장하기 까지를 ETL 프로세스라한다.

데이터 웨어하우스

• 웹서버나 업무 시스템에서 이용되는 일반적인 RDB와는 달리, "대량의 데이터를 장기 보존" 하는 것에 최적화되어있다.
• 데이터 레이크 (데이터 웨어하우스와 치환될 수 있다.)
  • 데이터를 축적하는 호수에 비유되는 "데이터 축적 장소"
  • 모든 데이터를 원래의 형태로 축적하고, 그것을 필요에 따라 가공하는 구조
• 장점: 정리된 데이터를 한 번에 전송하는 것에 뛰어나다.
• 단점:
  • 소량의 데이터를 자주 읽고 쓰는데 적합하지 않다.
  • 업무에 있어 중요한 데이터 처리에 사용되기 때문에 아무때나 함부로 사용해 시스템 과부하를 초래하면 안된다.`

데이터 마트

• 데이터 분석과 같은 목적에 사용하는 경우, 데이터 웨어하우스에 필요한 데이터만 추출해 데이터 마트를 구축한다.
• 데이터 마트는 BI 도구와 조합시키는 형태로 데이터를 시각화하는데에도 이용한다.

 

 

참고문헌
빅데이터 지탱기술 16페이지