ETL

From CS Wiki
Revision as of 09:28, 6 May 2020 by Itwiki (talk | contribs) (문자열 찾아 바꾸기 - "분류:데이터/통계학" 문자열을 "분류:데이터 과학" 문자열로)
(diff) ← Older revision | Latest revision (diff) | Newer revision → (diff)
Extraction, Transformation, Loading
Extraction, Transformation, Transportation
  • ETL와 ETT는 같은 용도로 사용되는 동의어
    • Extraction: 추출
    • Transformation: 가공
    • Transportation: 전송
    • Load: 저장

ETT/ETL의 단계

단계 내용
추출
  • 원본 파일과 트랜잭션 데이터베이스로부터 데이터 웨어하우스에 저장될 데이터를 추출하는 과정
  • 추출의 기준이 명확해야 함
  • 초기 추출(Migration) : 데이터 웨어하우스에 최초로 데이터를 구축할 때 이용
  • 주기적 추출(Batch) : 데이터 웨어하우스 초기 추출 이후에 일/월 단위의 주기적인 보완
가공
  • 질적으로 문제가 있는 데이터에 대해 데이터 정제(Cleansing) 기법을 이용
  • 열(Column) 수준 : 각 도메인의 값들에 대한 정제
  • 레코드 수준 : 셀렉션(Selection), 조인(Join), 집단화 기능을 이용
전송/저장
  • 선택된 데이터를 데이터 웨어하우스에 전송해서 저장하고, 필요한 색인을 작성

유형

  • 일괄(Batch) ETL
  • 실시간(Real Time) ETL