[BigData] 빅데이터 기초 개념,동인,기법 #7장

책 소개

제목 : 빅데이터 기초 개념, 동인, 기법

저자 : Thomas Erl, Wajid Khattak, Paul Buhler

https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=117002656

빅데이터 기초

 

7장. 빅데이터 저장 기술

1. 온디스크 저장 장치

• 장기간 저장을 위해 저렴한 하드 디스크 드라이브 사용
• 분산 파일 시스템 : 스키마가 없는 데이터 저장소 지원 --> Raw Data의 대량 데이터 세트 저장 or 데이터 세트의 아카이브 필요할 때 적합. 장기간 데이터 저장 가능
• 관계형 데이터베이스 관리 시스템 (RDBMS, Relational Database Management Systems) : 소량의 데이터에 대해 트랜젝션 작업부하 처리에 적합. 장기 저장에는 부적합
• NoSQL 데이터베이스
  • 특징
    • 스키마리스 데이터 모델
    • 수평적 확장 선호
    • 고가용성
    • 운영비용 절감
    • 궁극적 일관성 (Eventual Consistency)
    • BASE 선호 (> ACID)
    • API 기반 데이터 접근
    • 자동 샤딩 및 복제
    • 통합 캐싱
    • 분산 쿼리 지원
    • 다언어 지속성
    • 집계 중심
  • 타입
    • 키-값
    • 문서
    • 칼럼-패밀리
    • 그래프
  • 종류
    • 키-값 저장 장치 (Riak, Redis 등)
      1. 비정형 데이터 저장 장치가 필요할 때
      2. 고성능의 읽기/쓰기가 필요할 때
      3. 키를 통해 완전히 식별 가능한 값이 있을 때
      4. 값은 다른 값에 종속 되지 않는 독립된 개체일 때
      5. 값이 비교적 단순한 구조이거나 binary일 때
      6. 쿼리 패턴이 간단하며 삽입, 선택, 삭제 작업만 포함될 때
      7. 저장된 값이 응용 프로그램 계층에서 조작될 때
    • 문서 (MongoDB, CouchDB, Terrasotre 등)
      1. 반정형 구조의 문서 기반 데이터를 저장할 때
      2. 문서의 구조를 알 수 없거나 변경 가능성이 있어서 스키마의 진화가 필수적일 때
      3. 응용 프로그램이 문서로 저장 되어 있는 집계의 부분 업데이트를 필요로 할 때
      4. 검색이 문서 내 다른 필드에서 수행되어야 할 때
      5. 고객과 같은 도메인 객체를 직렬화 된 객체 형식으로 저장할 때
      6. 쿼리 패턴에 삽입, 선택, 업데이트, 삭제 작업이 포함될 때
    • 칼럼-패밀리 (Cassandra, HBase 등)
      1. 실시간 무작위 읽기/쓰기 기능이 필요하고, 저장되는 데이터에 임의로 정의된 구조가 있을 때
      2. 데이터가 표 형식의 구조를 가질 때
      3. 시스템 중단 없이 칼럼-패밀리 추가/제거 할 수 있는 스키마 변경 지원이 필요할 때
      4. 필드값을 사용해 사용자가 검색을 해야할 때
      5. 쿼리 패턴에 삽입, 선택, 업데이트, 삭제 작업이 포함 될 때
      6. 단, 관계형 데이터 접근이 필요하거나, SQL 호환 쿼리를 실행하거나, 쿼리 패턴이 자주 변경되면 비추..

2. 인메모리 저장 장치

• 인메모리 데이터베이스(IMDB) : 데이터베이스 기술과 RAM 성능을 활용하여 런타임 시간 문제를 극복할 수 있는 인메모리 저장 장치