[1부 기본개념] 1. 데이터

1.1 데이터

 - "해석할 수 있는 의미를 가진 기호"

 - 사물인터넷(Internet Of Things, IOT)의 발전에 따라 데이터 발생량도 급격히 증가

 

 - "정량적 또는 정성적 변수 값의 집합"

 - 숫자처럼 양으로 측정할 수 있는 데이터 : 정량적(qualitative) 데이터

 - 텍스트나 이미지처럼 양으로 측정할 수 없는 데이터 : 정성적(quantitative) 데이터

 

 - 정량적 데이터는 구조화 되어 저장되기 때문에 정형(structured) 데이터

 - 정성적 데이터는 반대의 이미로 비정형(unstructured) 데이터

 - 정량적 데이터 분석 : 정형분석, 정성적 데이터 분석 : 비정형분석

 - SQL은 정형 분석에 사용되는 프로그래밍언어

 

 - 빅데이터(Big Data)는 대용량 정형 데이터와  분석 대상이 아니었던 비정형 데이터를 분석하기 위한 기술을 총칭하는 개념.

 

 - 데이터 → 정보(information) → 지식(knowledge) → 지혜(wisdom)  → 데이터 : 순환관계

 

1.2 데이터베이스

 - "데이터를 정리해서 모아둔 것"

 - 데이터베이스 모델(database model) : 데이터를 효율적으로 관리할 수 있는 방법

 - 계층형(hierarchical) 모델, 네트워크형(network) 모델, 관계형(relational) 모델

 

 - 관계형 모델은 릴레이션(relation)에 데이터를 저장

 - 릴레이션 : 튜플(tuple)의 집합, 튜플 : 속성(attribute)의 집합

   * 속성은 칸 하나를 의미, 튜플은 속성의 가로가 모인 집합을 의미

 

DEPTNO	DNAME	LOC
10	Kim	NewYork
20	Lee	Incheon
30	Park	Canada

 

 

 - 관계형 데이터베이스(Relational DataBase, RDB) : 관계형 모델을 채택한 데이터베이스

 - 현재는 관계형 데이터베이스를 확장한 객체-관계형 데이터베이스(object-relational database, OBDMS)가 주류

 - NoSql 데이터베이스(Not Only SQL Database) : 일관성 모델을 채택하여 사용, 주로 빅 데이터와 실시간 웹 애플리케이션 영역에 활용

 

1.3 데이터베이스 관리 시스템

 - DataBase Management System, DBMS) : 데이터베이스를 관리하기 위한 응용 프로그램

 - RDBMS 제품 : IBM DB2, Microsoft SQL Server, MySQL, PostgreSQL, SQLLite

 - NoSql DBMS 제품 : MongoDB, Cassandra, Redis

 

1.4 IT시스템

 - 데이터의 발생 유형과 사용 목적에 따라 분류

 - 운영시스템(기간계, 계정계), EDW 영역(정보계), BI 영역(대외계)

 - 운영시스템에서 발생한 데이터는 EDW영역을 거쳐 BI영역으로 이동

 

영역	목적	시스템
운영시스템 (Operatinal System)	기업 운영에 필요한 데이터를 관리	OLTP
EDW (Enterprise Data Warehouse)	분석을 위한 데이터 저장	ODS, DW, DM
BI (Business Intelligence)	기업의 효율적인 의사 결정을 지원	OLAP

 

 - 영역별로 데이터의 특성이 다르기 때문에 사용 DBMS도 다름

 - 기간계 : Oracle Database, IBM DB2, SQL Server

 - 정보계 : Oracle Exadata, SAP Sysbase IQ, IBM Netezza

 

시스템	목적
OLTP (OnLine Transaction Processing)	온라인 트랜잭션을 처리
ODS (Operatinal Data Store)	운영 데이터를 원본의 형태로 보관
DW (Data Warehouse)	운영 데이터를 통일된 형식으로 보관
DM (Data Mart)	DW 데이터를 사용 목적에 따라 요약
OLAP (OnLine Analytical Processing)	DM 데이터를 분석

 

 - 각각의 시스템도 운영 목적이 다르기 때문에 사용하는 SQL 유형도 다르다.

 - OLTP 시스템은 응다 속도가 빠른 Top-N 쿼리, DW 시스템은 처리량이 많은 집계 쿼리의 비중이 높다

 

1.5 직종과 직무

 - 직종(occupation)과 직무(job)

 

EA
BA	AA	DA	TA
staff
modeler
	tuner
developer		DBA

 

직종	역할
EA (Enterprise Architect)	전사 아키텍처를 설계
BA (Business Architect)	업무 아키텍처를 설계
AA (Application Architect)	애플리케이션 아키텍처를 설계
TA (Technical Architect)	하드웨어 아키텍처와 네트워크 아키텍처를 설계
DA (Data Architect)	데이터 아키텍처를 설계

  * 아키텍처 : 컴퓨터 시스템의 구성

 

직무	역할	기술
업무 전문가 (staff)	업무 수행	비지니스 지식
개발자 (developer)	프로그램 개발	프로그래밍 기술
데이터베이스 관리자 (DBA)	DB 관리 및 운영	DB 과리 및 백업과 복구 기술
튜너 (tuner)	DB 성능 튜닝	아키텍처 지식과 옵티마이저 원리
모델러 (modeler)	데이터 모델 설계	비지니스 지식과 모델링 이론

  * DBA : Database Administrator

  * 옵티마이저 : SQL을 가장 빠르고 효율적으로 수행할 최적의 처리경로를 생성해 주는 DBMS내부 핵심엔진