[빅데이터/ADsP 요약정리] 과목1. 데이터의 이해

데이터 유형

- 정성적 데이터 : 언어, 문자 등
- 정량적 데이터 : 수치, 도형, 기호 등 

 

암묵지 =(상호작용 : 조직차원에서 조직원 지식 공유, 발전) =형식지

- 암묵지  : 개인에게 습득된 무형의 지식
- 형식지 : 형상화된 지식으로 지식의 전달과 공유가 용이함

내면화된 지식을, 조직의 지식으로 공통화 하기 위해선
개인의 암묵지를 기호,숫자 등으로 표출화하고, 이를 다시 다른 개인 지식에 연결화

 

 

DIKW피라미드 

- 데이터, 정보, 지식을 통해 지혜를 얻어내는 과정을 계층구조로 설명

- 문헌 정보관리, 정보 시스템, 지식 관리 영역에서 흔히 인용됨

출처 - IT위키

단계	설명	관련 시스템
지혜(Wisdom)	- 지식에 유연성을 더하고, 상황이나 맥락에 맞게 규칙을 적용하는 것 - 근본원리에 대한 깊은 이해를 바탕으로 도출되는 창의적 아이디어 ex) A마트의 다른 상품들도 B마트보다 쌀 것이라고 예측	비즈니스 인텔리전스(BI)
지식(Knowledge)	- 정보를 일반화하고 체계화하여 즉시 적용 및 활용 가능한 형태 - 상호 연결된 정보 패턴을 이해하여 이를 토대로 예측한 결과물 ex) 연필을 살 때는 A마트로 가는 것이 유리	지식 관리 시스템(KMS), 전사적 지식 포탈(EKP)
정보(Information)	- 데이터 중 사용자가 필요로 하는 데이터  - 사용자의 필요에 의해 정제 및 가공된 데이터 ex) A마트의 연필가격이 더 저렴함	데이터 웨어하우스, OLAP
데이터(Data)	- 관찰, 측정을 통해서 수집된 사실이나 값, 수치, 문자 등 가공되지 않은 원본 데이터  ex) A마트 펜 500원, 연필 200원, 라면 3000원.. B마트 연필 300원	데이터베이스, OLTP, CDC, ETL, 데이터 레이크

 

데이터베이스 vs DBMS

데이터베이스 : 체계적으로 정렬된 데이터 집합
DBMS : 이용자가 쉽게 데이터베이스를 구축하고 유지할 수 있도록 하는 SW

 

데이터베이스 특징

1) 통합된 데이터
2) 저장된 데이터
3) 공용 데이터 
4) 변화되는 데이터 

​
데이터변화

 - 규모(Volume)
 - 형태 (Variety)
 - 속도 (Velocity)

 

기술변화

 - 새로운 데이터 처리, 저장, 분석기술, 아키텍처
 - 클라우드 컴퓨팅 활용

 

인재,조직,변화

 - DataScirntist같은 새로운 인재 필요
 - 데이터 중심 조직

→ 기존 방식으로 얻을 수 없었던 통찰&가치창출

     사업방식,시장,사회,정부 등에서 변화와 혁신 주도

 

빅데이터의 기능

​1) 산업혁명의 석탄, 철
2) 21세기 원유(각종 동력 제공 에너지원)
3) 렌즈((동식물세포)매커니즘 밝힘. cf.구글 'NgramViewer')
4) 플랫폼​

 

 
★빅데이터가 만들어내는 본질적 변화

​1) 사전처리→사후처리
2) 표본조사→전수조사
3) 질→양
4) 인과관계→상관관계 ​

 

 

빅데이터 가치 선정이 어려운 이유

1) 데이터 활용 방식 : 재사용, 재조합, 다목적용 개발
2) 새로운 가치 창출
3) 분석 기술 발전

 

 

★빅데이터 영향​ ( → 생활 전반의 스마트화)

1. 기업 : 혁신, 경쟁력 제고, 생산성 향상
2. 정부 : 환경탐색, 상황분석, 미래대응
3. 개인 : 목적에 따라 활용

 

빅데이터 활용 기본 테크닉​

1. 연관규칙학습(상관관계) : 커피구매자는 탄산음료를 더 사는가?
2. 유형분석(범주찾기) : 어떤 특성을 가진 집단에 속하는가?
3. 유전알고리즘(최적화) : 최대 시청률, 어떤 프로그램, 어떤 시간대에 방송해야 시청률 끌올?
4. 기계학습(예측) : 기존 시청기록 기반으로 보고 싶어할 영화 예측
5. 회귀분석(변인간 관계) : 구매자 나이가 구매차량의 타입에 어떤 영향을 미치는가?
6. 감정분석(감정) : 새로운 환불 정책에 대한 고객의 평가는 어떤가?
7. 소셜 네트워크 분석 : 특정인과 다른 사람이 몇 촌의 관계인가? 
​

위기요인

 - 사생활 침해 
 - 책임원칙 훼손 ex) 범죄 예측 프로그램에 의해, 범행을 저지르기 전에 체포될 수 있다
 - 데이터 오용 : 일어난 일에 대한 데이터 의존
                          ex) 베트남 전쟁의 적군 사망자 수를 진척 상황 지표로 활용하여, 전쟁상황 오보

 

미래의 빅데이터

​ - 데이터 : 모든 것의 데이터화
 - 기술 : 진화하는 알고리즘, 인공지능
 - 인력 : 데이터 사이언티스트, 알고리즈미스트

 

이러한 데이터, 기술, 인력은 상호 연관되어 있습니다.

 데이터는 적절한 기술로 수집, 처리, 분석되어야 가치를 창출할 수 있고, 이를 위해서는 훌륭한 인력이 필요합니다. 

반대로, 기술은 올바른 데이터 분석과 인사이트 도출을 위해 인력에 의해 활용되어야 합니다.

 

가치 창조를 위한 데이터사이언스와 전략인사이트

→빅데이터가 가져다주는 기회는 데이터의 크기에 있기 보다는
음성, 텍스트, 로그, 이미지 등 새롭고 다양한 정보원천의 활용에 있다. 
→전략과 비즈니스의 핵심가치에 집중하고, 이와 관련된 분석평가지표를 개발하고
이를 통해 효과적으로 시장과 고객 변화에 대응할 수 있을때 빅데이터 분석은 가치를 줄 수 있다.