상향식 접근법 (Bottom Up Approach)
- 절차가 규정된 하향식 문제해결 방식이 아닌,
- 경험적인 과거 데이터를 무작정 결합하여 상향식으로 정보 혹은 지식을 얻고자 하는 새로운 분석 패러다임
- 기업에서 보유하고 있는 다양한 원천 데이터로부터 분석을 통하여 통찰력과 지식을 얻는 상향식 접근방법
- 다양한 원천 데이터를 대상으로 분석을 수행하여 가치 있는 문제를 도출하는 일련의 과정
1) 기존의 하향식 접근법의 한계를 극복하기 위한 분석 방법론임
- 기존 접근방법인 논리적인 단계별 접근법은 문제의 구조가 분명하고 문제를 해결하고 해결책을 도출하기 위한 데이터가 분석가 및 의사결정자에게 주어져 있음을 가정하기 때문에 솔루션 도출에는 유효하지만 새로운 문제의 탐색에는 한계
- 스탠포드 대학의 d.school, 디자인 사고 (Design Thinking)
- 통상적으로는 분석적으로 사물을 인식하려는 WHY를 강조하지만, 이는 우리가 알고 있다고 가정하는 것이기 때문에 문제와 맞지 않는 솔루션인 경우 오류가 발생할 소지가 있음
- 그래서, 사물을 있는 그대로 인식하는 WHAT 관점에서 보아야 함
- 객관적으로 존재하는 데이터 그 자체를 관찰하고 실제적으로 행동에 옮김으로써 대상을 좀 더 잘 이해하는 방식으로의 접근을 수행하는 것. 이를 고려하여 d.school 에서는 첫 단계로 감정이입을 특히 강조함
- 디자인 사고 프로세스 : EMPATHIZE > DEFINE > IDEATE > PROTOTYPE > TEST
- 일반적으로 상향식 접근 방식의 데이터 분석은 비지도학습(Unsupervised Learning)
- ex) 장바구니 분석, 군집 분석, 기술 통계 및 프로파일링
- 인과관계로부터 상관관계 분석으로의 이동이 빅데이터 분석에서의 주요 변화
- 다량의 데이터 분석을 통해서 '왜' 그러한 일이 발생하는지 역으로 추적하면서 문제를 도출하거나 재정의 할 수 있는 것
2) 시행착오를 통한 문제 해결
- 프로토타이핑(Prototyping) 접근법은 사용자가 요구사항이나 데이터를 정확히 규정하기 어렵고 데이터 소스도 명확히 파악하기 어려운 상황에서 일단 분석을 시도해보고 그 결과를 확인해가면서 반복적으로 개선해나가는 방법임
- 프로토타이핑 프로세스 : 가설의 생성 > 디자인에 대한 실험 > 실제 환경에서의 테스트 > 테스트 결과에서의 통찰 도출 및 가설 확인
- Hypotheses > Design Experiments > Test > Insight
- 빅데이터 분석 환경에서 프로토타이핑의 필요성
| (1) 문제에 대한 인식 수준 개선 - 문제 정의가 불명확하거나 이전에 접해보지 않은 문제일 경우, 프로토타입을 통해 구체화 가능 (2) 필요 데이터 존재 여부의 불확실성 개선 - 데이터 집합이 모두 존재하지 않을 경우, 어떻게 수집할 것인지 어떻게 대체할 것인지 등에 대한 순환적인 협의과정 필요 - 이 리스크를 조금 줄여줄 수 있음 (3) 데이터 사용 목적의 가변성 활용 - 데이터의 가치는 사전에 정해진 수집 목적에 따라 확정되는 것이 아니라 지속적으로 변화할 수 있음 - 따라서 프로토타이핑을 통해 데이터 정의를 재검토하고 사용 목적과 범위를 확대할 수 있음 |
분석과제 정의
- 도출한 분석 과제를 분석과제 정의서 양식을 활용하여 보다 상세하게 정의
- 분석과제 정의서는 향후 프로젝트 수행계획의 입력물로 사용되기 때문에 프로젝트를 수행하는 이해관계자가 프로젝트의 방향을 설정하고 성공 여부를 판별할 수 있는 주요한 자료로서 명확하게 작성되어야 함
- 소스 데이터, 분석방법, 데이터 입수 및 분석의 난이도, 분석수행주기, 분석결과에 대한 검증 오너십, 상세 분석 과정 등을 정의
분석 과제의 주요 5개 특성 및 속성
- Data Size / Data Complexity / Speed / Analytic Complexity / Accuracy & Precision
| Data Size | 분석하고자 하는 데이터 양을 고려한 관리 방안 수립 |
| Data Complexity | 초기 데이터의 확보와 통합 뿐만 아니라 해당 데이터에 잘 적용될 수 있는 분석 모델의 선정 등에 대한 사전 고려가 필요 |
| Speed | 활용 시나리오 측면에서의 속도를 고려 |
| Analytic Complexity | 분석 모델이 복잡할수록 정확도는 올라가지만 해석이 어려워지는 단점이 존재함 -> 기준점을 사전에 정의해야 함 |
| Accuracy & Precision | Accuracy와 Precision은 트레이드오프가 되는 경우가 많음 모델의 해석과 적용 시 사전에 고려해야 함 - Accuracy : 모델과 실제 값 사이의 차이가 적다는 정확도 - Precision : 모델을 지속적으로 반복했을 때 편차의 수준으로써 일관적으로 동일한 결과를 제시한다는 것 - 분석의 활용적인 측면에서는 Accuracy가 중요함 - 안정성 측면에서는 Precision이 중요함 |
댓글