데이터 천재들은 어떻게 기획하고 분석할까?: 직관을 넘어 핵심을 꿰뚫는 데이터 분석의 절대 법칙

조성준 · 조재희 · 김성범 · 이성임 · 조성배 · 이영훈

Apr 2022 · BOOK21 PUBLISHING GROUP

About this ebook

★ 국내 TOP 30 기업 임직원 강력 추천

★ 화제의 서울대 데이터마이닝캠프 프로그램 수록

★ 데이터 분석 최신 경향 및 사례 총정리

대한민국 AI·빅데이터 분야를 이끄는

조성준 서울대 교수와 국내 최고 석학들의

절대 실패하지 않는 실전 데이터 분석법 대공개!

◎ 도서 소개

‘직관’과 ‘경험’으로 성공하는 시대는 끝났다!

국내 최고 데이터 전문가들이 말하는 실전 데이터 분석법!

지난 30여 년간 대한민국 AI·빅데이터 분야를 이끌어온 국내 최고 전문가들이 한자리에 뭉쳐 ‘데이터 활용 입문서’를 출간했다. 금융, 제조, 마케팅, 영업, HR 등 비즈니스 전반에 걸친 빅데이터 최신 경향과 풍부한 사례를 담아, 실제 빅데이터가 어떻게 활용되고 있으며 어떻게 현업의 문제를 해결하고 성과를 내는지 생생하게 보여준다.

‘직관’이나 ‘경험’은 주관적일 뿐 아니라 저마다 해석을 달리할 수밖에 없는 반면, ‘데이터’는 객관적이다. 그렇기 때문에 데이터는 의견과 해석이 넘치는 세상에서 합리적이고 과학적인 의사결정을 할 수 있게 돕는 가장 효과적인 도구다. 이 책은 비전공자도 데이터를 기반으로 합리적인 의사결정을 할 수 있도록, 자신에게 필요한 데이터 분석 방법을 찾고 활용할 수 있는 노하우를 제공한다.

☞ 함께 읽으면 좋은 21세기북스의 책들

▶ 세상을 읽는 새로운 언어, 빅데이터｜조성준 지음｜21세기북스｜2019년 8월 28일 출간｜16,000원

◎ 출판사 서평

왜 어떤 사람은 데이터로 성공하고 어떤 사람은 실패하는가!

정답을 찾고 싶은 당신에게 필요한 특별한 빅데이터 강의

지금 우리는 일상이 데이터가 되는 시대를 넘어, 데이터가 일상이 되는 시대를 살고 있다. 넷플릭스는 사용자 시청 기록을 분석하여 추천 영상으로 매출을 올리고, 나아가 무엇이 성공할지 미리 예측하여 소비자 입맛에 맞는 콘텐츠를 제작한다. 성공적인 비즈니스 모델들을 살펴보면 데이터가 그 중심에 있다고 해도 과언이 아니다. 이러한 흐름 속에서 이제 데이터는 누구에게나 필요한 소양이자 역량이 된 셈이다. 그렇다면 우리는 데이터를 얼마나 알고 활용하고 있을까?

빅데이터의 중요성을 알리고 대중화에 앞장서온 ‘빅데이터 국민 멘토’ 조성준 서울대학교 산업공학과 교수의 주도로 2010년부터 최근까지 열린 서울대 데이터마이닝캠프가 그간의 경험과 노하우를 엮어 책으로 만들어졌다. 문과, 이과 가리지 않고 수만 명의 지원을 받으며 매회 뜨거운 반응을 얻은 이 캠프에는 산업공학, 통계학, 경영학, 컴퓨터공학 등 데이터 분야의 최고 석학들이 참여해 빅데이터 활용에 있어 중요한 모든 것을 다뤘다. 캠프의 프로그램을 고스란히 담은 이 책을 통해 데이터 천재들이 데이터를 활용해 어떻게 비즈니스 가치를 만들고 성과를 내는지 생생하게 알게 될 것이다.

실제 국내 기업에서는 비즈니스에 사용 가능한 데이터의 절반 이상이 활용되지 않은 채 방치되고 있다고 한다. 잠자고 있는 데이터를 비즈니스 성과와 기업 가치로 바꿀 사람은 누구일까? 이 책의 저자들은 비전공자도 자신의 분야에서 데이터 중요성을 인식하고 활용할 수 있도록 최소한의 데이터 경쟁력을 갖추는 것이 무엇보다 시급하다고 강조하고 있다. 안타깝게도 우리 사회에는 데이터 교육을 단 한 번도 받아본 적 없는 데이터 문맹들이 여전히 많다. 이 책을 통해 빅데이터 세계에 첫발을 내디뎌볼 것을 권한다. 저자들의 친절한 안내를 따라가다 보면 저절로 빅데이터라는 강력한 무기를 갖추게 될 것이다.

핵심만 쏙쏙 뽑아 정리한 데이터 분석의 절대 법칙!

데이터 문맹도 빅데이터 전문가로 성장하는 비밀!

실제 데이터 분석에는 큰 비용과 긴 시간이 필요하다. 데이터 전문가들은 금을 캐기 위해 어두컴컴한 터널 속에 들어간 광부와 같다. 이때의 금은 바로 ‘인사이트’이고, 데이터의 광산에서 금을 캐는 활동은 곧 ‘데이터 분석’이다. 그러나 이 책은 데이터 사이언티스트가 아닌 사람들을 위한 책이다. 즉 마케팅, 영업, 상품기획, HR, 재경 같은 기업의 핵심 부서에서 일하는 사람들, 또는 공공기관의 대통령, 국무총리, 장관, 차관, 국장, 과장 등을 포함한 비전공자들이다.

이 책은 모든 사람이 코딩을 배우고 데이터 사이언티스트가 될 필요는 없다고 말한다. 단지 2~4주 정도 투자해 데이터 분석의 핵심 이론과 응용을 이해하는 수준의 준전문가가 되는 것만으로 충분하다는 것이다. 이 책에서는 이를 ‘시티즌 데이터 사이언티스트’라 부른다. 시티즌 데이터 사이언티스트는 자신이 직접 간단한 분석을 할 줄 아는 파워 유저이자, 어려운 분석은 전문가에게 맡겨 정확히 원하는 바를 이야기할 수 있는 빅데이터 기획자이다. 비즈니스의 최종 목표를 설정하고 필요한 인사이트를 정의하는 것은 이들의 몫이다.

그렇다면 비전공자나 입문자가 시티즌 데이터 사이언티스트가 되기 위해서는 어떻게 해야 할까? 이 책은 3가지 단계를 제시한다. 첫째 ‘데이터 분석의 기본 이론과 알고리즘을 공부한다’, 둘째 ‘실제 데이터가 인사이트를 도출하는 과정을 실습한다’, 셋째 ‘비즈니스 가치를 분석 문제로 변환시키는 방법을 모색한다’. 이 책에서 소개하는 분석 방법론과 사례가 현업의 의사결정자들에게 빅데이터, 인공지능, 데이터 마이닝, 애널리틱스의 기초 핵심 이론과 응용을 이해하고 비즈니스 가치를 만드는 과정의 길잡이가 되어줄 것이다.

가장 객관적으로, 가장 합리적으로, 가장 과학적으로

최고의 선택과 결정을 돕는 데이터 기초 체력을 키워라!

금융, 통신, 유통업 등 경쟁이 치열한 분야에서는 이미 상당히 많은 빅데이터 프로젝트가 진행되고 있다. 메가트렌드라 해도 과언이 아닌 이 흐름 속에서, 데이터에 대한 막연한 두려움을 떨쳐낼 힘이 되어줄 이 책은 총 6부로 구성되어 있다.

1부에서는 데이터의 의미와 데이터 분석의 목적을 구체적인 사례와 함께 설명한다. 어떤 가치를 추구하고 어떤 인사이트를 기대해야 하는지, 어떤 데이터가 필요하고 어떤 분석 방법을 사용해야 하는지 판단하는 데 도움이 되는 프레임워크를 제공한다.

2부에서는 데이터에 숨겨진 이야기를 시각적으로 탐색하는 방법을 소개한다. 조직의 데이터 문해력을 높여주고 의사결정자에게 통찰을 제공하는 데이터 시각화가 어느 분야에서 어떻게 활용되고 있는지 생생하게 보여준다.

3부와 4부에서는 데이터를 기반으로 의미 있는 정보를 추출하고 미래를 예측하는 분석 방법을 다룬다. 인공지능을 이해하는 데 가장 기본이 되는 분류와 예측, 군집분석을 중심으로 살펴본다. 어려운 코딩 문법이나 복잡한 통계학, 기계 학습 이론에 기초하지 않고도 데이터 분석의 프레임워크를 접할 수 있다.

마지막으로 5부와 6부에서는 데이터 분석의 응용과 가능성을 확인할 수 있다. 이미지와 영상, 텍스트 데이터 분석의 직관적 방법들을 통해 데이터에서 정보를 추출하고 의사결정에 활용하는 일련의 과정을 소개한다. 인공지능과 딥러닝의 활용 분야와 적용 사례를 쉽게 이해하는 데도 도움이 될 것이다.

◎ 추천사

서울대 조성준 교수를 포함한 여섯 명의 어벤저스급 필진이 모였다. 이 사실만으로도 우리는 이 책에 주목할 필요가 있다. 지난 30여 년간 국내 인공지능과 데이터 마이닝 분야를 이끌어온 석학들의 경험과 노하우가 이 책에 고스란히 녹아 있다. 데이터 분석이 멀게만 느껴지는 비전공자와 일반인에게 전문가들이 쌓아놓은 높은 진입장벽을 넘어설 수 있도록 도와주는 최고의 입문서이다.

황보현우 | 하나금융지주 그룹데이터총괄 겸 하나은행 데이터&제휴투자본부장,

『감으로만 일하던 김 팀장은 어떻게 데이터 좀 아는 팀장이 되었나』 저자

이제는 데이터 불모지로 여겨졌던 예술의 영역에서조차 데이터를 활용하고 있다. 데이터가 이 시대를 살아가는 사람들에게 새로운 교양이자 역량이 된 것이다. 나는 문과생들에게 ‘인사이트’와 ‘가치’를 발견할 수 있는 자신의 인문학적 강점을 뾰족하게 세워나가면서 이 책을 읽어볼 것을 권한다. 데이터 활용법을 상세히 설명한 이 책은 각자의 강점이 데이터 기반의 날개를 달 수 있도록 도와줄 것이다.

차현나 | 하이브 데이터랩 랩장

『문과생, 데이터 사이언티스트 되다』 저자

◎ 본문 중에서

데이터의 의미와 데이터를 바라보는 관점, 핵심 분석 방법인 시각화, 예측, 클러스터링, 그리고 이미지와 텍스트 데이터의 분석 방법 등은 전공과 무관하게 누구나 이해하고 활용할 수 있어야 한다. 왜냐하면 빅데이터는 미래가 아니라 현재 우리의 일상에서 일어나는 일이고, 기업과 공공기관에서는 이를 활용해 중요한 의사결정을 하고 있기 때문이다. 무엇보다 이제 빅데이터는 더는 ‘알면 좋은’ 대상이 아닌 ‘모르면 안 되는’ 대상이 되었다.

【프롤로그 : 9~10쪽】

잘 팔리지 않는 전자오븐의 경우, 어떤 의사결정을 통해 판매를 증진시킬 수 있을까? 데이터에서 도출한 인사이트를 갖고 가격을 대폭 낮추거나 친절하게 레시피를 주며 프로모션 활동을 하는 것 중 합리적인 선택하는 일이 곧 의사결정이다. 이를 개인에게 적용할 수도 있겠다. 현실에서 내가 당장 부딪힌 문제를 어떤 행동으로 해결할 수 있을까? 하나의 선명한 문제에 부딪혔을 때 그 의사결정을 선진화하는 것, 조금 더 체계적인 근거를 가지고 현명한 의사결정을 하는 것, 이것이 분석의 궁극적인 목표라고 할 수 있겠다.

【1부 데이터 문맹 탈출, 반드시 알아야 할 데이터 상식 : 47쪽】

데이터 시각화는 데이터 분석 결과를 이해하기 쉽게 시각적으로 표현하는 과정이다. 엑셀, 태블로 등 많은 비즈니스 데이터 시각화 솔루션과 D3.js, 차티드 등 오픈소스 계열의 소프트웨어는 다양한 차팅 방법을 제공해준다. 최근 데이터 시각화 분야에 대한 투자가 크게 증가하고 있으며, 이에 따라 사용자 인터페이스의 편의성이 좋아지고 엔드유저(end user)의 분석기술 수준이 높아지고 있다.

【2부 데이터 시각화로 트렌드를 읽어라 : 71~72쪽】

현재 우리 사회의 미래를 이끄는 인공지능과 머신러닝을 이해하기 위해 가장 기본이 되는 것은 ‘분류’와 ‘예측’이다. 데이터 활용 공부는 이로부터 시작해야 한다. 인공지능과 머신러닝은 인류 몸속 깊숙이 잠재해 있는 ‘호기심’이라는 DNA가 사라지지 않는 한 끊임없이 발전할 것이다. 이를 두려워하기보다는 인간이기 때문에 가지게 되는 부족함과 한계를 극복할 수 있는 수단으로 즐겁게 사용되어야 할 것이다.

【3부 분류와 예측, 미래를 읽는 가장 확실한 방법 : 116쪽】

군집분석은 금융 시장에도 적용되어 균형 포트폴리오 작성에 도움을 준다. 포트폴리오 작성에서 데이터는 개체가 기업이고, 특징은 주가, 주식 거래량, 매출액 등이 될 수 있다. 특징이 비슷한 기업끼리 묶어보면, 그 특징에 따라 우량기업과 고평가된 기업, 그리고 저평가된 기업 등으로 세분화할 수 있다. 일반적으로 주식 투자에서는 투자효율을 높이기 위해 우량기업에만 투자하지 않고, 다양한 기업에 대해 일정한 비율로 투자함으로써 투자의 위험을 분산한다. 이러한 전략을 세우는 데 군집분석이 활용될 수 있다.

【4부 데이터를 끼리끼리 뭉쳐 보는 군집분석의 힘 : 156쪽】

빅데이터에 내재되어 있는 가치를 창출하기 위해서는 수집된 데이터가 분석의 대상인 동시에 분석 및 예측을 위한 모델링의 재료임을 유의해야 한다. 널리 사용되고 있는 기계학습 방법들은 모델을 구축하기 위해 레이블이 기록된 대용량의 데이터가 필요하므로 사전에 이에 대한 세심한 준비를 해두자. 또한 수집된 데이터와 분석 도구만으로는 유용한 가치를 창출할 수 없기 때문에 무엇을 알아내려고 하는지 분석의 목적을 명확히 해야 한다. 이때 문제에 대한 직관과 창의적인 해석능력이 필요하다. 대용량의 데이터를 처리할 수 있는 딥러닝과 같은 획기적인 분석 방법의 등장과 함께, GPU나 클라우드 컴퓨팅과 같은 저가의 고성능 컴퓨팅 자원이 널리 보급되었다. 따라서 새로운 차원의 분석 결과를 얻는 일이 손쉽게 가능해진 것이다.

【5부 인공지능, 더 빠르고 능숙하게 이미지를 분석하다 : 185~186쪽】

우리가 접하는 데이터는 날이 갈수록 기하급수적으로 증가하고 있다. 그런데 데이터의 증가를 좀 더 심도 있게 살펴보면 데이터 증가의 대부분인 80% 이상의 비중을 차지하는 것이 바로 텍스트 데이터임을 파악할 수 있다. 물론 전반적인 데이터의 양이 증가하고 있는 것도 사실이지만 세부적으로 보았을 때, 데이터 양적 성장의 핵심 요인은 텍스트 데이터이다. 이는 우리가 왜 텍스트 데이터 분석에 집중해야 하는지를 자명하게 드러내주는 객관적인 증거가 된다.

【6부 비즈니스 성패를 가르는 텍스트 데이터에 주목하라 : 214~215쪽】

About the author

약력: ‘대한민국 최고의 빅데이터 전문가’

서울대학교 산업공학과 교수로 서울대 데이터마이닝센터 센터장을 겸하고 있다. 현재 국무총리 산하 공공데이터전략위원회 공동위원장을 맡고 있다. 워싱턴대학교에서 인공지능 연구로 석사학위를, 메릴랜드대학교에서 신경망과 기계학습 연구로 박사학위를 받았다. 삼성전자, 현대자동차, 포스코, SK텔레콤, LG전자 등 기업 및 공공기관에 초청되어 활발한 자문 및 강연 활동을 하고 있으며, 대중강연을 통해 대한민국 최고 빅데이터 권위자이자 멘토로도 주목받고 있다. 『세상을 읽는 새로운 언어, 빅데이터』와 『빅데이터 커리어 가이드북』(공저)을 썼다.

약력: 광운대학교 정보융합학부 교수로 창업지원센터장, 입학처장, 국제처장을 역임했다.

네브래스카대학교에서 의사결정지원시스템 연구로 박사학위를 취득했고, 데이터 자산의 전략적 활용, 시공간 데이터분석, 다차원 모델링 연구로 주목받고 있다. 한국BI데이터마이닝학회장과 정부3.0 추진위원회 빅데이터분과 전문위원을 지냈으며, 다수의 논문을 발표하는 등 국내 데이터 발전을 위해 활발한 활동을 하고 있다.

약력: 고려대학교 산업경영공학부 교수.

조지아공과대학교에서 산업시스템공학과 석·박사학위를 취득하고 미국 텍사스주립대학교 산업공학과 교수를 역임했다. 데이터 마이닝/인공지능 이론과 응용 분야에 200여 편의 논문을 발표했으며, 국내외 학회 및 포럼에서 300여 회 연구 결과를 발표했다. 고려대학교 인공지능공학연구소장 및 INFORMS 국제학회 데이터 마이닝 부분 회장을 역임하는 등 국내외 인공지능 및 빅데이터 분석 분야에서 활발한 활동을 하고 있다.

약력: 단국대학교 정보통계학과 교수.

서울대학교 통계학과에서 생존 분석을 주제로 박사학위를 취득하고 고려대학교 의과학연구원에서 연구교수를 지냈으며, 연세대학교 환경공해연구소, 서울대학교 복잡계통계연구소에서 연구원으로 활동했다. 의보건학, 검찰청, 산업 등 다양한 분야의 실제 데이터를 기반으로 한 다수의 프로젝트와 교육 프로그램을 진행했다. 현재 차세대 통계학 전문가 교육 활동과 한국데이터마이닝학회 이사, 한국품질경영학회 이사, 사회적책임경영품질원 이사로 활발한 활동을 이어가고 있다.

약력: 연세대학교 컴퓨터과학과 교수이자 연세대 AI대학원 원장이다.

패턴인식과 인공지능 분야에서 1000편 이상의 논문을 발표했다. 다수의 국내외 논문지의 편집위원을 맡고 있으며, IEEE 주관의 여러 학술대회 위원장을 역임했다. 인간의 추론학습 기능을 모방한 정보 마이닝 기술에 기반하여 모바일 환경에서의 상황인식 및 개인화 서비스 개발에 관심이 있다. KAIST에서 신경망의 현실적인 적용방안 연구로 박사학위를 받고, 일본 ATR 인간정보통신연구소 등의 연구원으로 재임했다.

약력: 서울과학기술대학교 산업공학과/데이터사이언스학과 교수.

서울대학교 산업공학과에서 데이터 마이닝으로 박사학위를 취득하고, LG전자 UX연구소와 현대자동차 빅데이터실에서 책임연구원으로 재직했다. 텍스트 분석과 사용자 데이터 분석 분야의 전문가로 다수의 논문 발표와 프로젝트를 진행하고 있으며 기아자동차, 현대중공업, LG유플러스, 한국전자기술연구원, 한국생산성본부 등 기업 및 공공기관에서 강연과 자문 활동을 하고 있다.