이코노미스트(Economist)가 전 세계 약 600개 기업을 대상으로 실시한 빅데이터에 관한 조사에서 대상자의 10%는 빅데이터가 기존 비즈니스 모델을 완전히 바꿀 것이며, 46%는 기업 의사결정의 중요한 요소로 작용할 것으로 응답했다. 그러나 응답자의 25%는 기업 내부에 사용 가능한 데이터는 충분하지만 대부분의 데이터를 방치하고 있으며, 53%는 일부만 활용하고 있다고 응답해 부가가치 창출을 위해서는 더 많은 노력이 필요함을 시사하고 있다(Economist Intelligence Unit, 2011).
빅데이터 활용 사례의 선두 주자는 구글이다. 구글은 데이터 양이 많으면 많을수록 얻을 수 있는 정보의 품질이 좋아진다는 것을 인터넷 검색에서 실천하고 있는 기업이다. 접근할 수 있는 모든 웹 페이지를 탐색해서 제목과 내용이 검색어와 얼마나 밀접한 관계를 가지는지를 측정해 지수로 환산한다. 이렇게 방대한 작업을 빠른 시간에 처리하기 위해서 구글분산파일 시스템과 맵리듀스라는 새로운 처리 기술을 개발했다.
구글은 자사가 개발한 자동번역 시스템의 기술을 통계적 기계 번역(statistical machine translation)이라고 표현한다(http://translate.google.com/). 이는 컴퓨터에게 문법을 가르치지 않고 사람이 이미 번역한 수억 개의 문서에서 패턴을 조사해서 언어 간 번역 규칙을 스스로 발견하도록 하는 방식이다. 문법은 예외가 많은 규칙이기 때문에 참고할 문서가 많으면 많을수록 번역이 잘 될 가능성이 높아진다. 반면 번역에 참고할 문서가 적으면 번역 품질이 떨어지게 마련이다. 구글은 아르메니아어와 라틴어 등 참고 자료가 적은 언어의 경우 번역 품질이 높지 않은 테스트 중인 언어로 분류하고 있다.
인간의 언어에 대한 이해를 기반으로 방대한 정보를 빠르게 검색하는 기술의 힘을 입증한 슈퍼컴퓨터 ‘왓슨’을 만든 IBM의 창업자 토머스 왓슨(Thomas J. Watson, 1874~1956)
인간의 언어에 대한 이해를 기반으로 방대한 정보를 빠르게 검색하는 기술의 힘을 입증한 슈퍼컴퓨터 ‘왓슨’을 만든 IBM의 창업자 토머스 왓슨(Thomas J. Watson, 1874~1956)
IBM 연구소가 개발한 슈퍼컴퓨터 '왓슨'도 인간의 언어에 대한 이해를 기반으로 방대한 정보를 빠르게 검색하는 기술의 힘을 입증한 사례다. 왓슨은 2011년 2월 미국에서 가장 인기 있는 퀴즈쇼 〈제퍼디(Jeopardy!)〉에 출연해서 인간 챔피언과 겨뤄 승리했다. 〈제퍼디〉 퀴즈의 질문은 분야가 광범위하고 은유적인 표현이 포함되어 사람들조차도 의미를 파악하기 어렵다. 왓슨은 4테라바이트(TB)의 디스크 공간에 저장된 2억 페이지에 달하는 콘텐츠를 활용했다. 왓슨은 의료보험 데이터 분석과 종양 진단과 처리에 활용할 예정이며 씨티그룹(Citi group)과 금융 분야의 활용 방안을 모색하고 있다(IBM, 2012).
온라인 쇼핑몰의 선구자 아마존(Amazon)도 빅데이터 활용의 역사가 깊다. 아마존은 고객의 도서 구매 데이터를 분석해 특정 책을 구매한 사람이 추가로 구매할 것으로 예상되는 도서 추천 시스템을 개발했다. 고객이 읽을 것으로 예상되는 책을 추천하면서 할인쿠폰을 지급한다. 전형적인 데이터 분석에 기반한 마케팅 방법이다. 아마존은 이러한 데이터 분석 경험에 기반해 현재 하드웨어를 빌려주는 클라우드(cloud) 서비스를 제공하고 있으며 비정형 빅데이터 처리를 위한 데이터베이스를 새로 개발하는 등 빅데이터 관련 기업의 입지를 강화하고 있다.
일본의 최대 전자상거래 업체인 라쿠텐(樂天)은 슈퍼 데이터베이스(DB)를 구축해 이를 기반으로 다양한 마케팅 활동을 벌이고 있다. 슈퍼데이터베이스는 회원의 기본 정보와 구매 내역, 서비스 예약 정보가 통합되어 있다. 라쿠텐은 이를 활용해 그룹 내 전자상거래 사업과 신용·결제 서비스, 포털, 여행, 증권, 프로스포츠 사업 부문에서 공동 활용한다.
미디어 콘텐츠 유통기업인 넷플릭스(Netflix)는 이용자의 영화 대여 목록에 기초해서 새로운 영화를 추천해주는 시네매치(Cinematch) 시스템을 개발했다. 넷플릭스는 시네매치 시스템의 정확도를 높이기 위해 상금을 걸고 경진대회를 열기도 한다. 넷플릭스의 빅데이터 경영은 경쟁자인 블록버스터(Blockbuster)를 파산에 이르게 한 동인으로 평가하고 있다.
하루 40억 회 이상 동영상이 검색되는 유튜브도 이용자가 자신이 선호하는 동영상 채널을 구성할 수 있는 개별 홈페이지를 제공하고 있다. 개인별로 동영상 이용 데이터가 축적되면 이를 SNS 정보, 인적 네트워크 정보와 연계해 다양한 개인 맞춤형 서비스를 제공할 수 있다.
패스트 패션(fast fashion)의 선도자인 자라(Zara)는 현재 유행하는 패션 트렌드를 즉시에 반영해 단기간에 다품종 소량 생산하는 초스피드 전략을 채택하고 있다. 이러한 전략을 뒷받침하기 위해서 상품 수요를 예측하고 매장별 적정 재고를 산출하며 상품별 가격 결정과 운송 계획까지 실시간 데이터 분석에 의존하고 있다. 빅데이터 활용을 위해 자라는 MIT 연구팀과 최적 재고관리 시스템을 개발했다.
공공 부문의 활용 사례
민간 분야뿐 아니라 정부를 포함한 공공 부문에서도 빅데이터를 활용하기 위해 노력하고 있다. 맥킨지(McKinsey)는 의료, 소매, 제조, 개인 위치정보 이외에 공공 분야도 빅데이터 활용 사례로 소개했다(McKinsey, 2011). 특히 EU의 공공행정 부문에서는 행정비용의 15∼20%에 해당하는 최대 3000억 유로의 비용 절감이 가능할 것으로 내다봤다.
싱가포르와 미국 정부는 보안과 위험관리 분야에 빅데이터를 활용하고 있다(국가정보화위원회, 2011). 싱가포르 정부는 재난방재와 테러감지, 전염병 확산과 같은 불확실한 미래를 대비하기 위해 2004년부터 국가위험관리시스템(RAHS, Risk Assessment & Horizon Scanning)을 추진했다. 다양한 국가적 위험 데이터를 수집·분석해 사전에 예측하고 대응방안을 모색하고 있다. 미국 연방수사국(FBI)의 DNA 색인 시스템도 빅데이터 활용사례다. 빅DNA데이터를 활용해 단시간에 범인을 검거하는 시스템을 운영하고 있다. 오바마 정부가 추진한 필박스(Pillbox) 프로젝트는 국립보건원(NIH) 전용 사이트를 통해 의약품 정보 서비스를 제공하고 제조사와 사용자 간 유기적인 정보 공유를 가능하게 했다. 이를 통해 후천성면역결핍증 등 관리 대상 주요 질병의 분포와 증감 현황 데이터를 수집·분석할 수 있게 되었다.
미국 미시간 주정부는 관련 정부기관 통합 데이터웨어하우스(IDW, Integrated Data Warehouse) 구축으로 시민에 대한 보다 나은 서비스를 제공하고 비용을 절감했다(http://www.youtube.com/watch?v=ilRWnIJDnRE). 미시간주의 21개 정부기관은 데이터 통합을 통해 공공의료보험(Medicaid) 부정행위 발생 감지, 개인 건강관리 개선, 최적의 입양가정 선택 등 공공 서비스 품질 개선에 활용하고 있다. 오하이오주와 오클라호마주 정부는 국세청(IRS) 데이터와 고용데이터를 분석해 새로운 세원을 확보하고 미납세금을 확인하고 있다(The Wall Street Journal, Mar. 12, 2010).
주요국 정부는 정부데이터를 공개하는 전용 사이트를 만들어 데이터를 활용한 새로운 지식을 만들기 위해 노력하고 있다. 영국(http://data.gov.uk)과 미국(http://www.data.gov), 호주(http://www.data.gov.au)는 공공 부문의 데이터 공개를 통해 정부의 투명성을 높이고 국민의 알 권리를 향상시키며 시간과 자원을 절감하는 효과를 지향하고 있다. 이러한 정부 데이터 공개 정책(open data)은 빅데이터 시대에 소통과 공유, 협업(crowdsourcing) 전략이 무엇보다 중요하다는 것을 의미한다(정용찬, 2012b).
국내 공공 부문의 빅데이터 활용은 시작 단계에 불과하다. 공공 부문도 민간 기업의 CRM 사례를 벤치마킹해 공공부문고객관계관리(PCRM, Public CRM)를 도입해 시행한 경험이 있다. 이러한 시도는 고객만족을 최우선으로 하는 서비스 정신의 확산에는 기여했지만, CRM이 추구하는 고객 데이터 분석을 기반으로 한 맞춤형 서비스 제공에는 한계가 있었다(정용찬, 2012a).
최근 인터넷에 산재한 다양한 웹문서, 댓글 등을 통해 특정 이슈에 대한 시민의 의견을 분석해 대응책을 마련하는 오피니언 마이닝(opinion mining)을 도입하는 사례가 늘고 있다. 국민권익위원회의 '민원동향분석시스템'과 국민연금공단의 '여론정보수집분석시스템'은 시민 고객의 의견을 분석해 불신을 해소하고 소통하기 위한 시도다.
국가정보화전략위원회는 향후 공공 부문의 빅데이터 활용 시나리오를 재난 전조 감지, 구제역 예방, 사회복지통합관리망 구축으로 맞춤형 복지 서비스 제공, 물가 관리, DNA, 의료데이터 공유와 활용 촉진을 통해 개인맞춤형 의료 시스템 구축의 다섯 분야로 제시했다(국가정보화전략위원회, 2011).
Chunsjun
commented
7 years ago
이코노미스트(Economist)가 전 세계 약 600개 기업을 대상으로 실시한 빅데이터에 관한 조사에서 대상자의 10%는 빅데이터가 기존 비즈니스 모델을 완전히 바꿀 것이며, 46%는 기업 의사결정의 중요한 요소로 작용할 것으로 응답했다. 그러나 응답자의 25%는 기업 내부에 사용 가능한 데이터는 충분하지만 대부분의 데이터를 방치하고 있으며, 53%는 일부만 활용하고 있다고 응답해 부가가치 창출을 위해서는 더 많은 노력이 필요함을 시사하고 있다(Economist Intelligence Unit, 2011).
빅데이터 활용 사례의 선두 주자는 구글이다. 구글은 데이터 양이 많으면 많을수록 얻을 수 있는 정보의 품질이 좋아진다는 것을 인터넷 검색에서 실천하고 있는 기업이다. 접근할 수 있는 모든 웹 페이지를 탐색해서 제목과 내용이 검색어와 얼마나 밀접한 관계를 가지는지를 측정해 지수로 환산한다. 이렇게 방대한 작업을 빠른 시간에 처리하기 위해서 구글분산파일 시스템과 맵리듀스라는 새로운 처리 기술을 개발했다.
구글은 자사가 개발한 자동번역 시스템의 기술을 통계적 기계 번역(statistical machine translation)이라고 표현한다(http://translate.google.com/). 이는 컴퓨터에게 문법을 가르치지 않고 사람이 이미 번역한 수억 개의 문서에서 패턴을 조사해서 언어 간 번역 규칙을 스스로 발견하도록 하는 방식이다. 문법은 예외가 많은 규칙이기 때문에 참고할 문서가 많으면 많을수록 번역이 잘 될 가능성이 높아진다. 반면 번역에 참고할 문서가 적으면 번역 품질이 떨어지게 마련이다. 구글은 아르메니아어와 라틴어 등 참고 자료가 적은 언어의 경우 번역 품질이 높지 않은 테스트 중인 언어로 분류하고 있다.
인간의 언어에 대한 이해를 기반으로 방대한 정보를 빠르게 검색하는 기술의 힘을 입증한 슈퍼컴퓨터 ‘왓슨’을 만든 IBM의 창업자 토머스 왓슨(Thomas J. Watson, 1874~1956)
인간의 언어에 대한 이해를 기반으로 방대한 정보를 빠르게 검색하는 기술의 힘을 입증한 슈퍼컴퓨터 ‘왓슨’을 만든 IBM의 창업자 토머스 왓슨(Thomas J. Watson, 1874~1956)
IBM 연구소가 개발한 슈퍼컴퓨터 '왓슨'도 인간의 언어에 대한 이해를 기반으로 방대한 정보를 빠르게 검색하는 기술의 힘을 입증한 사례다. 왓슨은 2011년 2월 미국에서 가장 인기 있는 퀴즈쇼 〈제퍼디(Jeopardy!)〉에 출연해서 인간 챔피언과 겨뤄 승리했다. 〈제퍼디〉 퀴즈의 질문은 분야가 광범위하고 은유적인 표현이 포함되어 사람들조차도 의미를 파악하기 어렵다. 왓슨은 4테라바이트(TB)의 디스크 공간에 저장된 2억 페이지에 달하는 콘텐츠를 활용했다. 왓슨은 의료보험 데이터 분석과 종양 진단과 처리에 활용할 예정이며 씨티그룹(Citi group)과 금융 분야의 활용 방안을 모색하고 있다(IBM, 2012).
온라인 쇼핑몰의 선구자 아마존(Amazon)도 빅데이터 활용의 역사가 깊다. 아마존은 고객의 도서 구매 데이터를 분석해 특정 책을 구매한 사람이 추가로 구매할 것으로 예상되는 도서 추천 시스템을 개발했다. 고객이 읽을 것으로 예상되는 책을 추천하면서 할인쿠폰을 지급한다. 전형적인 데이터 분석에 기반한 마케팅 방법이다. 아마존은 이러한 데이터 분석 경험에 기반해 현재 하드웨어를 빌려주는 클라우드(cloud) 서비스를 제공하고 있으며 비정형 빅데이터 처리를 위한 데이터베이스를 새로 개발하는 등 빅데이터 관련 기업의 입지를 강화하고 있다.
일본의 최대 전자상거래 업체인 라쿠텐(樂天)은 슈퍼 데이터베이스(DB)를 구축해 이를 기반으로 다양한 마케팅 활동을 벌이고 있다. 슈퍼데이터베이스는 회원의 기본 정보와 구매 내역, 서비스 예약 정보가 통합되어 있다. 라쿠텐은 이를 활용해 그룹 내 전자상거래 사업과 신용·결제 서비스, 포털, 여행, 증권, 프로스포츠 사업 부문에서 공동 활용한다.
미디어 콘텐츠 유통기업인 넷플릭스(Netflix)는 이용자의 영화 대여 목록에 기초해서 새로운 영화를 추천해주는 시네매치(Cinematch) 시스템을 개발했다. 넷플릭스는 시네매치 시스템의 정확도를 높이기 위해 상금을 걸고 경진대회를 열기도 한다. 넷플릭스의 빅데이터 경영은 경쟁자인 블록버스터(Blockbuster)를 파산에 이르게 한 동인으로 평가하고 있다.
하루 40억 회 이상 동영상이 검색되는 유튜브도 이용자가 자신이 선호하는 동영상 채널을 구성할 수 있는 개별 홈페이지를 제공하고 있다. 개인별로 동영상 이용 데이터가 축적되면 이를 SNS 정보, 인적 네트워크 정보와 연계해 다양한 개인 맞춤형 서비스를 제공할 수 있다.
패스트 패션(fast fashion)의 선도자인 자라(Zara)는 현재 유행하는 패션 트렌드를 즉시에 반영해 단기간에 다품종 소량 생산하는 초스피드 전략을 채택하고 있다. 이러한 전략을 뒷받침하기 위해서 상품 수요를 예측하고 매장별 적정 재고를 산출하며 상품별 가격 결정과 운송 계획까지 실시간 데이터 분석에 의존하고 있다. 빅데이터 활용을 위해 자라는 MIT 연구팀과 최적 재고관리 시스템을 개발했다.
민간 분야뿐 아니라 정부를 포함한 공공 부문에서도 빅데이터를 활용하기 위해 노력하고 있다. 맥킨지(McKinsey)는 의료, 소매, 제조, 개인 위치정보 이외에 공공 분야도 빅데이터 활용 사례로 소개했다(McKinsey, 2011). 특히 EU의 공공행정 부문에서는 행정비용의 15∼20%에 해당하는 최대 3000억 유로의 비용 절감이 가능할 것으로 내다봤다.
싱가포르와 미국 정부는 보안과 위험관리 분야에 빅데이터를 활용하고 있다(국가정보화위원회, 2011). 싱가포르 정부는 재난방재와 테러감지, 전염병 확산과 같은 불확실한 미래를 대비하기 위해 2004년부터 국가위험관리시스템(RAHS, Risk Assessment & Horizon Scanning)을 추진했다. 다양한 국가적 위험 데이터를 수집·분석해 사전에 예측하고 대응방안을 모색하고 있다. 미국 연방수사국(FBI)의 DNA 색인 시스템도 빅데이터 활용사례다. 빅DNA데이터를 활용해 단시간에 범인을 검거하는 시스템을 운영하고 있다. 오바마 정부가 추진한 필박스(Pillbox) 프로젝트는 국립보건원(NIH) 전용 사이트를 통해 의약품 정보 서비스를 제공하고 제조사와 사용자 간 유기적인 정보 공유를 가능하게 했다. 이를 통해 후천성면역결핍증 등 관리 대상 주요 질병의 분포와 증감 현황 데이터를 수집·분석할 수 있게 되었다.
미국 미시간 주정부는 관련 정부기관 통합 데이터웨어하우스(IDW, Integrated Data Warehouse) 구축으로 시민에 대한 보다 나은 서비스를 제공하고 비용을 절감했다(http://www.youtube.com/watch?v=ilRWnIJDnRE). 미시간주의 21개 정부기관은 데이터 통합을 통해 공공의료보험(Medicaid) 부정행위 발생 감지, 개인 건강관리 개선, 최적의 입양가정 선택 등 공공 서비스 품질 개선에 활용하고 있다. 오하이오주와 오클라호마주 정부는 국세청(IRS) 데이터와 고용데이터를 분석해 새로운 세원을 확보하고 미납세금을 확인하고 있다(The Wall Street Journal, Mar. 12, 2010).
주요국 정부는 정부데이터를 공개하는 전용 사이트를 만들어 데이터를 활용한 새로운 지식을 만들기 위해 노력하고 있다. 영국(http://data.gov.uk)과 미국(http://www.data.gov), 호주(http://www.data.gov.au)는 공공 부문의 데이터 공개를 통해 정부의 투명성을 높이고 국민의 알 권리를 향상시키며 시간과 자원을 절감하는 효과를 지향하고 있다. 이러한 정부 데이터 공개 정책(open data)은 빅데이터 시대에 소통과 공유, 협업(crowdsourcing) 전략이 무엇보다 중요하다는 것을 의미한다(정용찬, 2012b).
국내 공공 부문의 빅데이터 활용은 시작 단계에 불과하다. 공공 부문도 민간 기업의 CRM 사례를 벤치마킹해 공공부문고객관계관리(PCRM, Public CRM)를 도입해 시행한 경험이 있다. 이러한 시도는 고객만족을 최우선으로 하는 서비스 정신의 확산에는 기여했지만, CRM이 추구하는 고객 데이터 분석을 기반으로 한 맞춤형 서비스 제공에는 한계가 있었다(정용찬, 2012a).
최근 인터넷에 산재한 다양한 웹문서, 댓글 등을 통해 특정 이슈에 대한 시민의 의견을 분석해 대응책을 마련하는 오피니언 마이닝(opinion mining)을 도입하는 사례가 늘고 있다. 국민권익위원회의 '민원동향분석시스템'과 국민연금공단의 '여론정보수집분석시스템'은 시민 고객의 의견을 분석해 불신을 해소하고 소통하기 위한 시도다.
국가정보화전략위원회는 향후 공공 부문의 빅데이터 활용 시나리오를 재난 전조 감지, 구제역 예방, 사회복지통합관리망 구축으로 맞춤형 복지 서비스 제공, 물가 관리, DNA, 의료데이터 공유와 활용 촉진을 통해 개인맞춤형 의료 시스템 구축의 다섯 분야로 제시했다(국가정보화전략위원회, 2011).
[네이버 지식백과] 빅데이터 활용 (빅데이터, 2013. 2. 25., 커뮤니케이션북스)