수안이의 컴퓨터 연구실

90년대가 DBMS와 데이터 웨어하우스의 시대였다면, 다가올 21세기는 데이터 마이닝의 시대가 될 것이다. 방대한 데이터를 모아주고 질서를 부여하는 것만으로는 한계가 있기 때문이다. 넘쳐흐르는 데이터 가운데서 IT는 가치있는 정보를 제시하는 툴의 역할을 해야 하는데, 이런 목적에 가장 가까이 접근한 것이 바로 데이터 마이닝이라 할 수 있다.

IT 분야 관계자에게 있어 정확한 정보(Infomation) 처리는 항상 고민해야하는 숙제라 할 수 있다. 하지만 필자는 새로운 밀레니엄 시대가 IT 분야에 요구하는 것은 좀더 다른 것이라고 생각한다. 과거의 정보처리가 그 정보의 질적 문제에 대해 책임이 적었던 반면, 앞으로 다가올 새시대는 단순히 정보처리 결과의 정확도뿐만 아니라 그 결과의 질적 측면에 대해서도 많은 것을 요구할 수밖에 없기 때문이다. 단순한 데이터가 아니라 진정한 가치를 갖는 정보(Intelligen ce)여야 한다는 것이다.

이런 점에서 90년대가 DBMS와 데이터 웨어하우스(Data warehouse)의 시대였다면, 다가올 21세기는 데이터 마이닝(Mining)의 시대가 될 것으로 확신한다. 방대한 데이터를 모아주고 질서를 부여하는 것만으로는 한계가 있다. 넘쳐 흐르는 데이터 가운데서 IT는 올바른 판단을 내릴 수 있는, 가치있는 정보를 제시하는 툴의 역할을 하지 않으면 안된다. 그리고 현재까지 이런 목적에 가장 가까이 접근한 IT 툴이 바로 데이터 마이닝인 것이다.
이번 프로젝트는 자동차 손해보험회사의 운영계 데이터베이스를 기반으로 사고와 계약에 관련된 데이터 웨어하우스를 구축하고, 유용한 지식 추출을 위한 요약과 클러스터링, 예측을 통해 고객의 유형과 사고 패턴을 조사했다. 그리고 이러한 결과를 바탕으로 보험사가 고객과 계약할 때 그 구체적인 계약 조건을 효과적으로 판단해주는 OLAP(On-Line Analyti cal Processing)과 데이터 마이닝 시스템을 구축했다.

복잡한 패턴의 발견과 예측에 유용한 신경망(Neural Network) 기법 가운데 다층 퍼셉트론을 백프로퍼게이션(BackPropagation) 알고리즘으로 구현했으며, 또한 연관규칙 탐사를 위해 Apriori 알고리즘을 이용했고 데이터 클러스터링에는 의사결정 트리 가운데 하나인 ID3 알고리즘을 구현했다.
최근 데이터 마이닝에 대해 관심을 갖는 사람이 많아졌지만 아직까지 국내에는 자료를 체계적으로 정리한 출판물도 없는데다 우리 현실에 적합한 사례도 불충분해서 관련 자료를 찾고 해당 업무에 적용시켜 구현하기까지 3개월이란 프로젝트 기간이 짧기만 했다. 이번 데이터 마이닝 시스템 구축기를 연재하는 것을 계기로 미숙한 부분에 대한 발전적인 평가가 이뤄지길 기대한다. 그리고 데이터 마이닝은 데이터베이스, 인공지능, 통계, 경영 등 관련 분야에서 연구가 계속 이뤄지고 있는 상황이라 공식 용어에 대한 정의가 확립되지 않아 기술하는데 다소 어려움이 있었다. 이 점은 현명한 독자들이 이해해주기 바란다.

21세기는 왜 데이터 마이닝을 요구하는가
기업의 경영환경 변화(시장의 변화, IMF 이후 산업 구조조정, 다양한 고객 요구 등)로 기업 경영에 있어 데이터베이스 마케팅(Database Marketing), 고객관계관리(CRM : Customer Relationship Management), 위험관리(Risk Management) 등이 부각되기 시작했다. 보다 신속하고 정확한 의사결정과 마케팅 전략수립은 이제 기업의 사활이 걸린 문제가 됐다. 이러한 변화는 많은 기업들이 현재 데이터베이스 시스템의 한계를 극복하고 데이터의 주제별 통합과 축적을 통한 다각적인 분석이 가능한 데이터 웨어하우스를 구축하거나 특정 단위의 업무에 대한 신속한 분석 작업을 위한 데이터 마트(Data Mart)를 구축하게 했으며, 이로 인해 향후 기업의 의사결정 지원을 위한 OLAP과 데이터 마이닝 시스템을 갖추는 작업이 활발해질 전망이다.

지난 80년대에 모든 주요 조직들은 하부구조로서 자신의 고객, 경쟁업체 및 생산제품 등에 대한 데이터를 가지는 데이터베이스를 구축했다. 이 데이터베이스는 잠재적으로 금광의 역할을 할 수 있게 됐고 데이터베이스에는 SQL이나 다른 질의 도구를 사용해서는 추적할 수 없는 많은 숨겨진 정보들이 있다. SQL은 단지 질의어의 역할만 하며, 이것은 우리가 이미 알고 있는 데이터를 특정한 조건을 사용해 찾도록 도와줄 뿐이다. 하지만 데이터 마이닝 시스템은 데이터베이스 내의 데이터를 최적으로 분류하거나 의미있는 관련성을 찾아내 예상하지 못했던, 숨겨져 있는 정보와 지식, 패턴 등을 발견한다.

현재 데이터베이스에서의 지식 탐사(KDD, Knowledge Discov ery in Database)라고 부르는 복잡한 과정은 매우 중요하게 간주되고 있으며, 데이터 웨어하우징이라는 또다른 중요한 개발과 밀접하게 연관돼 있다. 경영전략 수립 및 의사결정을 위한 데이터 마이닝 시스템은 운영계 데이터베이스(RDB)로부터 구축한 전사적 데이터 웨어하우스를 기반으로 하는 것이 효과적이다. 데이터 웨어하우스는 운영 데이터로부터 추출된 데이터를 중앙으로 집중해 저장한 것이다.

데이터 웨어하우스에 저장된 정보는 주제 중심적이고 비휘발성이며, 이력 정보를 보유하므로 데이터 웨어하우스는 매우 커다란 데이터 집합을 보유하게 된다. 최근에는 데이터 웨어하우징과 의사결정 지원 및 데이터 마이닝이 결합돼 정보관리에 대해 혁신적이고 완전히 새로운 접근방식이 제시되고 있다. 지금까지 정보 시스템은 기업체의 운영절차를 주로 지원하기 위해 구축, 운영돼 왔지만 KDD와 데이터 웨어하우징은 기업의 정보를 완전히 새로운 방식, 즉 많은 기회를 제공하는 전략의 원천으로 바라보게 하고 있다.

현재 많은 국내 기업들이 데이터 웨어하우스를 속속 구축하고 있음에도 불구하고 해외 선진국에 비해 국내의 데이터 마이닝 구축 실적은 매우 미미하다. 데이터 웨어하우스 활용의 적극적인 방법인 데이터 마이닝은 기업의 잘못된 경영전략으로 인한 시행착오를 사전에 방지하고, 경험에 의존한 의사결정의 한계를 넘어 보다 강력한 경영혁신 도구가 될 수 있으며, 이는 기업이 추구하는 이윤창출을 배가시키는 결정적 요인으로 작용할 것이다. 하지만 국내 기업들도 점차 데이터 마이닝에 대한 관심이 고조되고 있는 상황이라 본 프로젝트가 향후 국내 데이터 마이닝 활성화에 일조를 할 수 있을 것으로 기대해 본다.