개발자가 바라보는 검색엔진의 완결?
검색엔진은 대상이 되는 문서를 수집하고, 키워드를 추출하여 색인을 한 후 질의어를 입력받아 해당 쿼리와 매칭된 문서를 반환해주도록 되어있다. 이러한 과정을 거쳐 나온 검색 결과는 초기에는 단순히 결과를 나열해주는 단순검색의 형태였다.
그 후, 기술의 발전, 개인과 기업의 폭발적인 데이터 증가로 인해 한 단어에 대한 검색 결과는 수백건에서 수백만건이 나오게 되었다.
검색엔진 개발자들은 수많은 결과 중 검색자가 원하는 단어의 의미와 목적에 맞는 결과를 정확히 보여주기 위해 문서의 수집방법의 다양화, 색인과정의 성능 향상 시키고, 매칭된 검색 결과의 정렬순위를 조정, 분류하며 아래와 같은 여러가지 발전 단계를 거치고 있다.
첫번째로는 단순 주제어 검색 형태인 텍스트 검색에서 디렉토리 검색과 문장을 이용한 자연어 검색이 제공이 되었다.
현대사회가 정보전의 성격을 띠게 됨에 따라 개인 및 기업 안팎의 정보를 통합 검색, 이를 전략으로 활용하는 움직임으로 인해 Know-How에 최적화된 지식검색 형태로 전환되었으며,이는 웹 검색엔진 뿐만 아니라 기업용 검색엔진에서도 필수적으로 구현해야할 기능이 되었다.
그 후, 이미지자체에 대한 색상, 질감, 형태등의 계산에 의해 검색되는 이미지 검색과 자동으로 음성을 텍스트로 인식하는 소리검색 및 영상 검색등의 멀티미디어 검색이 제공되어지고 있다.
더불어 개인화 검색 형태를 띄는 검색 서비스, '개인화 맞춤 검색 시스템'도 제공되어지고 있다. 이는 사용자들이 단순히 검색창에 키워드를 입력하면 검색엔진에서 본인의 의도를 파악, 관심분야에 따라 검색 결과를 달리 제공해 주는 시스템을 이야기 한다.
이러한 발전과정들을 볼때 검색엔진은 점점 인공지능화 되어가고 있다.
개인화 검색에 완벽한 멀티미디어 검색이 결합되면 마치 사람에게 질문하고 해답을 얻는 수준까지 도달하게 되지 않을까 생각된다.
웹 검색엔진과 기업형 검색엔진의 경계가 모호해지고 있는 시점에서, 국내외 검색엔진 업체들은 다양한 방향으로 인공지능형 검색 개발로 접근을 하고 있다.
검색어를 입력하는 텍스트박스 하나만 제공하는것이 아닌 질의어의 의도를 파악할수 있는 사용자 인터페이스가 강화된 검색 서비스, 이와는 반대로 사용자의 단순한 액션 뒤 백그라운드에서 처리하는 검색엔진 기술 강화, 페이지 랭크 시스템을 초월하는 일반 사용자들이 자신들과 다른 사용자들에게 중요한것을 스스로 결정하게 하는 사회적 검색의 방향 등.
검색엔진의 기술과 서비스는 시장의 변화에 따라 개발자, 기획자들에 의해서가 아닌 스스로 진화하고 있는 듯 보인다.
그러나, 결국 구글이 그랬듯 현재 시장에서 가장 효율적이고 편리한 서비스를 제공하는 검색솔루션이 살아남을 것이고, 점점 인공지능 검색에 가까워 질것이다.
검색제품을 개발하는 개발자로써, 검색엔진의 기술 개발과 서비스 개발을 따로 생각할 수 없고, 한쪽으로 쉽게 비중을 둘수도 없다.
검색 프로젝트를 수행하면서 각각의 클라이언트와 사용자의 끊임없는 요구사항을 만족하기 위해서는 지금까지의 기술과 서비스가 합쳐진 인공지능 검색솔루션이여야 하지 않을까하는 생각이 든다.