실험일지 - AI검색할 때 뭘 사용할까?

실험일지 - AI검색할 때 뭘 사용할까?

2025. 5. 7. 14:18ㆍ연구/AI

어느날 갑자기 10년 전 쯤에 봤던 웹툰의 제목이 궁금해졌다. 유튜브에서 디스토피아 관련된 만화를 소개해서 문득 과거에 봤던 작품이 떠오른 것이다. 그러나 이 웹툰의 제목이 전혀 생각나질 않았다.

분명 다음웹툰 쪽이었던 것 같고(이부분이 검색을 방해한 요소가 되었다), 10년은 더 된것도 맞는데... 디스토피아와 나무라는 키워드 빼고는 도저히 생각나는 것이 없던 것이다.

구글에서는 아무리 검색해봐도 이정도의 키워드로는 원하는 결과가 나오질 않았고, 결국은 AI검색을 시도했다.

유저가 제안해준 정보에 오류가 있고(난 '키스우드'라는 작품이 다음에서 연재된 줄 알았는데, 전작인 '노루'가 다음웹툰이었고, 키스우드는 네이버웹툰이었다), 단서가 명확하지 않을 때 각 AI 서비스들의 검색능력이 어떤지 비교를 해보기로 했다.

처음에는 가장 익숙한 GPT로 검색했다. 그래도 계속 업데이트해가면서 신뢰성을 높이고 있으니, 적당한 선에서 검색하는 것은 GPT로도 가능하지 않았을까 싶었던 거다. 그러나....

어떻게든 정보를 찾으려고 노력한 것 같은데, 심각하게 뒤죽박죽 섞여있다. 아예 존재하지 않는 작품을 찾아주기도 하고, 뒤죽박죽 섞인 결과물 때문에 내가 찾는 정보를 정확히 인식할 수 없었다.

10년이나 지나서 기억도 가물가물한데 작가명에 작품 제목을 적어놓으면 어떻게 알아채라고!

그래서 다른 놈으로 검색을 해봐야겠다 싶던 중에, 최근에 많은 업데이트를하며 맹추격중인 Gemini가 생각났다.

어우... 구글이라는 검색엔진을 쓸 수 있는 Gemini가 이게 맞나? 아예 그냥 대놓고 못찾겠다고 해버리네... 물론 실험적인 기능으로 추가된건 알겠지만서도, 구글 검색에 최적화 되었다면서 추가된 기능치곤 너무 아쉬운 성능이었다.

이번에는 AI 검색엔진으로 가장 유명한 Perplexity를 테스트해봤다. 역시 아니나다를까 무료버전으로 검색했음에도 바로바로 찾아주는 모습이다.

아쉬운 것은 키스우드는 다음이 아니라 네이버에서 연재된 작품이었다는 것. 그래도 대부분의 정보가 맞아서 내가 이 작품을 다시 찾는데 가장 도움이 되는 정보를 제공해줬다.

결과를 보고 대조해보면, 다른 AI 서비스도 나름 어떻게든 정보를 찾기는 찾았다. 하지만, 해당 정보들이 정확히 무얼 의미하는지 검증을 실패한 것 같다. 제목과 작가가 뒤바뀌거나, 후속작과 전작을 혼동해서 욱여넣는다거나...

가만... 그렇다면 검증만 추가하면 정보의 정확도가 올라갈 수 있을까??? 기본적으로 자기검증을 거치는 추론모델로 테스트를 해보면 어떨까?

추론모델인 o4-mini로 테스트해보았다.

18초가 걸리긴 했지만, 내가 잘못 제공한 정보(다음웹툰)를 정정해주기도 했고, 나머지 정보도 정확히 맞아떨어진다. 확실히 추론을 통해서 오류를 정정하는 것이 작동해서 신뢰도를 높일 수 있게 된 듯싶다.

적당히 찾는척하다가 못찾겠다 꾀꼬리를 외치던 하위모델에 비해서 열심히 찾아주는 것을 확인할 수 있었다.

Ingenio Kezilac