약국에 전화해서 "영업 끝났나요?"라고 물으면 AI가 "오늘은 오후 6시까지 운영합니다"라고 답합니다. 그런데 바로 이어서 "약은 아직 찾을 수 있어요?"라고 물으면, AI는 앞 문장을 기억하고 "지금은 마감이라 내일 오전부터 가능합니다"라고 대답하죠.
어떻게 이게 가능할까요? 비결은 '대화 상태 관리'라는 기술에 있습니다.
대화도 '지금 어디쯤'인지 위치가 있어요
종이 지도를 펼쳐놓고 길을 안내한다고 상상해보세요. 내가 지금 어디에 서 있는지 모르면, 아무리 좋은 지도도 쓸모가 없습니다. 전화 AI도 마찬가지입니다. 통화가 시작된 이후 고객이 무엇을 물었고, 무엇에 답을 받았고, 아직 해결되지 않은 게 무엇인지를 계속 기록하면서 '지금 대화가 어느 지점에 있는지' 추적합니다. 이걸 대화 컨텍스트(context)라고 부릅니다.
같은 단어, 다른 의미
예를 들어 고객이 "됩니까?"라고만 말해도, 앞에서 "예약" 이야기를 하고 있었다면 AI는 '예약이 가능하냐는 뜻'으로 이해합니다. 반면 "환불" 이야기 중이었다면 '환불이 되냐는 뜻'으로 받아들이죠. 단어 하나가 아니라 대화의 흐름 전체를 문맥으로 삼는 것입니다.
사람도 똑같이 하고 있어요
우리가 친구와 대화할 때 매번 "아까 말한 그 카페 말이야…"라고 복습하지 않아도 자연스럽게 이어지는 이유가 바로 이 '상태 기억' 덕분입니다. 전화 AI는 이 과정을 통화가 끝날 때까지 자동으로, 아주 빠르게 반복합니다.
결국 전화 AI가 "똑똑하게 느껴지는" 순간은 대부분 이 대화 상태 관리가 잘 작동하고 있다는 신호입니다. 정해진 답변집이 아니라, 지금 이 대화의 지도를 보고 길을 안내하는 것이죠.