말 잘하는 AI와 일 잘하는 AI는 다르다

요즘 AI와 함께 작은 도구들을 하나씩 만들고 있습니다.

거창한 프로그램을 만드는 것은 아닙니다.
공공기관에서 공개한 데이터를 가져와 사람들이 필요한 정보를 쉽게 검색할 수 있도록 만드는 일입니다.

어떤 도구는 병원과 약국을 찾고, 어떤 도구는 채용정보를 검색합니다. 부동산 거래정보를 찾기도 하고, 문화행사나 기차 같은 생활정보를 찾아주기도 합니다.

제가 필요한 것은 설명서가 아닙니다.

실제로 작동하는 검색 도구입니다.

그래서 AI에게 일을 시킬 때도 꽤 구체적입니다.

“이 API를 이용해서 이런 조건으로 검색되게 만들어주세요.”

그러면 AI는 코드를 작성합니다.
저는 그 코드를 실제 파일에 넣고 실행해봅니다.

여기서부터 AI와 실제로 일을 해본 사람만 알 수 있는 일이 벌어집니다.

처음에는 AI가 참 똑똑해 보입니다.

무엇을 어떻게 만들겠다고 설명합니다.
어떤 기능을 넣을지도 이야기합니다.
문제가 생기면 원인도 분석합니다.

그런데 정작 결과물을 확인하면 이야기가 달라질 때가 있습니다.

코드를 달라고 했는데 코드보다 설명이 길어집니다.

하나의 문제를 고쳐달라고 했는데 잘 돌아가던 다른 부분까지 건드립니다.

API가 실제로 어떤 데이터를 보내주는지 확인하기도 전에 “아마 이 필드일 것입니다”라고 추측해서 코드를 바꿉니다.

검색 결과가 제대로 나오지 않는데도 원인을 해결하기보다 또 다른 설명을 이어갑니다.

그러다 보면 이상한 일이 생깁니다.

처음에는 제가 AI에게 일을 시키고 있었습니다.

그런데 어느 순간부터 제가 AI를 관리하고 있습니다.

“그 부분은 건드리지 마세요.”

“코드부터 주세요.”

“실제로 확인한 것 맞습니까?”

“왜 서울을 선택했는데 대전이 나오나요?”

“아까 한 말을 또 하고 있잖아요.”

이런 말을 제가 계속 하게 됩니다.

이쯤 되면 질문이 하나 생깁니다.

AI가 정말 일을 잘하고 있는 걸까요?

말은 잘합니다.
설명도 그럴듯합니다.
자신 있게 답합니다.

그런데 정작 제가 맡긴 문제가 해결되지 않는다면 어떻게 봐야 할까요?

저는 AI를 쓰고 있는 것일까요, 아니면 AI를 감독하고 있는 것일까요.

이런 경험을 반복하면서 AI의 실력을 판단하는 기준을 다시 생각하게 됐습니다.

우리는 AI가 얼마나 똑똑한지 이야기할 때 답변의 수준을 많이 봅니다.

얼마나 자연스럽게 말하는지, 얼마나 많은 지식을 알고 있는지, 얼마나 그럴듯한 설명을 만들어내는지를 봅니다.

하지만 실제로 일을 시켜보면 기준은 훨씬 단순해집니다.

문제를 해결했는가.

그게 전부에 가깝습니다.

아무리 긴 설명을 해도 코드가 제대로 작동하지 않으면 실패입니다.

아무리 멋진 계획을 세워도 사용자가 직접 오류를 찾아야 한다면 효율적인 작업이라고 하기 어렵습니다.

아무리 자신 있게 말해도 확인하지 않은 내용을 추측해서 이야기한다면 신뢰하기 어렵습니다.

반대로 말이 조금 짧더라도 문제를 정확하게 파악하고, 필요한 것만 건드리고, 확인할 것은 확인하고, 결과물을 내놓는 AI라면 이야기가 달라집니다.

그래서 제가 생각하는 AI의 진짜 표준은 따로 있습니다.

누가 더 많이 떠드느냐가 아닙니다.
누가 더 효율적으로 문제를 해결하느냐입니다.

사람도 마찬가지 아닐까요.

회사에서 “저는 일 잘합니다”라고 가장 크게 말하는 사람이 반드시 일을 가장 잘하는 것은 아닙니다.

결국 평가받는 것은 결과입니다.

무슨 말을 얼마나 많이 했는지가 아니라, 맡은 일을 얼마나 정확하고 효율적으로 끝냈는지가 중요합니다.

AI도 다르지 않다고 생각합니다.

오히려 AI에게는 이 기준이 더 엄격해야 합니다.

AI를 사용하는 이유 자체가 사람의 시간과 노력을 줄이기 위해서이기 때문입니다.

그런데 AI가 한 일을 다시 사람이 검수하고, 오류를 찾아내고, 어디를 고쳐야 하는지 설명하고, 같은 이야기를 반복해서 시켜야 한다면 이야기가 달라집니다.

사람의 일을 줄여주는 것이 아니라 사람에게 또 하나의 관리 업무를 만들어주는 것이기 때문입니다.

지역 검색 기능을 만드는 일에서도 이런 일이 생깁니다.

처음에는 서울, 경기, 부산, 인천 정도를 선택해서 테스트합니다. 특히 서울은 테스트할 때 자주 사용합니다.

그런데 어느 날 전남이나 광주를 선택해보면 검색 결과가 나오지 않습니다.

처음에는 API 문제라고 생각할 수 있습니다.

하지만 코드를 자세히 살펴보면 실제로는 서울, 경기, 부산, 인천 정도만 처리하도록 만들어져 있는 경우가 있습니다.

화면에는 지역을 선택하는 기능이 있는데, 정작 코드에는 일부 지역만 들어가 있는 것입니다.

서울이 정상적으로 나온다고 해서 전국 지역 검색이 정상적으로 작동하는 것은 아닙니다.

몇 군데에서 작동했다고 전체가 작동하는 것은 아닙니다.

이런 경험을 하고 나면 AI가 만든 결과물을 보는 기준도 달라집니다.

겉으로 기능이 있어 보이는지가 아니라, 제가 요구한 조건이 실제로 모두 작동하는지를 보게 됩니다.

그리고 AI를 사용하면서 또 하나 구분하게 된 것이 있습니다.

틀리는 AI와 사기치는 것처럼 느껴지는 AI는 다릅니다.

저는 Gemini를 사용하면서 가끔 그런 느낌을 받은 적이 있습니다.

실제로 확인하지 않은 것을 확인한 것처럼 말하거나, 하지 않은 일을 이미 해놓은 것처럼 이야기하는 경우입니다.

AI가 일부러 사람을 속인다고 단정하려는 이야기는 아닙니다. 다만 사용자 입장에서는 그렇게 느껴지는 순간 자체가 굉장히 불쾌하고 위험하게 느껴집니다.

틀리는 것은 이해할 수 있습니다.

모르면 모른다고 하면 됩니다.

확인하지 않았으면 확인하지 않았다고 하면 됩니다.

문제가 생겼다면 문제가 생겼다고 인정하면 됩니다.

하지만 모르는 것을 아는 것처럼 말하는 순간부터 이야기가 달라집니다.

AI에게 필요한 것은 자신감이 아니라 검증입니다.

잘못했으면 인정하고 다시 확인하면 됩니다. 이미 잘 돌아가는 부분은 건드리지 않고, 문제가 생긴 부분만 고치면 됩니다. 그리고 무엇보다 사용자가 요구한 조건을 끝까지 유지해야 합니다.

지역을 전국으로 만들어달라고 했으면 몇 개 지역만 넣고 끝내서는 안 됩니다.

검색이 되게 해달라고 했으면 검색 버튼이 보이는 것으로 끝나는 것이 아닙니다.

실제로 검색되어야 합니다.

저는 그래서 이렇게 생각합니다.

AI는 말을 많이 하는 존재가 아니라, 일을 끝내는 존재여야 합니다.

물론 AI가 모든 문제를 한 번에 해결할 수는 없습니다.

중요한 것은 실패하지 않는 것이 아니라 실패했을 때 어떻게 움직이느냐일 것입니다.

문제를 정확하게 인정하고,

필요한 정보를 다시 확인하고,

엉뚱한 곳을 건드리지 않고,

문제의 핵심으로 돌아가서,

결국 해결하는 것.

저는 그것이 AI의 실력이라고 생각합니다.

그래서 요즘은 AI가 저에게 무슨 말을 하는지보다 제가 맡긴 일이 어디까지 해결됐는지를 보게 됩니다.

AI가 얼마나 많은 말을 했는지는 중요하지 않습니다.

얼마나 멋진 설명을 했는지도 두 번째 문제입니다.

결국 남는 질문은 하나입니다.

그래서 해결됐습니까?

어쩌면 이것이 앞으로 AI를 평가하는 가장 현실적인 기준인지도 모르겠습니다.

AI의 지능을 말로 증명하는 시대에서,

AI의 능력을 결과로 증명하는 시대로.

저는 적어도 AI와 실제로 일을 해보면서 그렇게 생각하게 됐습니다.