저도 처음엔 AI를 그냥 똑똑한 검색창 정도로 썼습니다. 궁금한 게 생기면 채팅창을 열고, 답변이 마음에 안 들면 표현만 바꿔 다시 질문하는 식이었죠. 그런데 시간이 지날수록 드는 의문이 하나 있었습니다. 분명히 AI가 엄청나다고들 하는데, 왜 제 손에서는 그냥 조금 편한 포털 수준인 걸까. 그 답을 찾는 데 꽤 오래 걸렸습니다.
검색창처럼 쓰는 습관, 생각보다 많이 손해 봤습니다
솔직히 이건 예상 밖이었습니다. 처음 AI를 쓰기 시작했을 때, 제가 가장 자주 한 행동은 "이거 어떻게 하면 돼요?"라고 묻는 것이었습니다. 블로그 글 주제가 막히면 "이 주제로 글 써줘", 자료 정리가 필요하면 "이 내용 요약해줘". 이 방식이 문제라는 걸 오래 몰랐습니다.
AI를 검색 엔진처럼 쓰는 방식, 그러니까 단순 쿼리(Query) 입력 방식은 AI가 가진 기능의 극히 일부만 사용하는 것입니다. 여기서 쿼리란 사용자가 시스템에 던지는 단발성 질문을 뜻하는데, 이 방식으로는 AI가 가진 문맥 이해력이나 작업 자동화 기능을 전혀 활용할 수가 없습니다. 실제로 하버드와 BCG가 컨설턴트 758명을 대상으로 진행한 연구에 따르면, AI를 제대로 활용한 그룹은 그렇지 않은 그룹보다 결과물 품질이 40% 높았고 작업 속도는 25% 빨랐습니다(출처: Harvard Business School). 이 차이는 AI의 성능 차이가 아니라 활용 방식의 차이에서 나온 것입니다.
제가 직접 써봤는데, 같은 ChatGPT를 쓰더라도 단순히 질문만 넣었을 때와, 파일을 첨부하거나 음성 입력으로 맥락을 충분히 전달했을 때의 결과물 수준이 확연히 달랐습니다. 타이핑으로 짧게 치는 것과, 음성으로 상황을 설명하고 원하는 방향까지 이야기하는 것은 완전히 다른 경험이었습니다. AI는 맥락이 많을수록 더 정밀하게 반응합니다.
- 단발성 질문(쿼리) 방식은 AI 기능의 반의 반도 활용하지 못함
- 파일 첨부나 음성 입력으로 맥락을 전달하면 결과물 품질이 달라짐
- 검색 엔진과 AI의 근본적인 차이는 '맥락 처리 능력'에 있음
컨텍스트 설정 없이 매번 처음부터 시작했던 시간들
블로그 글을 자주 쓰다 보니 AI와 작업하는 일이 늘었는데, 한동안 저는 매번 새 창을 열어서 "저는 블로그를 운영하고 있고, 이런 식의 글을 씁니다"라고 처음부터 설명하는 걸 반복했습니다. 그때는 그게 당연한 줄 알았는데, 지금 돌아보면 엄청난 낭비였습니다.
컨텍스트(Context) 설정이란 AI에게 반복적으로 전달해야 하는 배경 정보를 미리 저장해 두고, 매번 설명 없이 바로 본론으로 들어갈 수 있게 만드는 작업입니다. 쉽게 말해 신입 직원에게 업무 매뉴얼을 한 번에 교육해 두는 것과 같습니다. 제가 원하는 글 톤, 자주 쓰는 표현 방식, 피하고 싶은 단어, 글의 구조 같은 것들을 미리 입력해 두니까 작업 효율이 확실히 달라졌습니다.
프롬프트 엔지니어링(Prompt Engineering)이라는 말이 있습니다. AI에게 원하는 결과를 뽑아내기 위해 입력 지시문을 체계적으로 설계하는 기술을 뜻합니다. 처음엔 거창하게 느껴졌는데, 막상 해보니 핵심은 단순했습니다. "내가 반복적으로 알려줘야 하는 것들을 미리 적어두는 것." 그게 전부였습니다. 오픈AI 공식 문서에도 프롬프트 설계가 결과물 품질에 미치는 영향이 크다는 점이 명시되어 있습니다(출처: OpenAI Prompt Engineering Guide).
제 경험상 이건 좀 다릅니다. 많은 분들이 세팅에 시간을 들이는 걸 귀찮아합니다. 그런데 처음 한 번 제대로 해두면, 이후 작업 속도가 전혀 다릅니다. 초기 투자 시간이 아까운 게 아니라 오히려 이걸 안 해온 시간이 더 아깝습니다.
할루시네이션 때문에 AI를 못 믿겠다고 포기한 적이 있었습니다
제가 직접 써봤는데, AI가 그럴듯한 수치나 인용을 만들어내는 걸 처음 발견했을 때 꽤 당황했습니다. 실제로 존재하지 않는 논문 제목을 자신 있게 답변하는 걸 보고, 한동안 사실 확인이 필요한 글에는 AI를 아예 쓰지 않았습니다. 돌아보면 그것도 극단적인 대응이었습니다.
할루시네이션(Hallucination)이란 AI가 존재하지 않거나 부정확한 정보를 사실인 것처럼 생성하는 현상을 말합니다. 최신 모델들에서 많이 줄어든 건 사실이지만 완전히 사라진 건 아닙니다. 이걸 이유로 AI 자체를 신뢰하지 않는 것과, 이 현상이 발생하지 않도록 시스템을 설계하는 것은 완전히 다른 접근입니다.
제가 지금 쓰는 방식은 AI에게 결과물을 만들게 한 뒤, 불확실한 내용이 있으면 반드시 표시하도록 지시해두는 것입니다. "확인이 필요한 수치나 출처가 있으면 [확인 필요]라고 표시해줘"라는 식의 지침을 미리 설정해 두면, 제가 최종 검토할 포인트가 명확하게 보입니다. 물론 AI가 AI를 검토하는 구조 자체가 완전한 보증은 아닙니다. 특히 사실관계가 중요한 정보는 원자료와 직접 대조하는 과정이 여전히 필요합니다. 이 부분은 자동화로 완전히 대체할 수 없다고 생각합니다.
다만 할루시네이션을 근거로 AI 전체를 불신하는 건, 계산기가 가끔 잘못 입력되는 걸 보고 계산기 자체를 쓰지 않겠다는 것과 비슷한 논리입니다. 제 경우엔 신뢰 가능한 사용 범위를 명확히 정해두고, 그 안에서 활용하는 방식이 가장 효과적이었습니다.
자주 묻는 질문
Q. AI를 검색창처럼 쓰는 게 왜 문제인가요?
A. AI는 단발 질문에 답하는 것 외에도, 문서 분석·자동화·반복 작업 처리 등 훨씬 넓은 기능을 가지고 있습니다. 단순 질문 방식은 이 기능들을 전혀 쓰지 않는 것과 같습니다. 파일 첨부나 음성 입력처럼 맥락을 풍부하게 전달하는 방식으로 전환하면 결과물 수준이 달라집니다.
Q. 컨텍스트 설정은 어떻게 시작하면 되나요?
A. 먼저 AI에게 반복적으로 알려주는 정보가 무엇인지 적어보는 것부터 시작하면 됩니다. 자신의 직무, 원하는 출력 형식, 자주 쓰는 표현이나 피하고 싶은 단어 등을 정리해서 시스템 프롬프트나 초기 메시지로 저장해 두면 됩니다. 처음 한 번만 제대로 해두면 이후 작업에서 반복 설명 없이 바로 본론으로 들어갈 수 있습니다.
Q. AI 할루시네이션은 어떻게 줄일 수 있나요?
A. 불확실한 내용에 표시를 남기도록 지침을 미리 설정해 두는 방식이 실용적입니다. 예를 들어 "확인이 필요한 수치는 [확인 필요]로 표시해줘"라고 지정해 두면 최종 검토 포인트가 명확해집니다. 다만 사실관계가 중요한 정보는 AI 검토에만 의존하지 않고 원자료와 직접 대조하는 과정이 필요합니다.
Q. 프롬프트 엔지니어링 공부를 따로 해야 하나요?
A. 거창하게 시작할 필요는 없습니다. 핵심은 "내가 원하는 것을 AI가 오해하지 않도록 구체적으로 적는 것"입니다. 원하는 출력 형식, 분량, 어조, 피해야 할 표현 등을 명시하는 것부터 시작하면 됩니다. 오픈AI나 앤트로픽 공식 문서에도 기본 가이드가 잘 정리되어 있어 처음 방향을 잡는 데 도움이 됩니다.
Q. AI를 많이 쓸수록 생산성이 무조건 올라가나요?
A. 꼭 그렇지는 않습니다. 자동화 세팅에 드는 시간과 실제로 절약되는 시간을 비교해봐야 합니다. 반복 빈도가 낮은 작업을 억지로 자동화하면 오히려 비효율적일 수 있습니다. 제가 생각하는 기준은 하나입니다. 같은 작업을 주 3회 이상 반복한다면 세팅할 가치가 충분히 있습니다.
결론
제가 AI 사용 방식을 바꾸고 나서 가장 크게 달라진 건 결과물의 질이 아니라 작업을 대하는 태도였습니다. 매번 맨 땅에서 시작하던 것을 멈추고, 컨텍스트를 설정하고, 할루시네이션 검증 구조를 만들어두니까 AI가 비로소 '함께 일하는 도구'처럼 느껴지기 시작했습니다.
AI를 맹신하는 것도, 막연한 불신으로 외면하는 것도 둘 다 손해입니다. 제 경험상 가장 실용적인 태도는 내가 반복하는 일 중에서 무엇을 개선할 수 있는지 파악하고, 효과가 있는 방법만 골라서 쓰는 것이었습니다. 모든 기능을 다 익혀야 한다는 부담 없이, 지금 당장 제일 자주 하는 일 하나부터 세팅해 보는 것을 권합니다.