ChatGPT를 사용하다 보면 한 번쯤 이런 경험을 하게 된다. 같은 질문을 했는데도 답변이 조금씩 다르게 나오는 경우다. 처음에는 “왜 이러지? 오류인가?”라는 생각이 들었다. 나도 예전에 같은 질문을 두 번 연속으로 했는데, 표현도 다르고 내용도 살짝 달라서 꽤 당황했던 기억이 있다. 그런데 이건 오류가 아니라, AI가 원래 그렇게 동작하도록 설계되어 있기 때문이다.
AI는 항상 ‘정답’을 고르는 게 아니라 ‘확률적으로 선택한다
AI는 우리가 생각하는 것처럼 하나의 정답을 정확하게 찾아내는 방식으로 답변하지 않는다. 대신 여러 가능한 단어들 중에서 “가장 자연스러울 것 같은 것”을 확률적으로 선택한다.
예를 들어 어떤 문장의 다음 단어로 올 수 있는 후보가 여러 개 있다고 가정해보면, 그 중에서 가장 높은 확률을 가진 단어를 선택하거나, 때로는 그와 비슷한 다른 단어를 선택할 수도 있다.
이 과정이 한 번만 일어나는 게 아니라, 문장을 만드는 동안 계속 반복된다. 그래서 처음 몇 단어만 달라져도 전체 문장의 흐름이 달라질 수 있다.
나도 이걸 이해하고 나서야 왜 같은 질문인데 답이 조금씩 다른지 납득이 됐다. AI 입장에서는 항상 “비슷하게 맞는 답”을 만드는 거지, 하나의 정답만 고르는 구조가 아니다.
설정값(temperature)에 따라 결과가 달라진다
또 하나 중요한 이유는 바로 설정값이다. 특히 temperature라는 값이 결과에 큰 영향을 준다. 이 값은 쉽게 말하면 “얼마나 다양한 답을 허용할 것인지”를 결정하는 요소다.
temperature가 낮으면:
- 항상 비슷한 답
- 안정적이고 예측 가능한 결과
temperature가 높으면:
- 더 다양한 표현
- 창의적인 답변
- 하지만 가끔 엉뚱한 결과
나도 예전에 같은 질문을 여러 번 던져보면서 테스트해본 적이 있는데, 어떤 경우에는 거의 똑같이 나오고, 어떤 경우에는 완전히 다른 방향으로 답이 나오는 걸 보고 이 차이를 체감했다.
이걸 알고 나니까 “왜 매번 조금씩 다르지?”라는 의문이 오히려 자연스럽게 느껴졌다.
문맥과 입력 방식도 결과에 영향을 준다
같은 질문이라도, 그 전에 어떤 대화를 했는지에 따라 결과가 달라질 수도 있다. AI는 단순히 질문 하나만 보는 게 아니라, 이전 문맥까지 함께 고려해서 답변을 만들기 때문이다.
예를 들어 같은 질문이라도:
- 이전에 기술적인 대화를 했을 때
- 일상적인 대화를 했을 때
답변 톤이나 내용이 달라질 수 있다.
나도 실제로 같은 질문을 다른 상황에서 해봤을 때, 설명 방식이 달라지는 걸 경험했다. 어떤 때는 자세하게 설명해주고, 어떤 때는 간단하게 정리해주는 식이었다.
결국 AI는 고정된 답을 꺼내는 시스템이 아니라, 상황에 맞게 문장을 만들어내는 시스템이라는 걸 이 부분에서 더 확실히 느꼈다.
한 줄로 정리하면 AI는 정답을 선택하는 것이 아니라 확률적으로 문장을 생성하기 때문에, 같은 질문이라도 매번 조금씩 다른 답이 나올 수 있다.