본문 바로가기

전체 글136

AI는 왜 가끔 틀린 말을 할까 (할루시네이션의 이유) AI를 쓰다 보면 한 번쯤 이런 경험을 하게 된다. 분명히 그럴듯하게 설명을 하는데, 나중에 확인해보면 틀린 내용인 경우다. 처음에는 “이거 왜 이렇게 틀리지?”라는 생각이 들었다. 나도 예전에 자료를 찾다가 AI가 알려준 내용을 그대로 믿었다가, 실제로는 존재하지 않는 정보라는 걸 뒤늦게 알게 된 적이 있다. 그때 조금 당황하기도 했고, 동시에 궁금해졌다. 왜 이렇게 자연스럽게 틀린 말을 할 수 있는 걸까. AI는 ‘정확한 정보’가 아니라 ‘그럴듯한 문장’을 만든다이 문제를 이해하려면 먼저 AI가 어떻게 답변을 만드는지 다시 생각해볼 필요가 있다. AI는 우리가 생각하는 것처럼 사실을 검증해서 답을 내리는 구조가 아니다. 대신 이전 문맥을 기반으로 가장 자연스러운 다음 단어를 이어붙이면서 문장을 만든다.. 2026. 5. 3.
AI는 왜 같은 질문에도 답이 달라질까 (생각보다 단순한 이유) ChatGPT를 사용하다 보면 한 번쯤 이런 경험을 하게 된다. 같은 질문을 했는데도 답변이 조금씩 다르게 나오는 경우다. 처음에는 “왜 이러지? 오류인가?”라는 생각이 들었다. 나도 예전에 같은 질문을 두 번 연속으로 했는데, 표현도 다르고 내용도 살짝 달라서 꽤 당황했던 기억이 있다. 그런데 이건 오류가 아니라, AI가 원래 그렇게 동작하도록 설계되어 있기 때문이다. AI는 항상 ‘정답’을 고르는 게 아니라 ‘확률적으로 선택한다AI는 우리가 생각하는 것처럼 하나의 정답을 정확하게 찾아내는 방식으로 답변하지 않는다. 대신 여러 가능한 단어들 중에서 “가장 자연스러울 것 같은 것”을 확률적으로 선택한다.예를 들어 어떤 문장의 다음 단어로 올 수 있는 후보가 여러 개 있다고 가정해보면, 그 중에서 가장 높.. 2026. 5. 1.
AI는 어떻게 답변을 만들어낼까 (생각하는 것처럼 보이는 이유) ChatGPT 같은 AI를 처음 써보면 대부분 이런 느낌을 받는다. “이거 진짜 생각하는 거 아니야?” 나도 처음에는 그렇게 느꼈다. 질문을 하면 문맥에 맞게 자연스럽게 이어서 답을 하고, 심지어 설명도 꽤 그럴듯하다. 그래서 한동안은 AI가 뭔가를 ‘이해하고 있다’고 생각했다. 그런데 원리를 조금만 들여다보니까 생각보다 완전히 다른 방식으로 동작하고 있었다. AI는 의미를 이해하기보다 다음 단어를 예측한다AI가 답변을 만드는 핵심 원리는 생각보다 단순하다. 바로 “다음에 올 단어를 예측하는 것”이다. 우리가 문장을 읽을 때는 의미를 이해하면서 읽지만, AI는 그게 아니라 확률적으로 가장 자연스러운 다음 단어를 이어붙이는 방식으로 문장을 만든다.예를 들어 “오늘 날씨가”라는 문장이 주어지면, AI는 그 .. 2026. 5. 1.
내 데이터로 나만의 AI 챗봇 만드는 방법 (RAG 실전) RAG 구조를 이해하고 나면 자연스럽게 이런 생각이 든다. “이걸 실제로 내가 써먹을 수는 없을까?” 나도 처음에는 그냥 개념으로만 알고 있었는데, 막상 직접 해보니까 생각보다 어렵지 않으면서도 체감은 꽤 크게 다가왔다. 특히 내가 정리해둔 자료를 기반으로 답변해주는 걸 보고 나서, 이게 단순한 기술이 아니라 실생활에서도 충분히 활용할 수 있는 구조라는 걸 느꼈다. 내 데이터를 기반으로 챗봇을 만든다는 건 어떤 의미일까일반적인 AI는 학습된 데이터 범위 안에서만 답을 만든다. 그래서 내가 가진 자료나 개인적인 정보에 대해서는 정확한 답을 기대하기 어렵다. 나도 처음에는 “왜 내가 정리한 내용인데 제대로 못 맞추지?”라는 생각을 많이 했다.그런데 RAG 구조를 적용하면 상황이 달라진다. 핵심은 AI에게 내.. 2026. 5. 1.
RAG 전체 구조 한 번에 정리 (임베딩부터 HNSW까지)</h1> 임베딩부터 시작해서 벡터 데이터베이스, Similarity Search, ANN, 그리고 HNSW까지 하나씩 보면 이해는 되는데, 막상 전체 흐름을 한 번에 설명하려고 하면 막히는 순간이 있다. 나도 처음에 그랬다. 각각은 알겠는데, “그래서 이게 다 어떻게 연결되는 거지?”라는 느낌이 계속 남았다.그래서 이번에는 RAG 구조를 처음부터 끝까지 한 번에 정리해보려고 한다. 이 흐름만 제대로 이해하면, 요즘 대부분의 AI 서비스가 어떻게 돌아가는지 감이 확 잡힌다. 임베딩은 모든 것의 시작이다 (텍스트를 의미로 바꾸는 과정)RAG의 출발점은 항상 임베딩이다. 우리가 사용하는 문장이나 문서를 그대로 두면 컴퓨터는 의미를 이해할 수 없다. 그래서 텍스트를 숫자 벡터로 바꾸는 과정이 필요하다.예를 들어 문서를 .. 2026. 4. 30.
HNSW는 무엇일까 (ANN의 대표 알고리즘) ANN까지 이해하고 나면 또 하나 궁금해진다. “그래서 실제로는 어떤 방식으로 이렇게 빠르게 찾는 거지?” 나도 이 부분이 가장 헷갈렸다. 단순히 ‘근사적으로 찾는다’는 개념은 이해했는데, 그걸 실제로 어떻게 구현하는지는 감이 잘 안 왔다. 그러다가 HNSW라는 알고리즘을 보고 나서야, 아 이런 구조로 빠르게 찾는구나 싶었다. HNSW는 벡터를 ‘그래프’ 형태로 연결해서 탐색한다HNSW(Hierarchical Navigable Small World)는 이름은 복잡해 보이지만, 핵심 아이디어는 의외로 직관적이다. 데이터를 그냥 리스트로 두는 것이 아니라, 서로 비슷한 벡터들끼리 연결해서 하나의 네트워크처럼 만든다.각 벡터는 노드가 되고, 비슷한 벡터끼리 연결된다. 그래서 어떤 노드에서 시작하더라도, 주변을.. 2026. 4. 30.

티스토리툴바