프롬프트의 비밀
AI에게 건네는 입력 글 전체를 프롬프트(prompt)라고 부릅니다. 같은 것을 부탁해도 프롬프트를 어떻게 쓰느냐에 따라 답이 크게 달라진다는 이야기, 한 번쯤 들어보셨을 겁니다. 그런데 프롬프트는 대체 왜 답을 바꾸는 걸까요. 이 책을 여기까지 읽은 여러분은 이미 답을 알고 있습니다. 확률입니다. 시뮬레이터의 '프롬프트의 비밀' 페이지에서 확인해 보겠습니다.
1. 질문은 그대로, 앞글만 바꿨을 뿐
첫 번째 데모의 질문은 "사과에 대해 알려줘." 한 문장입니다. 앞글 없이 그냥 물으면 답이 향할 방향의 확률이 과일 사과 48%, 회사 애플 22%, 잘못을 비는 사과 18%로 흩어져 있습니다. 이제 "아이폰 살까 고민 중" 붙이기 버튼을 눌러 보세요.
질문은 한 글자도 바뀌지 않았는데, 앞에 붙은 한 줄이 회사 애플 쪽 확률을 78%까지 끌어올렸습니다. "친구랑 싸웠어"를 붙이면 같은 '사과'가 잘못을 비는 사과로 읽힙니다. 모델은 마음을 읽는 것이 아니라 받은 글자로만 확률을 계산하기 때문에, 내 머릿속 상황은 프롬프트에 쓰지 않으면 존재하지 않는 정보입니다. AI의 답이 엉뚱했다면 대부분 모델이 멍청해서가 아니라 맥락을 덜 준 것이 원인입니다.
2. 챗봇의 숨은 쪽지
두 번째 데모는 챗봇의 숨은 쪽지입니다. 여러분이 "안녕! 넌 누구야?"라고 묻든 무엇을 묻든, 챗봇 서비스는 그 말 앞에 시스템 프롬프트라는 지시문을 몰래 붙여서 전송합니다. 데모에서 쪽지를 '해적 말투'로 바꿔 보세요.
같은 모델, 같은 질문인데 쪽지 한 장에 전혀 다른 성격의 챗봇이 됩니다. 여러분이 "너는 ○○야"라고 직접 써주는 역할 부여도 쪽지를 한 장 더 얹는 것과 같은 원리입니다. 역할도 쪽지도 마법 명령이 아니라 확률을 밀어 올리는 장치라서, 말투와 방향은 확실히 바꾸지만 아주 가끔은 지켜지지 않습니다.
프롬프트 기법 중 가장 유명한 "너는 ~야"식 역할 부여조차 실제 효과는 의문이라는 연구가 있습니다. 아래 논문은 다양한 역할을 붙여가며 답의 정확도를 비교했는데, 역할을 줘도 성능이 나아지지 않았다고 보고했습니다. 역할 부여가 쓸모없다는 뜻은 아닙니다. 답의 말투나 관점을 바꾸는 데는 여전히 유용하니, 정확도를 올리는 비법이 아니라 표현을 조절하는 도구 정도로 보는 것이 적절합니다.
- 논문: When "A Helpful Assistant" Is Not Really Helpful, https://arxiv.org/html/2311.10054v3
3. 재료를 얹으면 갈래가 굵어진다
세 번째 데모는 막연한 부탁 "여행 계획 좀 짜 줘."에 상황, 역할, 조건, 예시라는 재료를 하나씩 얹어 보는 실습입니다. 화면 오른쪽의 '답이 갈 수 있는 갈래' 지도를 먼저 봐주세요.
같은 부탁에도 답이 흘러갈 수 있는 갈래는 여러 개입니다. 아무 재료도 없을 때 내가 원하는 '가족 맞춤 제주 일정'으로 갈 확률은 15%뿐이고, 아무 곳의 유명지를 나열하거나(35%) "어디로 가세요?"라고 되묻는(28%) 갈래가 더 굵습니다. AI가 이상한 것이 아니라, 받은 정보가 없으니 어느 갈래로든 갈 수 있는 상태인 것입니다. 이제 위의 재료 버튼 네 개를 하나씩 눌러 보세요.
재료를 얹을 때마다 확률의 물줄기가 원하는 갈래 쪽으로 굵어지는데, 폭은 재료마다 다릅니다. 내가 누구고 왜 묻는지를 알려주는 '상황'이 +35%p로 가장 크고, '역할'은 +10%p로 가장 작습니다. 그리고 재료를 전부 얹어도 게이지는 92%에서 멈춥니다. 프롬프트를 아무리 잘 써도 확률 뽑기라는 본질은 사라지지 않아서, 다른 갈래로 빠질 가능성이 조금은 남기 때문입니다.
4. 기교에서 정보로
질문을 잘 쓰는 기술을 프롬프트 엔지니어링이라고 부릅니다. ChatGPT 초기, 아직 모델의 지능이 충분하지 않던 시절에 주목받았습니다. 같은 부탁도 어떻게 쓰느냐에 따라 결과가 크게 달라져서 갖가지 기법이 마법의 주문처럼 공유되었고, 프롬프트 엔지니어라는 직업이 생겨 고액 연봉 채용 공고가 화제가 되기도 했습니다.
그런데 모델의 지능이 높아지면서 이 기법들 상당수가 모델 안으로 흡수되었습니다.
차근차근 생각하라고 시키지 않아도 요즘 모델은 알아서 풀이 과정을 거치고, 질문이 다소 어설퍼도 의도를 잘 알아챕니다. 한때 비법이던 주문들은 굳이 외울 필요가 없어졌습니다. 끝까지 남는 것은 방금 세 번째 데모에서 확인한 그것, 원하는 바를 명확히 전달하는 능력입니다. 그것은 기교라기보다 사람에게 일을 맡길 때도 필요한 좋은 소통에 가깝습니다. 기교 대신 정보라는 것, 이것이 프롬프트 엔지니어링의 현재 위치입니다.
그리고 정보 중에서 가장 힘이 센 것이 '상황'이었다는 사실을 기억해 두세요. 상황과 자료를 충분히 차려주려다 보면 자연스럽게 대화가 길어지는데, 긴 대화에서는 전혀 다른 문제가 시작됩니다. 다음 절의 주제입니다.