프롬프트를 잘 짜도 결국 안 풀리는 일이 생깁니다. 모델이 모르는 정보가 필요할 때입니다. 우리 회사의 어제 매출, 우리 팀 코드, 어제 개정된 환불 정책 같은 것들이죠. 이 영역에서 사람의 역할은 질문을 다듬는 것이 아니라 필요한 정보를 같이 챙겨주는 일 로 옮겨갑니다. 이걸 컨텍스트 엔지니어링이라고 부릅니다.

1. 컨텍스트 엔지니어링이란

컨텍스트 엔지니어링은 모델 옆에 어떤 정보를 어떻게 배치할지 설계하는 작업입니다. 같은 모델이라도, 같은 프롬프트라도, 옆에 깔아둔 정보가 다르면 답이 완전히 달라집니다.

업계가 본격적으로 이 단어를 쓰기 시작한 건 2025년 6월입니다. Shopify CEO Tobi Lutke와 OpenAI 공동창립자 Andrej Karpathy가 거의 같은 주에 이 표현을 던졌고, 같은 해 9월 Anthropic이 공식 가이드를 내면서 자리잡았습니다.

Anthropic은 컨텍스트 윈도우 안에 들어갈 수 있는 요소를 다음 6가지로 정리합니다.

목록이 길어 보이지만 발상은 단순합니다. AI가 잘 못한다면 위 6가지 중 어디가 부실한지 점검하자 는 체크리스트입니다.

다만 "그러면 그냥 다 욱여넣으면 되겠네"는 함정입니다. 컨텍스트가 길어질수록 모델이 그 안의 정보를 정확히 떠올릴 확률이 오히려 떨어집니다. 아래는 NoLiMa 벤치마크 결과인데, GPT-4o조차 32K 토큰 구간에서 정확도가 99%에서 70%로 떨어지는 것을 볼 수 있습니다.

그래서 컨텍스트 엔지니어링의 진짜 일은 "많이 넣기"가 아니라 "필요한 것만 골라 넣기" 입니다.

2. 직접 해보기

이번 실습은 프롬프트 자체보다 같이 넣어주는 정보가 결과를 바꾸는 경험입니다. 한 번은 참고 문서를 같이 주고, 한 번은 빼고 같은 질문을 던져 봅니다.

2.1 참고 문서를 같이 넣은 경우

채팅 탭에서 새 대화를 열고, 아래를 그대로 붙여 넣어보세요.

아래 [참고 문서]를 기반으로만 답변하세요.
문서에 없는 내용은 "해당 정보는 확인되지 않습니다"라고 답하세요.

[참고 문서]
---
환불 정책 (2025.01 개정)
- 구매 후 7일 이내: 전액 환불 (배송비 회사 부담)
- 구매 후 8-30일: 제품 미개봉 시 전액 환불 (배송비 고객 부담)
- 구매 후 30일 이후: 환불 불가, 교환만 가능
- 디지털 상품: 다운로드 이전에만 환불 가능
- 예외: 제품 하자 시 90일 이내 전액 환불
---

질문: 2주 전에 산 미개봉 제품 환불 가능해?

AI가 정책 문서의 "8-30일, 미개봉 시 전액 환불(배송비 고객 부담)" 조항을 정확히 인용하면서 답해 줍니다.

2.2 참고 문서를 뺀 경우

같은 모델에 새 창을 열고, 이번엔 참고 문서를 통째로 빼고 질문만 던져보세요.

2주 전에 산 미개봉 제품 환불 가능해?

AI는 두 가지 중 하나로 답합니다.

• "회사마다 정책이 다르니 확인이 필요합니다" 같은 일반론으로 빠지거나
• 그럴듯하지만 실제 정책과는 다른 할루시네이션을 자신 있게 만들어 냅니다

3. 무엇을 관찰해야 하나

같은 모델, 비슷한 질문인데 결과가 갈렸습니다. 차이는 프롬프트가 아니라 옆에 깔린 정보에 있었습니다.

이 발상은 그대로 일터에서도 쓸 수 있습니다.

• 고객 응대: 회사 정책 PDF를 같이 첨부하면 일반론이 아닌 우리 회사 정책 그대로의 답이 나옵니다
• 법무·인사 검토: 사규나 계약 템플릿을 같이 주면 모델이 그 위에 올라타 답합니다
• 코드 작업: 폴더에 우리 규칙(CLAUDE.md)을 같이 두면 그 규칙을 지킨 결과물이 나옵니다

Claude Desktop도 이 발상으로 설계되어 있습니다. 3장에서 본 것처럼 Code 탭은 작업 폴더의 CLAUDE.md 파일을 매 작업마다 컨텍스트에 함께 올려놓고 일하고, 채팅과 Cowork의 프로젝트는 지침과 넣어둔 파일을 새 대화마다 옆에 깔아둡니다. 컨텍스트 엔지니어링이 도구의 기본 작동 방식으로 들어와 있는 겁니다.

다음 절에서는 AI에게 일할 환경 자체를 깔아주는 하네스 엔지니어링을 체험해봅니다.