대부분의 팀은 모델을 선택하고, 검색 레이어를 스케치하고, API를 연결하는 것으로 AI 시스템 구축을 시작한다. 범위는 나중에 — 보통 첫 번째 스프린트가 끝난 후 README에 작성된다.
그 순서는 거꾸로다. 시스템이 반드시 답해야 하는 첫 번째 질문은 문서화 세부 사항이 아니다. 그것은 이후의 모든 선택이 의존하는 핵심 결정이다.
"첫 번째 질문"이 실제로 의미하는 것
모든 AI 시스템은 무언가에 답하기 위해 만들어진다. 어떤 범주가 아니라 — 정확하게 명시된 하나의 특정한 것.
영업 시스템의 경우, 첫 번째 질문은 이럴 수 있다: "이 200개 계정 중 이번 주에 아웃리치에 응답할 가능성이 가장 높은 것은 어디인가?" 또는 "이 잠재 고객이 두 번째 통화에서 제기할 가능성이 가장 높은 반론은 무엇인가?" 이 두 질문은 관련 있어 보인다. 하지만 그렇지 않다. 서로 다른 데이터, 다른 검색 로직, 다른 출력 형식이 필요하다.
첫 번째 질문은 시스템이 다른 어떤 출력이 가치를 갖기 전에 반드시 올바르게 답해야 하는 질문이다. 다른 모든 것은 그것의 하위에 있다.
대부분의 팀은 구축을 시작하기 전에 그 문장을 결코 적어두지 않는다.
잘못 정의했을 때의 연쇄 효과
실제 전후 패턴이 있다.
이전: 영업 인텔리전스 시스템을 구축하던 한 팀은 첫 번째 질문을 "담당자가 계정을 이해하도록 돕는다"고 느슨하게 정의했다. CRM 노트, LinkedIn 데이터, 최근 뉴스를 가져오는 검색 레이어를 구축했다. 그 위에 요약 레이어를 구축했다. 담당자들은 계정 요약을 받았다.
6개월 후, 시스템은 사용되지 않고 있었다. 담당자들은 요약이 "흥미롭지만 실행 가능하지 않다"고 말했다. 팀은 더 많은 데이터 소스를 추가했다. 사용량은 그대로였다.
실제 문제: 시스템이 잘못된 첫 번째 질문에 답하고 있었다. 담당자들은 계정 이해가 필요한 것이 아니었다 — 오늘 어떤 계정에 전화해야 하고 그 이유는 무엇인지를 알아야 했다. 그것은 우선순위 결정 질문이지, 요약 질문이 아니다. 최신성 신호, 파이프라인 단계, 담당자 역량 데이터가 필요하다. 그 중 어느 것도 검색 레이어에 없었다.
재구축에는 8주가 걸렸다. 데이터 모델이 바뀌었다. 검색 로직이 바뀌었다. 프롬프트 구조가 바뀌었다.
이후: 다른 팀은 인프라에 손대기 전에 한 페이지짜리 범위 정의 문서로 시작했다. 그들이 명시한 첫 번째 질문: "담당자의 열린 파이프라인과 지난 30일간의 계정 활동을 고려할 때, 오늘 연락해야 할 계정 세 곳은 어디인가?"
그 문장은 즉각적인 결정을 강제했다:
- "계정 활동"이란 무엇인가? (데이터 소스 정의)
- "연락해야 한다"는 것은 무엇을 의미하는가? (스코어링 로직 정의)
- 출력 형식은 무엇인가? (요약이 아닌, 계정당 한 줄 이유가 포함된 순위 목록)
검색 레이어는 처음부터 그 입력에 맞게 범위가 정해졌다. 프롬프트는 산문이 아닌 순위 목록을 생성하도록 작성되었다. 시스템은 4주 만에 출시되었고 첫 달 안에 담당자 팀의 주간 활성 사용률이 80%에 달했다.
같은 범주의 시스템. 다른 첫 번째 질문. 완전히 다른 구축 결과.
연쇄 실패 패턴
첫 번째 질문이 잘못되거나 정의되지 않으면, 세 가지 실패 모드가 따라온다:
- 잘못된 데이터 라우팅. 수집 레이어가 관련 있어 보이는 모든 것을 가져온다. 스토리지 비용이 증가한다. 신호 대 잡음비가 떨어진다. 시스템이 기술적으로는 관련 있지만 운영상 쓸모없는 컨텍스트를 검색한다.
- 잘못된 검색. 잘못된 쿼리에 최적화된 시맨틱 검색이 그럴듯해 보이지만 사용자가 실제로 필요한 것에 답하지 못하는 결과를 반환한다. 시스템이 작동하는 것처럼 보인다. 실제로는 그렇지 않다.
- 값비싼 재구축. 데이터 모델, 검색 인덱스, 프롬프트 구조는 모두 첫 번째 질문과 결합되어 있다. 질문을 바꾸면 세 가지 모두 바뀐다. 범위 정의를 건너뛴 팀은 초기 스프린트가 아닌 재구축으로 그 대가를 치른다.
한 페이지 범위 정의 연습
어떤 인프라도 정의하기 전에, DK1.AI는 하나의 출력물로 범위 정의 연습을 진행한다: 시스템이 반드시 답해야 하는 첫 번째 질문을 명시하는 단 하나의 문장.
연습은 네 단계로 구성된다:
- 사용자와 순간을 명명한다. 누가 시스템을 사용하고, 워크플로우의 어느 시점에서 사용하는가? "영업 담당자"가 아니라 — "하루 첫 번째 통화 90분 전인 어카운트 이그제큐티브."
- 결정을 명명한다. 그 순간 사용자가 내려야 할 결정은 무엇인가? "계정을 이해한다"가 아니라 — "오늘 이 계정에 전화할지 기다릴지 결정한다."
- 출력을 명명한다. 올바른 답은 어떤 모습인가? "요약"이 아니라 — "한 문장 이유가 포함된 예/아니오."
- 실패 조건을 명명한다. 잘못된 답은 어떤 비용을 초래하는가? 답이 "별로 없다"라면, 첫 번째 질문이 아마 올바른 것이 아닐 것이다.
그 네 가지 답이 하나의 문장으로 압축된다. 그 문장이 이후의 모든 구축 결정에 대한 수용 기준이 된다.
이것은 디스커버리 워크숍이 아니다. 시스템을 사용할 사람들과 함께하는 60분짜리 실무 세션이다. 출력물은 슬라이드 덱이 아닌 문서다.
DK1.AI가 이것을 적용하는 방식
AI Brand Presence는 동일한 연습으로 시작한다 — 콘텐츠나 검색 아키텍처가 구축되기 전에 구매자가 AI 시스템에 회사에 대해 묻는 특정 질문을 정의한다. 구매자가 묻는 첫 번째 질문이 어떤 신호가 중요한지를 결정한다. 그것을 잘못 파악하면 잘못된 쿼리에 대해 잘못된 장소에 존재감을 구축하게 된다.
이 패턴은 우리가 구축하는 모든 시스템에 적용된다. 범위 먼저. 인프라는 그 다음.
AI 구축을 막 시작하려 하거나 — 또는 6개월이 지났는데 사용량이 정체되어 있다면 — 첫 번째 질문은 다른 어떤 것이 움직이기 전에 한 시간을 투자할 가치가 있다.