The Art of Counter-Questioning: 답하는 기계에서 질문하는 지성으로

우리는 챗봇에게 ‘답변’을 기대합니다. 검색창에 질문을 입력하고 엔터를 누르는 순간, 우리는 명확하고 즉각적인 해답이 돌아오기를 기다립니다. 이러한 ‘답변하는 기계(Answering Machine)’라는 편향은 현재 AI 인터페이스의 지배적인 패러다임입니다.

하지만 아이러니하게도, 가장 훌륭한 대화는 정답을 제시할 때가 아니라 “좋은 질문”이 돌아올 때 시작됩니다.

1. 답하는 기계를 넘어서 (Beyond the Answering Machine)

현재의 거대언어모델(LLM)들은 사용자의 입력이 아무리 모호해도 어떻게든 답변을 생성해내도록 훈련받았습니다. “맛집 추천해줘”라는 불충분한 정보만 주어져도, AI는 확률적으로 가장 그럴듯한 리스트를 나열합니다.

이는 언뜻 친절해 보일 수 있으나, 치명적인 문제를 안고 있습니다.

1. 전제의 오류: 사용자의 의도와 다른 맥락에서 답을 찾을 수 있습니다.
2. 피상적인 결과: 구체적인 제약 조건이 없으므로 누구나 얻을 수 있는 일반적인 정보에 그칩니다.
3. 할루시네이션(Hallucination): 모르는 것을 모른다고 하지 않고, 그럴듯하게 말을 지어내려는 압박을 받습니다.

우리가 AI를 단순한 검색 도구가 아닌, 문제를 해결하는 동반자(Co-pilot)나 에이전트(Agent)로 격상시키려 한다면, AI는 이제 “모르겠습니다”라고 말할 용기, 그리고 나아가 “이것이 궁금하신가요?”라고 되물어볼 지성을 갖춰야 합니다.

2. 역질문의 핵심: 의도 명확화와 도출

AI가 사용자에게 질문을 던지는 이러한 행위는 정보 검색(Information Retrieval) 분야에서 Clarifying Questions¹라는 개념으로 연구되고 있습니다.

이 개념은 LangChain과 같은 최신 AI 프레임워크에서 ‘휴먼 인 더 루프(Human-in-the-loop)’ 패턴의 일환으로 적극적으로 도입되고 있습니다².

예를 들어 사용자가 모호한 검색어를 입력했을 때, 시스템은 단순히 결과를 나열하는 대신 “어떤 용도로 찾으시나요?”와 같은 유용한 질문을 제안함으로써 사용자의 의도를 명확히 파악할 수 있습니다. 즉, 단순히 명령을 수행하는 것을 넘어 질문을 통해 문제를 함께 정의해나가는 과정이야말로 에이전트의 핵심 역량입니다.

이 과정은 크게 두 가지 층위로 나뉩니다.

A. 의도 명확화 (Intent Disambiguation)

사용자의 입력이 여러 가지로 해석될 수 있을 때, 그 범위를 좁히는 과정입니다.

User: “우산 챙겨야 할까?”
AI: “지금 계신 곳이 서울인가요, 아니면 다른 지역인가요?”

이는 검색 공간(Search Space)을 줄여 정확도를 높이는 가장 기초적이고 필수적인 단계입니다.

B. 요구사항 도출 (Elicitation)

한 걸음 더 나아가, 사용자가 미처 생각하지 못한 조건을 찾아내는 적극적인 과정입니다. 이는 앞서 이야기한 Askitect의 역할과 맞닿아 있습니다.

graph TD
    User("User: 노트북 하나 사고 싶어")
    
    subgraph G1 [Typical AI]
        direction TB
        Typical["맥북 에어 M3를 추천합니다."]
    end
    
    End1((End))
    G1 --> End1
    
    subgraph G2 [AI Agent]
        direction TB
        AgentQ1["Q1. 주로 어떤 용도로 쓰시나요?"]
        AgentQ2["Q2. 이동성 vs 고성능 중 무엇이 우선인가요?"]
        AgentQ1 --> AgentQ2
    end
    
    User -->|Immediate Answer| G1
    User -->|Counter-Questioning| G2
    
    %% Force Layout: G1 on Left, G2 on Right
    G1 ~~~ G2
    
    %% Styles
    style G1 fill:#f9f9f9,stroke:#999,stroke-dasharray: 5 5
    style G2 fill:#e6fffa,stroke:#00cc99,stroke-width:2px
    style Typical fill:#fff,stroke:#ccc
    style End1 fill:#333,stroke:#333,color:#fff
    style AgentQ1 fill:#fff,stroke:#ccc
    style AgentQ2 fill:#fff,stroke:#ccc

이 과정에서 AI는 사용자의 머릿속에만 있던 암묵적인 지식(Implicit Knowledge)을 도출하여 명시적인 조건(Explicit Constraint)으로 변환합니다.

3. 언제, 어떻게 물어야 하는가?

무턱대고 질문만 하는 AI는 사용자를 피로하게 만듭니다. “역질문의 기술”은 적절한 타이밍과 방식에 달려 있습니다.

Timing: 불확실성의 임계값 (Threshold of Uncertainty)

AI는 자신의 답변에 대한 확신(Confidence Score)이 낮을 때만 개입해야 합니다. 지나치게 뻔한 질문은 대화의 흐름을 저해하고, 시의적절하지 못한 질문은 오류를 방치할 위험이 있습니다. 사용자가 충분한 정보를 주지 않았다고 판단될 때, AI는 답변 생성을 멈추고 질문 모드로 전환하는 판단력, 바로 메타인지(Meta-cognition)가 필요합니다.

Method: 온톨로지 기반의 슬롯 채우기 (Slot Filling)

질문의 방식 또한 중요합니다.

• Bad: “어떤 걸 원하세요?” (너무 광범위함)
• Good: “선호하는 운영체제가 있나요?”, “예산은 100만원 대인가요?”

여기서 ‘운영체제’, ‘예산’ 등은 해당 도메인의 온톨로지(Ontology)에 정의되어 있어야 하는 속성들입니다. 구조화된 지식을 가진 AI만이 막연한 질문이 아니라, 정보를 채워넣어야 할 빈칸(Slot)을 정확히 조준하여 질문할 수 있기 때문입니다. 이것이 뉴로 심볼릭 AI가 빛을 발하는 순간이기도 합니다.

4. Uncertainty as a Feature

우리는 흔히 UX(사용자 경험)를 설계할 때 불확실성을 제거해야 할 버그로 취급합니다. 하지만 AI 시대의 UX에서 불확실성은 그 자체로 중요한 기능(Feature)이 됩니다.

AI가 “저는 확신이 서지 않습니다”라고 시각적으로 표현하거나, “이 부분이 명확하지 않아 A와 B 중 하나로 추정했습니다”라고 투명하게 밝히는 것은 신뢰를 쌓는 과정입니다. 사용자는 이 불확실성을 해소하기 위해 기꺼이 AI의 질문에 답할 것이며, 이 과정 자체가 하나의 협업이 됩니다.

마치며

좋은 대화는 탁구(Ping-pong)와 같습니다. 일방적으로 공을 던지기만 해서는 게임이 성립되지 않습니다.

우리가 만드는 AI가 단순히 명령을 수행하는 비서가 아니라, 생각을 확장해주는 파트너가 되길 원한다면, 이제 기계에게 질문할 수 있는 권한을 부여해야 합니다. 사용자의 짧은 프롬프트 뒤에 숨겨진 거대한 맥락을 파헤치는 ‘역질문의 기술’이야말로, AI가 진정한 지능으로 나아가는 첫걸음이 될 것입니다.

Logic meets intuition: 뉴로 심볼릭 AI가 그리는 미래

인공지능의 발전 과정은 크게 기호주의(Symbolism)와 연결주의(Connectionism)라는 두 가지 흐름의 상호 보완적인 역사로 설명될 수 있습니다. 이 둘은 각각 인간 지능의 ‘논리(Logic)’와 ‘직관(Intuition)’을 대변하며 각기 다른 영역에서 강점을 발휘해 왔습니다.

최근 AI 연구의 화두는 이 두 가지를 결합하는 뉴로 심볼릭 AI(Neuro-symbolic AI)로 향하고 있습니다. 하지만 진정한 지능형 시스템을 위해서는 이들의 단순한 결합을 넘어, 확률(Probability)과 메타인지(Meta-Cognition)라는 새로운 차원의 통합이 필수적입니다.

1. 두 개의 축: 기호주의와 연결주의

기호주의 (Symbolic AI): 명확하지만 융통성 없는 논리

기호주의는 인간의 지식을 규칙과 기호로 정의하여 문제를 해결하려는 접근입니다. 수학적 증명이나 체스와 같이 규칙이 명확한 영역에서 강점을 보입니다. 하지만 현실 세계의 복잡성을 모두 기호로 정의하는 것은 불가능에 가깝습니다.

• 학습 능력 부재: 데이터로부터 스스로 배우지 못하고, 사람이 수동으로 지식을 주입해야 합니다.
• 유연성 부족 (Brittleness): 입력값이 정의된 규칙에서 조금만 벗어나거나 노이즈가 섞이면 시스템이 쉽게 무너집니다.
• 확장성의 한계: 대규모의 비정형 데이터를 처리하는 데 비효율적입니다.

연결주의 (Connectionism): 강력하지만 설명할 수 없는 직관

딥러닝으로 대표되는 연결주의는 인간의 뇌 신경망을 모방하여 데이터 속의 패턴을 학습합니다. 이미지 인식, 자연어 처리 등에서 혁신적인 성과를 거두었습니다. 그러나 이 강력한 성능 뒤에는 블랙박스(Black-box) 구조라는 한계가 존재합니다.

• 블랙박스 구조: 결과가 도출된 내부 과정을 투명하게 들여다보기 어려워 신뢰성(Trustworthiness)을 완전하게 담보하기 어렵습니다.
• 데이터 의존성: 학습을 위해 방대한 양의 데이터가 필요하며, 데이터 효율성이 낮습니다.
• 외삽(Extrapolation)의 어려움: 주어진 데이터 내에서의 패턴 인식에는 탁월하지만, 훈련 데이터 분포를 벗어난 완전히 새로운 상황에 대처하는 능력은 현저히 떨어집니다.

2. 상호 보완의 미학

이 두 접근 방식은 서로의 약점을 매우 효과적으로 보완해줍니다. 연결주의인 신경망은 복잡한 비정형 데이터(이미지, 소리 등)를 지각(Perception)하여 기호로 변환하는 데 탁월하며, 기호주의인 심볼릭 시스템은 이렇게 변환된 정보를 바탕으로 명시적인 추론(Reasoning)을 수행합니다. 즉, 직관적인 인식과 논리적인 사고가 톱니바퀴처럼 맞물려 돌아가는 것입니다.

3. 완벽한 통합을 위한 열쇠: 확률과 메타인지

단순히 신경망과 로직을 붙이는 것만으로는 부족합니다. 변화무쌍한 현실 세계에서 진정한 지능으로 기능하기 위해서는 두 가지 개념이 추가로 요구됩니다.

A. 확률 (Probability): 불확실성 끌어안기

뉴로 심볼릭 AI의 이상적인 수식은 “신경망 + 논리 + 확률”입니다. 세상은 0과 1로 딱 떨어지는 논리만으로 설명되지 않기 때문입니다.

• 불확실성 관리: 논리와 신경망의 결합에 ‘확률’이 더해질 때 비로소 불확실성(Uncertainty)을 다룰 수 있게 됩니다.
• 최적화의 기준: 확률 이론은 신경망 학습에 명확한 최적화 기준(Likelihood)을 제공하여, 노이즈가 섞인 데이터에서도 시스템이 강건하게(Robust) 작동하도록 돕습니다¹².

B. 메타인지 (Meta-Cognition): 스스로를 생각하는 힘

2020년부터 2024년까지의 최근 연구들이 공통적으로 지적하는 ‘미개척지’는 바로 메타인지(Meta-Cognition)입니다³⁴. 메타인지는 단순히 데이터를 처리하는 것을 넘어, ‘자신의 인지 과정 자체를 모니터링하고 조절하는 능력’을 의미합니다. 이를 더 구체적으로 살펴보면 다음과 같습니다.

• 메타인지적 지식 (Metacognitive Knowledge): 시스템이 ‘자신이 무엇을 알고 무엇을 모르는지’를 아는 능력입니다. 이는 자신의 학습 능력과 한계, 그리고 현재 보유한 지식의 상태를 객관적으로 파악하는 것을 포함합니다.
• 메타인지적 조절 (Metacognitive Regulation): 인지 활동을 통제하는 실행 기능입니다. 목표를 달성하기 위해 스스로 계획을 세우고(Planning), 진행 상황을 점검하며(Monitoring), 결과의 효율성을 평가하여 전략을 수정(Evaluating)하는 일련의 과정을 의미합니다.

이러한 능력이 결여된 AI는 사전에 정의되지 않은 낯선 환경(Unseen Environment)에 놓였을 때 무력해집니다. 반면 메타인지를 갖춘 시스템은 현재의 전략이 유효하지 않음을 스스로 인지하고, 학습 목표를 수정하거나 새로운 전략을 수립할 수 있습니다. 즉, 외부의 개입 없이 스스로 생존 방식을 찾아가는 진정한 ‘자율성(Autonomy)’과 외부 변화에 유연하게 대처하는 ‘적응성(Adaptability)’은 시스템이 스스로를 객관화할 수 있을 때 비로소 가능해집니다⁵.

graph TD
    Begin((Start)) --> S[Problem / New Environment]
    S --> K["Metacognitive Knowledge<br/>(Self-Awareness)"]
    K --> P["Planning<br/>(Set Goal & Strategy)"]
    P --> A[Action / Execution]
    A --> M["Monitoring<br/>(Self-Observation)"]
    M --> E{"Evaluating<br/>(Is it working?)"}
    E -- Yes --> Success[Goal Achieved]
    Success --> Finish((End))
    E -- No --> C["Control / Regulation<br/>(Adjust Strategy)"]
    C --> P

마치며

기호주의의 엄밀한 논리와 연결주의의 유연한 직관, 그리고 이를 연결하는 확률과 메타인지의 결합은 차세대 AI가 나아가야 할 필연적인 방향입니다. 우리는 지금 단순히 똑똑한 기계를 넘어, 스스로의 한계를 인지하고 끊임없이 성장하는 진정한 ‘지능’의 탄생을 향해 나아가고 있습니다.

Askitect, 그리고 프롬프트 엔지니어링의 진화

‘Askitect’라는 용어는 2024년 2월, 뉴질랜드의 건축 디자인 회사인 Formance의 블로그 포스트를 통해 처음 소개되었습니다 ¹. 본래 이는 “질문을 통해 고객의 진정한 니즈를 파악하는 건축가(Architect who asks)”를 뜻하는 말로, 단순히 고객의 요구를 수행하는 것을 넘어, 본질적인 문제를 진단하고 더 나은 삶의 방식을 제안하는 전문가상을 정의하기 위해 만들어졌습니다.

이 개념은 최근 인공지능(AI) 분야로 넘어오면서 복잡해지는 인간과 AI의 상호작용을 해결하기 위한 새로운 전문가의 필요성과 맞물려 그 의미가 확장되었습니다.

여기서 왜 하필 ‘Design(설계)’이나 ‘Architecture(건축)’가 아닌 ‘Ask(질문)’가 강조되는지 주목할 필요가 있습니다. 단순히 구조를 구축하는 행위(Architecture) 이전에, “무엇을 지을 것인가?”를 정의하는 과정이 선행되어야 하기 때문입니다.

Askitect는 단순히 이미 정의된 요구사항을 설계하는 존재가 아닙니다. 표면적인 요구사항 이면에 숨겨진 진짜 의도와 맥락을 ‘질문’을 통해 발굴(Elicitation)해내는 것이 이들의 핵심 역량입니다. 고도화된 AI 작업 환경에서 모호한 인간의 의도를 기계가 이해할 수 있는 명확한 구조로 변환하려면, 먼저 끊임없는 ‘질문’을 통해 그 본질을 파헤치는 탐구적 접근이 필수적이기 때문입니다. 즉, 올바른 설계(Architecture)는 올바른 질문(Ask)에서 시작됩니다.

1. Askitect와 Prompt Engineering: 유사하지만 다른 접근

Askitect와 프롬프트 엔지니어링은 모두 AI로부터 최상의 결과를 이끌어내려 한다는 점에서 유사한 목표를 공유하지만, 그 접근 방식과 철학에서는 뚜렷한 차이가 있습니다. 프롬프트 엔지니어링이 단일 입력값(Input)을 최적화하는 ‘입력의 기술’이라면, Askitect는 질문과 응답이 오가는 전체 과정, 즉 ‘상호작용의 프레임워크(Interaction Framework)’를 설계하는 것에 가깝습니다.

Askitect는 단순히 명령어를 입력하는 단계를 넘어, 인간과 기계 사이를 통역하고 번역하는 작업 그 자체를 설계합니다. 인간의 모호한 의도를 기계가 이해할 수 있는 명확한 지시로 변환하고, 기계의 논리적 연산 결과를 다시 인간의 맥락에 맞게 해석해내는 ‘상호 이해의 프로토콜’을 구축하는 것입니다.

2. 예시로 보는 차이: “여행 계획”의 경우

Prompt Engineering의 접근 (입력 최적화) 사용자가 원하는 완벽한 답을 얻기 위해 프롬프트를 정교하게 다듬는 것에 집중합니다.

User: “도쿄 3박 4일 여행 코스 추천해줘.”
User (Revised): “20대 남성 2명이 가는 도쿄 3박 4일 여행 코스 추천해줘. 신주쿠 근처 숙소이고, 예산은 인당 100만원이야. 맛집 탐방이 주 목적이고 너무 빡빡하지 않게 구성해줘.”

Askitect의 접근 (상호작용 설계) AI가 먼저 질문을 던져 사용자의 숨겨진 니즈를 파악하도록 대화의 구조를 설계합니다.

System (Askitect Designed): “여행 계획을 도와드릴게요. 먼저 몇 가지를 알려주세요.”

1. 여행의 테마는 무엇인가요? (예: 휴식, 미식, 쇼핑, 관광)
2. 동행인은 누구인가요? (예: 혼자, 연인, 가족, 친구)
3. 가장 중요하게 생각하는 예산 항목은? (예: 숙소, 식사, 쇼핑)

User: “친구랑 가고, 맛집이 중요해. 예산은 식사에 많이 쓰고 싶어.”
AI: “알겠습니다. 미식에 집중한 여유로운 동선을 제안할게요…”

이 예시에서 볼 수 있듯이, 프롬프트 엔지니어링은 사용자가 사전에 모든 요구사항을 명확히 인지하고 이를 한 번에 압축적으로 전달하는 능력(Context Compression)을 요구합니다. 반면 Askitect는 사용자가 스스로 무엇을 원하는지 모를 수 있다는 전제 하에, 단계적인 질문을 통해 잠재된 의도를 함께 발굴해가는 과정(Context Discovery)을 설계합니다. 전자가 ‘숙련된 사용자’를 위한 효율성의 도구라면, 후자는 ‘모든 사용자’를 위한 친절한 안내자인 셈입니다.

3. 질적 연구 설계와 연결 (Qualitative Research Design)

이러한 설계적 접근은 Joseph A. Maxwell의 저서 “Qualitative Research Design: An Interactive Approach”에서 강조하는 질적 연구의 본질과 깊이 맞닿아 있습니다.

“A design for a study always exists, explicitly or implicitly. It is important to make your design explicit, to get it out in the open, where its strengths, limitations, and implications can be clearly understood.”

“연구 설계는 명시적이든 암묵적이든 항상 존재합니다. 중요한 것은 그 설계를 명시적으로 드러내어, 그것의 강점과 한계, 그리고 함의가 명확히 이해될 수 있도록 하는 것입니다.”

연구 설계를 고정된 청사진이 아닌 상호작용하는 요소들의 조율 과정으로 보았듯, Askitect는 AI와의 대화를 피드백과 조정을 통해 완성도를 높여가는 순환적이고 상호작용적인 과정으로 파악합니다. 그래서 Askitect는 인간에게 내재되어 있는 모호한 의도를 ‘명시적인 설계’로 끌어올리게 됩니다.

4. 기계가 이해하는 언어

결국 Askitect가 추구하는 상호작용의 내부를 들여다 보자면, 기계가 인간의 의도를 이해할 수 있는 명확한 기준을 필요로 합니다.

이 상호작용은 Human-in-the-loop (인간 참여형 루프) 모델을 기반으로 하며, 더 나아가 기계(Agent)와 기계(Agent) 간의 자율적인 소통까지 확장됩니다. 이 복잡한 다자간의 소통(Human-Agent, Agent-Agent)이 원활하게 이루어지기 위해서는 서로의 의도와 맥락을 정확히 일치시키는 약속이 필수적입니다.

이러한 약속을 정의하는 방법에는 여러 가지가 있지만, 대표적인 예로 온톨로지(Ontology)를 들 수 있습니다. 온톨로지는 단순한 단어의 사전적 정의를 넘어, 개념과 개념 사이의 관계를 규명하여 기계가 인간의 의도를 문맥적으로 이해하고 추론할 수 있게 하는 기반이 됩니다. Askitect는 바로 이 온톨로지적인 구조 위에서 질문을 설계함으로써, 인간과 AI, 그리고 에이전트 간의 오해 없는 소통을 가능하게 하는 역할을 수행합니다.

5. 온톨로지로 보는 상호작용 구조 (RDF 예시)

Askitect가 설계하는 상호작용 구조를 지식 그래프의 표준인 RDF(Resource Description Framework) 형태로 표현하면 다음과 같습니다. 이는 기계가 사용자의 ‘숨겨진 제약 조건’을 명시적인 데이터로 처리하는 방식을 보여줍니다.

@prefix ex: <http://example.org/askitect/> .
@prefix user: <http://example.org/user/> .

# 사용자의 숨겨진 의도 (Hidden Context)
user:Request_001 a ex:TravelRequest ;
    ex:hasIntent ex:PlanTrip ;
    ex:hasImplicitConstraint [
        ex:companion "Friend" ;
        ex:theme "Gastronomy" ;
        ex:priority "Budget for Food"
    ] .

# Askitect가 설계한 질문 구조 (Interaction Design)
ex:System_Askitect a ex:Agent ;
    ex:elicits user:Request_001 ;
    ex:asks [
        a ex:Question ;
        ex:target "Theme" ;
        ex:content "여행의 테마는 무엇인가요?"
    ], [
        a ex:Question ;
        ex:target "Companion" ;
        ex:content "동행인은 누구인가요?"
    ] .

이 데이터를 시각화하면 다음과 같은 그래프가 됩니다.

graph TD
    %% Nodes
    subgraph User_Context [User Context]
        Req(user:Request_001<br>ex:TravelRequest)
        Intent[ex:PlanTrip]
        Const[Implicit Constraints]
        V1[Friend]
        V2[Gastronomy]
        V3[Budget for Food]
    end

    subgraph System_Design [Askitect Interaction]
        Agent(ex:System_Askitect<br>ex:Agent)
        Q1[Question: Theme?]
        Q2[Question: Companion?]
    end

    %% Relationships
    Req -- hasIntent --> Intent
    Req -- hasImplicitConstraint --> Const
    Const -- companion --> V1
    Const -- theme --> V2
    Const -- priority --> V3

    Agent -- elicits --> Req
    Agent -- asks --> Q1
    Agent -- asks --> Q2
    
    style User_Context fill:#f9f9f9,stroke:#333,stroke-width:1px
    style System_Design fill:#e6f3ff,stroke:#0066cc,stroke-width:1px

이처럼 Askitect가 설계하는 상호작용 구조를 통해 모호한 자연어를 구조화된 데이터(Triple)로 변환할 수 있는 경로를 구성하게 되면, 암묵적인 의도는 기계가 활용할 수 있는 지식이 됩니다.