AI 상담 챗봇 설계: 페르소나와 안전장치

이번 주 읽기: AI에게 공감을 가르칠 수 있을까?

1주차에서 우리는 “공감은 타고나는 게 아니라 배울 수 있는 기술”이라는 이야기를 했다.Gainer(2025)는 4-5장에서 이 생각을 한 단계 더 밀고 간다 — AI에게도 공감을 가르칠 수 있고, 가르치려면 공감을 구성 요소로 쪼개야 한다는 것이다.Carl Rogers(1957)도 공감이 그냥 생기는 감정이 아니라, “훈련과 의식적 노력으로 발달하는 기술”이라고 말했다. Gainer는 이 통찰을 확장해서, 공감의 각 요소를 AI 시스템에 하나씩 심는 방법을 제안한다.

왜 공감을 쪼개야 할까? 비유하자면 이런 거다. “요리를 잘해”라고 말하면 너무 막연하다. 하지만 “칼질을 정확히 해”, “불 조절을 잘해”, “간을 정확히 맞춰”로 쪼개면, 각각의 기술을 따로 연습할 수 있다. 공감도 마찬가지다. “공감을 잘해”는 막연하지만, “감정을 정확히 알아차려”, “알아차린 감정을 말로 돌려줘”, “상황에 맞게 반응의 깊이를 조절해”로 나누면, 각각을 독립적으로 훈련할 수 있다. 인간 상담사 훈련에서도, AI 설계에서도 마찬가지다.

세네카 R. 게이너

AI에게 공감을 가르치는 건, 공감을 부품처럼 분해해서 각각을 명확한 규칙으로 바꾸는 과정이다. 이 과정을 거치면 역설적으로 인간의 공감이 어떻게 작동하는지 더 깊이 이해하게 된다.

— Gainer (2025, p. 112)

Gainer가 제안하는 “공감 설계 삼각형(Empathy Design Triangle)”은 세 꼭짓점으로 이루어져 있다. 첫째, 인식(Recognition) — 상대방이 지금 어떤 감정인지 파악하는 능력이다. 실제 상담에서는 표정, 목소리 톤, 몸짓 같은 비언어적 단서를 읽는다. 텍스트 기반 AI는 이런 걸 볼 수 없으니, 대신 “힘들다”, “지쳤다”, “더 이상 모르겠다” 같은 말에서 감정의 종류와 강도를 읽어내야 한다. 같은 “힘들다”라도 “오늘 좀 힘들었어요”와 “더 이상 못 버티겠어요”는 강도가 완전히 다르다.

둘째, 반영(Reflection) — 파악한 감정을 상대방에게 돌려주는 능력이다. “정말 힘든 시간을 보내고 계시는군요”처럼 감정에 이름을 붙이고(labeling), “그런 상황이라면 당연히 그럴 수 있어요”라고 타당화(validation)해주는 것이다. 감정 라벨링은 신경과학적으로도 효과가 입증되어 있다. UCLA의 연구에 따르면, 감정에 이름을 붙이는 행위만으로도 편도체(amygdala, 뇌에서 감정 반응을 담당하는 부위)의 활동이 줄어든다. 쉽게 말해, “내가 지금 불안하구나”라고 인식하는 것만으로도 불안이 줄어든다는 것이다.

셋째, 적응(Adaptation) — 대화가 진행되면서 공감의 깊이와 방식을 조절하는 능력이다. 처음 만남에서는 가벼운 반영이 적절하지만, 깊은 고통을 이야기할 때는 더 깊은 수준의 공감이 필요하다. 마치 온도 조절 장치처럼, 상황에 따라 공감의 “온도”를 올리거나 내리는 것이다. 한국 문화에서는 특히 이 적응이 중요한데, 처음부터 깊은 감정을 직접 언급하면 부담스러워하는 내담자가 많기 때문이다. “그런 일이 있었군요”에서 시작해서 점차 “그때 마음이 많이 아프셨겠어요”로 깊어지는 단계적 접근이 필요하다.

칼 로저스

공감은 상담의 시작이자 끝이다. 내담자가 자기 경험의 의미를 발견하도록 돕는 가장 강력한 도구는, 그 경험을 정확히 이해하고 반영해주는 상담사의 공감이다.

— Rogers (1980)

챗봇의 성격을 만드는 법: 페르소나 설계

AI 상담 챗봇의 “페르소나(persona)”란, 챗봇이 사용자에게 보여주는 일관된 성격과 말투와 행동 방식의 총체를 말한다. 사람에 비유하면, 성격과 말버릇과 가치관을 합친 것이다. 같은 상황에서도 어떤 챗봇은 “힘드셨죠? 같이 생각해봐요”라고 하고, 어떤 챗봇은 “말씀하신 상황을 분석해보겠습니다”라고 한다. 이 차이가 페르소나의 차이다.

Alan Cooper(2004)가 UX 설계에 도입한 페르소나 기법은 원래 “이상적인 사용자”를 구체적으로 그려보기 위한 것이었다. 예를 들어 “28세 직장인 여성, 퇴근 후 30분 정도 앱을 사용한다”처럼 구체적인 인물을 설정하면, 추상적인 “사용자”가 아닌 실제 사람을 위한 설계가 가능해진다. AI 시대에는 이 기법이 “이상적인 AI 상담사”를 구체적으로 설계하는 도구가 되었다.

앨런 쿠퍼

페르소나는 추상적 사용자 대신 구체적 인물을 떠올리게 해서, 설계 결정에서 추측을 줄이고 공감을 높인다.

— Cooper (2004)

상담 챗봇의 페르소나는 세 층으로 나뉜다.1층: 어조와 말투. 따뜻한 어조로 할 건지, 차분하고 전문적인 어조로 할 건지, 중립적으로 할 건지를 정한다. 예를 들어, “정말 힘드셨겠어요 :((”는 친근하지만 전문성이 약해 보일 수 있다. “말씀하신 상황이 상당한 심리적 부담을 주었을 것으로 판단됩니다”는 전문적이지만 차갑게 느껴질 수 있다. 대부분의 상담 챗봇은 “따뜻하면서도 전문적인” 중간 지점을 목표로 한다. 예를 들어 “그 상황에서 많이 힘드셨을 것 같아요. 좀 더 이야기해주실 수 있나요?”라는 식이다. 한국어 챗봇에서는 존댓말 수준도 결정해야 한다. “~요”체와 “~습니다”체는 주는 느낌이 다르다.

2층: 역할 경계. AI가 자기를 어떻게 소개하고, 어디까지 개입할 건지를 정한다. 가장 중요한 원칙은 “나는 AI이고, 전문 상담사를 대체하지 않습니다”라는 고지를 첫 대화에 넣는 것이다. Rogers가 강조한 “일치성(congruence, 진정성)”을 디지털로 구현하는 셈이다 — AI가 자기 한계를 솔직히 밝히는 것 자체가 일종의 진정성이다.

3층: 대화 전략. 열린 질문을 주로 쓸 건지, 구조화된 질문을 쓸 건지? 조언을 할 건지, 탐색만 할 건지? Rogers의 인간중심치료에서는 비지시적(non-directive) 접근을 쓴다 — 조언보다는 반영과 명확화를 한다. 반면Aaron Beck의 CBT(인지행동치료)에서는 소크라테스식 질문과 과제 부여가 핵심이다. 어떤 이론을 따르느냐에 따라 챗봇의 대화 방식이 완전히 달라진다. 같은 “시험 걱정”이라는 주제에도, Rogers식 챗봇은 “시험이 다가오면서 어떤 느낌이 드세요?”라고 물을 것이고, Beck식 챗봇은 “시험에 대해 어떤 생각이 자동으로 떠오르나요?”라고 물을 것이다.

안전장치: 브레이크 없는 차를 만들면 안 된다

AI 상담 챗봇에서 안전장치(guardrails)는 선택이 아니라 의무다. Gainer(2025)는 “안전장치 없는 AI 상담 도구는 브레이크 없는 자동차와 같다”고 경고한다. 실제로 2023년, 벨기에에서 한 남성이 AI 챗봇과 6주간 대화한 뒤 자살하는 사건이 발생했다. 챗봇이 자살 충동을 감지했음에도 적절한 위기 개입을 하지 못한 것이 원인으로 지목되었다. 이 사건은 AI 상담 도구의 안전장치가 얼마나 중요한지를 보여주는 비극적 사례다. 안전장치는 크게 세 종류다.

앨리슨 다시

AI 상담 도구에서 가장 중요한 기능은 가장 눈에 안 띄는 기능이다 — 위기 상황에서 적절히 멈추고, 올바른 곳으로 연결하는 능력이다.

— Darcy (2020)

첫째, 위기 감지(Crisis Detection). “죽고 싶다”, “자해”, “더 이상 살고 싶지 않다” 같은 표현이 나오면 즉시 위기 대응 모드로 전환한다. 한국의 경우 자살예방상담전화 1393, 정신건강위기상담 1577-0199를 안내한다. 위기 감지에서 중요한 점은, 직접적인 표현뿐 아니라 간접적인 표현도 잡아내야 한다는 것이다. “그냥 사라지고 싶다”, “아무도 나를 그리워하지 않을 거야” 같은 간접적 표현도 위기 신호일 수 있다.

둘째, 범위 제한(Scope Limitation). 진단(우울증, 불안장애 등), 약물 처방, 법적 조언 같은 건 AI가 절대 해서는 안 된다. “우울증인 것 같다”는 표현 대신 “말씀하신 증상에 대해 전문가와 상담해보시는 걸 권합니다”로 대응해야 한다. 셋째, 데이터 보호(Data Protection). 대화 내용이 어디에 저장되는지, 어떻게 활용되는지, 삭제는 어떻게 하는지를 사용자에게 명확히 알려줘야 한다. 상담 윤리에서 비밀보장은 핵심 원칙이다. AI 상담 도구에서도 이 원칙은 그대로 적용되어야 한다. 특히 한국에서는 개인정보보호법이 적용되므로, 상담 대화 데이터의 수집, 저장, 활용, 파기에 대한 법적 요건을 반드시 충족해야 한다.

이 세 가지 안전장치는 기술적 구현의 문제인 동시에 윤리적 설계의 문제다. 상담 윤리의 핵심 원칙 — 선행(beneficence, 도움이 되는 것), 무해(non-maleficence, 해를 끼치지 않는 것), 자율성 존중(autonomy, 내담자의 선택 존중) — 이 안전장치 설계에 그대로 반영되어야 한다.

다음 실습에서 직접 챗봇을 설계하면서, 이 공감 설계 삼각형과 안전장치를 실제로 적용해볼 것이다. 이론으로 읽는 것과 직접 만들어보는 것은 전혀 다른 경험이다. “감정에 이름을 붙여주세요”라는 지시를 system prompt에 쓰는 것은 쉽지만, AI가 실제로 적절한 감정 이름을 붙이는지 확인하고 수정하는 과정에서 공감의 복잡성을 체감하게 된다.

CBT를 챗봇에 넣으면 어떻게 될까?

인지행동치료(CBT, Cognitive Behavioral Therapy)는Aaron Beck이 1960년대에 만든 상담 기법이다. 핵심 원리를 한마디로 요약하면 이렇다 — “사건 자체가 감정을 만드는 게 아니라, 그 사건을 어떻게 해석하느냐가 감정을 결정한다.” 이것을 “인지 모델(cognitive model)”이라고 부른다.

예를 들어보자. 시험에서 나쁜 점수를 받았다. “나는 아무것도 못하는 사람이다”라고 생각하면 우울해진다. 하지만 “이번엔 준비가 부족했지만 다음엔 다를 수 있다”라고 생각하면 기분이 달라진다. 같은 사건인데 해석이 달라지면 감정이 달라지는 것이다. 일상에서 흔한 예도 있다. 친구가 카톡을 읽고 답장을 안 한다. “나를 싫어하나 봐”라고 해석하면 서운하고 불안해진다. 하지만 “바빠서 나중에 보려나 보다”라고 해석하면 대수롭지 않게 느껴진다. 이렇게 자동으로 떠오르는 생각(자동적 사고, automatic thoughts)을 알아차리고, 그 생각이 합리적인지 점검하고, 더 균형 잡힌 생각으로 바꾸는 것이 CBT의 목표다.

아론 T. 벡

우울한 사람이 세상을 부정적으로 보는 게 아니라, 부정적으로 생각하기 때문에 우울한 것이다. 생각을 바꾸면 감정이 바뀐다.

— Beck (1979)

CBT가 AI 챗봇에 잘 맞는 이유가 있다. 다른 상담 기법에 비해 절차가 구조적이고, 단계가 명확하고, “소크라테스식 질문”이라는 체계적인 질문법을 사용한다. 컴퓨터가 따라하기 좋은 구조라는 뜻이다. 소크라테스식 질문이란 뭘까? 고대 그리스 철학자 소크라테스가 제자들에게 답을 직접 알려주지 않고 질문을 통해 스스로 깨닫게 한 방법이다. 상담에서도 마찬가지로, “그 생각이 사실이라는 증거가 있나요?”, “다른 가능성은 없을까요?” 같은 질문을 통해 내담자가 스스로 자기 생각의 오류를 발견하게 돕는다.

반면 정신역동치료(무의식의 갈등을 탐색하는 상담)나 게슈탈트치료(“지금 이 순간”의 체험에 집중하는 상담)는 상담사의 직관과 순간적 판단에 크게 의존해서, 현재 AI로 구현하기가 어렵다. 정신역동치료에서 상담사가 “방금 표정이 변했는데, 어떤 생각이 스쳤나요?”라고 물어보는 것은 비언어적 단서를 실시간으로 읽는 능력이 필요하기 때문이다.

CBT 회기의 기본 흐름은 이렇다: (1) 인사 및 기분 확인, (2) 오늘 다룰 주제 정하기, (3) 지난 회기 복습, (4) 자동적 사고 탐색과 인지 왜곡 확인, (5) 다음까지 해볼 것 정하기, (6) 오늘 대화 요약. 이 흐름을 챗봇의 대화 순서로 바꿀 수 있다. 마치 요리 레시피처럼, 순서가 정해져 있으니 AI가 따라가기 쉽다.

챗봇용 CBT 대화는 6단계로 설계한다.1단계: “안녕하세요, 오늘 하루 어떠셨나요?”로 시작한다. AI는 답변에서 “괜찮았어요”(중립), “별로였어요”(부정), “최악이었어요”(강한 부정) 등 감정의 강도를 파악한다. 이 첫 질문이 중요한 이유는, 내담자에게 “이 공간에서는 당신의 감정이 중요하다”는 메시지를 전달하기 때문이다.2단계: “오늘 특별히 이야기하고 싶은 게 있나요?”로 핵심 문제를 찾는다. 여기서 열린 질문이 핵심이다. “뭐가 문제예요?”보다 “오늘 마음에 걸리는 게 있나요?”가 훨씬 부드럽게 들린다.3단계: “그 상황에서 어떤 생각이 드셨나요?”로 자동적 사고를 탐색한다. 이 단계가 CBT의 핵심이다.

4단계: 발견한 자동적 사고가 Beck이 분류한 인지 왜곡(사고의 함정) 중 어디에 해당하는지 살펴본다. 대표적인 사고의 함정들을 알아보자. 흑백사고(전부 아니면 전무 — “완벽하지 않으면 실패야”), 과잉일반화(한 번 실패하면 항상 실패할 거라고 생각하기 — “나는 맨날 이래”), 감정적 추론(불안하니까 위험한 거라고 단정하기 — “불안하니까 분명 안 좋은 일이 생길 거야”), 딱지 붙이기 (실수한 것을 “나는 루저야”로 확대하기) 등이 있다. 우리 모두 이런 생각을 하지만, 이것이 “사실”이 아니라 “해석”임을 알아차리는 것이 핵심이다.

5단계: “다른 관점에서 이 상황을 볼 수 있을까요?”, “가장 친한 친구가 같은 상황이라면 뭐라고 해줄 것 같아요?” 같은 질문으로 대안적 생각을 찾도록 돕는다. 특히 “친구에게 해줄 말” 질문은 효과적이다. 사람들은 자기 자신에게는 가혹하면서 친구에게는 따뜻한 말을 건네는 경향이 있기 때문이다.6단계: 대화를 요약하고, 노력을 인정하고, 다음 대화를 제안한다. “오늘 함께 살펴본 내용을 정리하면...”으로 시작하는 요약은, 내담자에게 “내 이야기가 들렸고, 정리되었다”는 안정감을 준다.

System Prompt: 챗봇의 숨겨진 헌법

System prompt는 AI 챗봇에게 처음 주는 비밀 지시문이다. 사용자에게는 보이지 않지만, 챗봇의 모든 대화에 영향을 미치는 “숨겨진 헌법” 같은 존재다. 마치 식당의 조리 매뉴얼처럼, 손님에게는 보이지 않지만 음식의 맛과 품질을 결정하는 것이다. 효과적인 상담 챗봇의 system prompt는 네 가지를 포함한다.

역할 정의: “당신은 CBT 기반 심리 상담 보조 AI입니다. 사용자가 자동적 사고를 인식하고, 사고의 함정을 탐색하고, 균형 잡힌 관점을 찾도록 돕는 것이 목표입니다.” 역할을 구체적으로 쓸수록 AI의 답변이 일관되고 적절해진다. “상담사 역할을 해줘”보다 “CBT 기반 상담 보조 AI, 공감 먼저, 질문 하나씩”이 훨씬 좋은 결과를 낸다.행동 규칙: “항상 감정을 먼저 반영하세요. 판단하지 마세요. 한 번에 질문 하나만 하세요.” 이 규칙들은Rogers의 핵심 조건과 직결된다. “판단하지 마세요”는 무조건적 긍정적 존중이고, “감정을 먼저 반영하세요”는 공감적 이해의 구현이다.

금지 사항: “절대 진단명(우울증, 불안장애 등)을 쓰지 마세요. 약물이나 의료 조언을 하지 마세요. ‘~해야 합니다’라는 말을 쓰지 마세요.” 이 금지 목록이 AI가 넘지 말아야 할 윤리적 경계다. “~해야 합니다”를 금지하는 이유는, 상담에서 지시적(directive) 표현은 내담자의 자율성을 침해할 수 있기 때문이다. 대신 “~해보시는 건 어떨까요?”처럼 제안 형태를 쓴다.안전장치: “자해, 자살과 관련된 표현이 나오면, 즉시 공감 반응을 한 뒤 전문 상담 전화(1393, 1577-0199)를 안내하세요. 위기 상황에서는 대화를 이어가지 말고, 전문가 연결을 최우선으로 안내하세요.”

세네카 R. 게이너

좋은 system prompt는 좋은 수퍼비전과 같다. 상담사에게 원칙을 알려주되, 모든 상황에 대한 답을 주지는 않는다. 원칙 안에서 유연하게 대응할 여지를 남긴다.

— Gainer (2025, p. 134)

상담 맥락에서 프롬프트가 특별한 이유

상담용 프롬프트는 일반적인 AI 프롬프트와 다르다.Gainer(2025)는 다섯 가지 원칙을 제안한다. 첫째, “사람 먼저” 원칙: 모든 프롬프트에 “사용자의 안녕(well-being)이 최우선입니다”를 넣는다. 둘째, “판단하지 않기” 원칙: 어떤 주제에도 도덕적 판단을 내리지 않게 한다. 내담자가 사회적으로 비난받을 행동을 고백하더라도, AI가 비난하지 않도록 한다. 셋째, “솔직히 말하기” 원칙: AI가 모를 땐 모른다고 말하게 한다. “그 부분은 제가 판단하기 어렵습니다”라고 솔직히 말하는 게, 잘못된 조언을 하는 것보다 낫다.

넷째, “문화 이해” 원칙: 한국 문화의 특수성 (체면, 가족 관계, 세대 차이 등)을 반영한다. 예를 들어 한국에서 “부모님이 싫다”는 표현은 미국과 다른 맥락을 가진다. 효(孝) 문화 속에서 이런 감정을 표현하는 것 자체가 큰 죄책감을 동반할 수 있다. AI가 이 맥락을 이해하지 못하면 “당신의 감정은 타당합니다”라는 일반적 반응만 하게 되고, 내담자는 “이 AI는 내 상황을 모른다”고 느끼게 된다. 다섯째, “선 넘지 않기” 원칙: AI가 상담사 역할을 넘어서지 않도록 반복적으로 경계를 상기시킨다.

Alison Darcy가 만든 Woebot은 이 원칙들이 실제로 어떻게 적용되는지 보여주는 사례다. Woebot은 대화를 시작하면 반드시 기분 체크를 먼저 한다. 기분에 따라 CBT 기법(생각 탐색, 행동 활성화)이나 정서 지지(감정 인정, 정상화) 경로로 갈라진다. 만약 위기 신호가 감지되면 모든 일반 대화를 멈추고 안전 프로토콜로 바로 전환한다. “치료 효과보다 안전이 항상 먼저”라는 상담 윤리의 원칙이 코드에 그대로 들어간 것이다.

다음 실습에서 우리도 이런 구조를 직접 만들어볼 것이다. System prompt를 쓰고, Claude에서 테스트하고, 문제가 있으면 프롬프트를 수정하는 과정을 반복한다. 이 과정에서 “왜 이 순서로 질문해야 하는가?”, “왜 이 반응이 치료적으로 더 적절한가?”를 끊임없이 고민하게 될 것이다. 그 고민 자체가 상담 이론을 체화하는 훈련이다.

레스터 루보스키

모든 검증된 치료법의 효과 크기는 대략 비슷하다. 차이를 만드는 건 기법이 아니라 치료적 관계의 질이다.

— Luborsky (2002)

Luborsky의 “도도새 판결(Dodo Bird Verdict)”은 흥미로운 시사점을 준다. 모든 상담 이론이 비슷한 효과를 낸다면, 효과의 핵심은 이론이 아니라 관계라는 뜻이다. AI 챗봇이 CBT든 인간중심이든 어떤 이론을 따르든, 결국 사용자와 얼마나 좋은 “관계”를 맺느냐가 효과를 결정할 것이다.

실습: CBT 기반 상담 챗봇 만들어보기

이번 실습의 목표는 세 가지다. 첫째, 상담 챗봇의 성격(페르소나)을 직접 설계한다. 둘째,Beck의 CBT 원리를 system prompt로 옮긴다. 셋째, 위기 상황에서 안전장치가 제대로 작동하는지 테스트한다. 실습은 Replit Agent와 Claude를 활용하며, 수업 시간에 기본 프로토타입을 완성하는 걸 목표로 한다.

왜 직접 만들어보는 것이 중요할까? 이미 만들어진 도구(Woebot, Wysa 등)를 써보는 것과 직접 설계하는 것은 전혀 다른 학습 경험이다. 도구를 쓸 때는 “이 기능이 괜찮네”, “이건 좀 별로네” 수준의 평가만 가능하다. 하지만 직접 설계할 때는 “왜 이 순간에 이 질문을 해야 하는가?”, “이 반응이 치료적으로 적절한가?”를 깊이 고민하게 된다. 설계 과정 자체가 상담 이론을 체화하는 훈련이다.

1단계: 페르소나 워크시트 작성

코딩 전에, 먼저 종이(또는 문서)에 챗봇의 성격을 정의한다. 이 과정이 중요하다 — 설계 없이 바로 만들면 챗봇이 일관성 없이 행동하게 된다. 마치 상담 계획 없이 회기를 시작하면 대화가 산으로 가는 것과 같다. 다음 항목을 순서대로 써본다.

이름: 챗봇의 이름을 정한다. “마음이”, “함께”, “Compass” 같은 이름 모두 괜찮다. 이름이 첫인상을 형성하니 신중하게 고른다. “Dr. AI” 같은 이름은 피한다 — 사용자가 AI를 진짜 의사라고 오해할 수 있기 때문이다.어조: 따뜻하고 친근한 / 전문적이고 차분한 / 중립적이고 관찰적인 중에서 고른다. 고른 어조로 예시 문장을 3개 이상 써본다. 예를 들어 “따뜻하고 친근한” 어조라면, “오늘 하루 어땠어요?”, “정말 힘드셨을 것 같아요”, “함께 생각해볼까요?” 같은 문장이 나온다.

역할 경계: “나는 ~입니다”, “나는 ~하지 않습니다” 형식으로 5개 이상 쓴다. 예를 들어 “나는 CBT 기반 생각 탐색을 돕는 AI입니다”, “나는 진단을 내리지 않습니다”, “나는 약물에 대한 조언을 하지 않습니다” 등이다.금지 행동: 절대 하면 안 되는 것 5개 이상 정한다. 이 목록이 챗봇의 윤리적 울타리가 된다.대화 전략: 어떤 질문을 주로 쓸지(열린 질문 / 구조화된 질문 / 소크라테스식 질문), 어떤 반응을 할지(반영 / 요약 / 정상화)를 정한다.

2단계: System Prompt 작성

워크시트를 바탕으로 실제 system prompt를 쓴다.Gainer(2025)가 제안한 구조 — (1) 역할 정의, (2) 행동 규칙, (3) 금지 사항, (4) 안전장치 — 를 따른다. 구체적일수록 좋다. “친절하게 대화하세요”는 너무 모호하다. 대신 이렇게 쓴다 — “사용자의 말을 1-2문장으로 요약해서 돌려준 뒤, 관련 감정에 이름을 붙이세요. 예: ‘시험 결과에 실망하셨군요. 기대만큼 안 나와서 속상하실 것 같아요.’”

System prompt를 쓸 때 흔히 하는 실수가 있다. 첫째, 너무 짧게 쓰는 것. “CBT 상담사 역할을 해줘” 한 줄이면 AI가 자의적으로 해석한다. 최소 300자 이상은 써야 일관된 행동이 나온다. 둘째, 금지 사항을 빠뜨리는 것. 뭘 해야 하는지만 쓰고, 뭘 하면 안 되는지를 안 쓰면 예상치 못한 행동이 나온다. “진단명을 쓰지 마세요”를 안 쓰면, AI가 “우울증 증상이 보입니다”라고 말할 수 있다. 셋째, 안전장치를 안 넣는 것. 위기 대응 지침이 없으면, “죽고 싶다”는 말에 “왜 그런 생각이 드시나요?”라고 탐색만 하고 전문가 연결을 안 할 수 있다.

아론 T. 벡

인지치료의 핵심은 환자가 자기 생각을 '현실의 사실'이 아니라 '검증 가능한 가설'로 바라보게 돕는 것이다.

— Beck (1995)

3단계: 위기 대응 설계

위기 대응은 일반 대화와 완전히 분리해서 설계해야 한다. 위기가 감지되면 모든 일반 대화 흐름보다 안전이 우선한다. 마치 비행기에서 비상 상황이 발생하면 일반 서비스를 모두 중단하고 안전 절차를 따르는 것과 같다. 위기 대응의 3단계 원칙은 이렇다.

1단계: 인정과 공감. “그런 생각이 드실 만큼 힘드신 거군요. 솔직하게 말씀해 주셔서 감사합니다.” 고통을 인정하되 판단하지 않는다. 이 순간에 “왜 그런 생각을 하세요?”라고 원인을 캐물으면 안 된다. 원인 탐색은 전문가의 몫이다.

2단계: 안전 확인. “지금 안전한 곳에 계신가요?”, “주변에 연락할 수 있는 분이 계신가요?”로 즉각적인 안전을 확인한다. 이 질문들은 위기 개입의 기본 프로토콜이다. 실제 위기 상담에서도 가장 먼저 하는 질문이 “지금 안전한가요?”이다.3단계: 전문가 연결. 자살예방상담전화 1393, 정신건강위기상담 1577-0199를 안내한다. 위기가 아닌 상황에서도 전문 상담을 권유한다. 이 3단계는 모든 상담 챗봇에 반드시 포함되어야 한다. 위기 대응 코드는 system prompt에 명확히 포함시키고, 테스트할 때 반드시 작동 여부를 확인해야 한다.

칼 로저스

진정한 공감이란 상대방의 세계에 들어가되, 그 안에서 길을 잃지 않는 것이다. '마치 ~처럼' 느끼되, 그것이 내 것이 아님을 아는 것이다.

— Rogers (1980)