AI 상담 윤리 (1): APA 가이드라인과 비밀보장

이번 주 읽기: AI 상담에 윤리가 필요한 이유

지금까지 우리는 AI로 상담 도구를 만드는 데 집중했다. 이번 주부터 두 주에 걸쳐 한 발짝 물러서서 “이걸 이렇게 만들어도 되는 걸까?”를 생각해보자.Gainer(2025)는 흥미로운 비유를 든다. 칼 자체는 선하지도 악하지도 않다. 문제는 그 칼을 누가, 어떤 상황에서, 어떤 목적으로 쓰느냐다. AI도 똑같다. 기술 자체가 윤리적이거나 비윤리적인 게 아니라, 누가 설계하고 어떤 맥락에서 배포하느냐가 윤리적 판단의 대상이다.

왜 지금 이 시점에서 윤리를 다룰까? 전반부(1~8주차)에서 우리는 접수 면접 자동화, 심리검사 디지털화, 챗봇 구현 등 기술을 만드는 법을 배웠다. 그 과정에서 “이런 기능이 있으면 편하겠다”는 생각이 앞섰을 것이다. 하지만 편리함과 윤리적 안전은 다른 문제다. 자동차가 빠르면 편리하지만, 브레이크 없는 자동차는 위험하다. 윤리 모듈은 AI 상담 도구의 브레이크다.

세네카 R. 게이너

AI를 상담에 도입하는 것은 새 도구를 하나 추가하는 게 아니다. 치료적 관계의 구조 자체를 다시 설계하는 것이다. 상담사-내담자의 2자 관계가 상담사-AI-내담자의 3자 관계로 바뀔 때, 기존의 모든 윤리 원칙을 처음부터 다시 점검해야 한다.

— Gainer (2025, p. 198)

여기서 핵심적인 구분이 하나 있다. AI를 “도구”로 쓰는 것과 “동료”로 쓰는 것의 차이다. 쉽게 말해보자. 도구로서의 AI는 상담사가 통제한다. 예를 들어 상담사가 AI에게 “이 내담자의 감정 일기를 분석해줘”라고 시키고, AI 결과를 검토한 뒤 자기 판단으로 상담을 진행한다. 이 경우 뭔가 잘못돼도 책임은 상담사에게 있다. 반면 동료로서의 AI는 독자적으로 판단을 내린다. AI가 알아서 내담자에게 조언하고, 위기를 감지하고, 개입한다. 이 경우 사고가 나면 누구 책임인지가 불분명해진다. Gainer는 현재 단계에서 AI는 반드시 도구의 위치에 있어야 한다고 강조한다.

이 구분을 일상적 예로 들어보자. AI 내비게이션은 도구다. “300m 앞에서 우회전하세요”라고 안내하지만, 핸들을 돌리는 건 운전자다. 내비게이션이 틀려도 운전자가 판단해서 무시할 수 있다. 반면 자율주행차는 동료에 가깝다. 차가 스스로 판단하고 핸들을 돌린다. 사고가 나면 운전자 책임인지, 제조사 책임인지, AI 개발사 책임인지가 복잡해진다. 현재의 AI 상담 도구는 “내비게이션” 수준에 머물러야 하고, “자율주행” 수준으로 넘어가는 건 기술적으로도 윤리적으로도 시기상조라는 것이다.

유발 노아 하라리

AI가 인간의 감정을 해킹할 수 있게 되면, 민주주의, 시장경제, 그리고 개인의 자유까지 모두 재정의해야 할 것이다.

— Harari (2018)

APA의 AI 활용 4대 원칙

미국심리학회(APA, American Psychological Association — 세계에서 가장 큰 심리학 전문 단체)는 2023년에 AI 활용 가이드라인(guideline, 전문 분야에서 지켜야 할 권장 지침)을 발표했다. 네 가지 원칙인데, 하나씩 쉽게 풀어보자.

투명성(transparency) — 내담자에게 “당신의 상담에 AI가 관여하고 있어요”라고 명확히 알리는 것이다. AI가 어떤 역할을 하는지, 어떤 데이터가 AI에 전달되는지, AI의 판단이 상담에 어떤 영향을 미치는지를 내담자가 이해할 수 있는 쉬운 말로 설명해야 한다. 병원에서 의사가 “이 검사 결과는 AI가 분석했어요”라고 알려주는 것과 비슷한 원리다.

투명성이 어려운 이유가 있다. 기술적 설명과 이해 가능한 설명 사이의 간극이다. “당신의 데이터가 GPT-4 Turbo API를 통해 OpenAI 서버에 전송됩니다” 라고 말하면 기술적으로 정확하지만, 대부분의 내담자는 이해하지 못한다. 반대로 “AI가 도와주고 있어요”라고만 말하면 너무 막연하다. 적절한 수준은 “당신이 입력한 내용을 AI가 분석해서 상담사에게 요약해줍니다. AI 분석 결과는 외부에 공유되지 않으며, 최종 판단은 상담사가 합니다” 정도다.

공정성(fairness) — AI가 특정 집단에게 편향된(biased, 한쪽으로 치우친) 결과를 내지 않도록 보장하는 것이다. 영어 데이터로 학습한 AI가 한국 문화를 제대로 이해 못할 수 있다는 점도 여기에 해당한다. 예를 들어 미국 문화에서 “I'm fine”은 보통 괜찮다는 뜻이지만, 한국 문화에서 “괜찮아요”는 괜찮지 않을 때도 자주 쓴다. AI가 이 문화적 차이를 모르면 한국 내담자의 감정을 잘못 판단할 수 있다.

프라이버시(privacy, 개인정보 보호) — 상담 데이터가 수집, 저장, 전송, 폐기되는 모든 과정에서 내담자의 개인정보를 보호하는 것이다. 상담 데이터는 일반 개인정보보다 더 민감하다. 건강 정보, 정신건강 기록, 가족 관계, 트라우마 경험 등이 포함되기 때문이다. 이런 정보가 유출되면 내담자에게 사회적, 직업적으로 심각한 피해가 갈 수 있다.

책무성(accountability, 책임 소재) — AI가 오류를 내거나 해로운 결과가 발생했을 때 누가 책임지는지를 명확히 하는 것이다. 현재 법적 프레임워크에서는 AI 자체에 법적 책임을 물을 수 없다. 따라서 AI를 도입한 기관, AI를 사용한 상담사, AI를 개발한 회사 사이에서 책임을 어떻게 나눌 것인지를 사전에 정해야 한다.

AI 상담이 실제로 효과가 있을까? 연구 결과

윤리를 논하려면 먼저 사실을 알아야 한다. AI 상담이 정말 효과가 있는 걸까?Fulmer 등(2018)은 AI 챗봇 Tess를 대학생 74명에게 2주간 사용하게 하고, 자기 도움 전자책만 읽은 그룹과 비교했다. 결과는 Tess 사용 그룹에서 우울과 불안 증상이 모두 줄었다. 효과 크기(effect size, 숫자가 클수록 효과가 큼)는 우울 d=0.44, 불안 d=0.51로 “중간 수준”이었다. 쉽게 말하면 “확실히 효과는 있지만, 마법처럼 낫는 건 아니다” 정도다.

Fulmer 연구의 한계도 알아야 한다. 참가자가 74명으로 적고, 기간이 2주로 짧고, 대학생만을 대상으로 했다. 대학생은 상대적으로 기술에 익숙하고, 증상이 경도인 경우가 많다. 이 결과를 고령자, 기술 접근성이 낮은 집단, 중증 환자에게 일반화할 수 없다. 하지만 이 연구는 AI 챗봇 상담의 가능성을 처음으로 실험적으로 보여줬다는 점에서 역사적 의미가 있다.

Guo 등(2024)은 더 큰 규모의 연구를 했다. 2015~2023년에 발표된 32개 실험(총 4,127명)을 모아서 종합 분석(메타분석, meta-analysis — 여러 연구의 결과를 하나로 합쳐서 보는 방법)한 것이다. 전체 효과 크기는 g=0.52로 역시 중간 수준. 그런데 한 가지 분명한 경계선이 나타났다. 가벼운 우울이나 불안에는 대면 상담과 비슷한 효과를 보였지만, 심각한 정신건강 문제(중증 우울, 자살 위험 등)에서는 효과가 크게 떨어졌다(g=0.21).

이 연구 결과가 우리 프로젝트에 주는 시사점은 명확하다. AI 상담 도구를 설계할 때 “적용 범위의 경계”를 분명히 정해야 한다. 경도에서 중등도 수준의 우울과 불안에 대해서는 AI 도구가 도움이 될 수 있지만, 중증 사례에서는 반드시 전문가에게 연계해야 한다. 이것이 바로 앞서 배운 “3단계 안전장치”의 실증적 근거다.

윤리적 딜레마: 정답이 없는 질문들

윤리 문제가 어려운 이유는 정답이 없기 때문이다. 대부분의 윤리적 딜레마는 두 가지 “옳은 것” 사이에서 선택하는 것이다. 비밀보장도 옳고, 안전도 옳다. 하지만 내담자가 자살 충동을 말했을 때, 비밀을 지키는 것과 보호자에게 알리는 것 중 뭐가 더 옳은가? 이것이 딜레마다.

AI가 개입하면 이 딜레마가 더 복잡해진다. 전통적 상담에서는 상담사가 내담자의 표정, 목소리 톤, 몸짓을 종합적으로 판단해서 위기 수준을 평가한다. AI는 텍스트만 분석한다. “죽고 싶다”라는 표현이 진짜 자살 의도인지, “시험 때문에 죽겠다”는 비유인지를 텍스트만으로 구분하기 어렵다. AI가 이것을 위기로 잘못 판단해서 보호자에게 알리면? 내담자는 “AI가 내 비밀을 누설했다”고 느끼고, 다시는 도움을 구하지 않을 수 있다. 반대로 AI가 진짜 위기를 놓치면? 돌이킬 수 없는 결과가 생길 수 있다.

이런 딜레마에 대한 “정답”은 없지만, “최선의 접근 방식”은 있다. 첫째, 단일 기준이 아니라 다단계 기준을 만든다. 키워드 하나로 판단하지 말고, 키워드 + 문맥 + 빈도 + 시간대를 종합해서 위험도를 판단한다. 둘째, AI의 판단을 최종 결정으로 쓰지 않는다. AI가 “위험 가능성 있음”이라고 플래그를 세우면, 상담사가 직접 확인하는 중간 단계를 둔다. 셋째, 오류 발생 시의 프로토콜을 미리 정해둔다. 거짓 양성(위기가 아닌데 알림)과 거짓 음성(위기인데 놓침) 각각에 대한 대응 절차를 만들어둔다.

조지프 와이젠바움

컴퓨터에 위임해서는 안 되는 과제가 있다. 그것은 공감, 이해, 존중을 필요로 하는 과제다. 인간적 판단이 필요한 결정을 기계에 맡기는 것은 기술의 오용이다.

— Weizenbaum (1976)

비밀보장과 AI: 내 상담 내용은 어디로 가는 걸까?

상담에서 비밀보장(confidentiality, 상담 내용을 외부에 알리지 않는 것)은 모든 것의 기반이다. 내담자가 자기 가장 취약한 이야기를 꺼낼 수 있는 건, “이 내용이 상담실 밖으로 나가지 않을 것”이라는 믿음 덕분이다. 그런데 AI가 상담에 개입하면 이 믿음의 구조가 바뀐다. 내담자의 말이 상담사에게만 전달되는 게 아니라, AI 시스템을 거치면서 다른 회사의 서버에 저장될 수 있기 때문이다.

비밀보장이 왜 이렇게 중요한지를 일상적 예로 생각해보자. 친구에게 비밀을 털어놨는데, 그 친구가 다른 사람에게 말했다는 걸 알면 어떤 기분이 들까? 배신감, 분노, 그리고 “다시는 이 사람에게 비밀을 말하지 말아야지”라는 결심이 든다. 상담도 마찬가지다. 비밀보장이 깨지면 내담자는 상담사를 신뢰하지 않게 되고, 신뢰가 없으면 상담은 작동하지 않는다.Rogers가 말한 “무조건적 긍정적 존중”의 전제가 바로 이 신뢰다.

구체적으로 보자. OpenAI(ChatGPT를 만든 회사)의 API(Application Programming Interface, 외부 프로그램이 AI를 이용할 수 있게 해주는 통로)를 쓰면, 전송된 데이터는 기본 30일간 보관된다(모델 학습에는 사용되지 않음). Anthropic(Claude를 만든 회사)은 API 데이터를 모델 개선에 활용하지 않지만, 안전 모니터링 목적으로 일부 검토할 수 있다. Google의 Gemini API는 기업용 요금제에서만 데이터 학습 제외를 보장한다. 상담사 입장에서 “내 내담자의 비밀이 어디까지 가는 걸까?”가 복잡해진 것이다.

이 문제를 풀기 위한 실무적 접근법이 있다. 첫째, 데이터를 AI에 보내기 전에 “비식별화(de-identification)”한다. 이름, 나이, 학교명, 전화번호 같은 개인 식별 정보를 제거하거나 가명으로 바꾼 뒤 AI에 보내는 것이다. 예를 들어 “김OO(22세, A대학교 3학년)”를 “내담자 A(20대 초반, 대학생)”로 바꾸는 식이다. 둘째, API 데이터 보관 기간이 짧은 서비스를 선택하거나, 제로 데이터 보존(zero data retention) 옵션을 사용한다. 셋째, 동의서에 AI 데이터 처리에 대한 내용을 명시한다.

세네카 R. 게이너

내담자에게 AI의 작동 원리를 기술적으로 설명할 필요는 없다. 핵심은 네 가지 질문에 답하는 것이다. (1) 내 상담 내용이 AI에 전달되는가? (2) AI가 내 데이터를 저장하는가? (3) 내 데이터가 AI 학습에 쓰이는가? (4) 내 데이터에 누가 접근할 수 있는가?

— Gainer (2025, p. 205)

한국 법률: 개인정보보호법과 정신건강복지법

한국에서 AI 상담 데이터를 다룰 때는 두 가지 법이 적용된다. 첫째, «개인정보보호법»이다. AI 상담 플랫폼이 수집하는 이름, 연락처, 상담 기록, 심리검사 결과는 모두 개인정보다. 수집 전에 동의를 받아야 하고, 동의받은 목적 외에 사용하면 안 되고, 안전하게 관리해야 한다. 2023년 개정법은 자동화된 의사결정(automated decision-making, AI가 사람 대신 판단을 내리는 것)에 대한 거부권도 신설했다. 예를 들어 AI가 내담자를 “고위험”으로 자동 분류하면, 내담자는 그 결정에 대해 설명을 요구하고 거부할 권리가 있다.

개인정보보호법의 핵심 원칙을 쉽게 정리하면 이렇다. “최소 수집” — 상담에 꼭 필요한 정보만 수집한다. 취미나 SNS 계정 같은 건 상담 목적과 관련이 없다면 수집하면 안 된다. “목적 제한” — 상담 목적으로 수집한 데이터를 마케팅에 쓰면 안 된다. “보관 기한” — 상담이 종료되면 합리적 기간 내에 데이터를 파기해야 한다. 이 세 가지만 기억하면 실습에서 만드는 플랫폼에도 적용할 수 있다.

둘째, «정신건강복지법»이다. 이 법은 정신건강 정보의 비밀 유지를 특별히 강화한다. 본인 동의 없이 정보를 공개하면 안 된다. 다만 예외가 있다 — 자해(자기를 해치는 것)나 타해(남을 해치는 것)의 위험이 있을 때다. 실제 상황을 상상해보자. AI가 자살 위험 신호를 감지해서 자동으로 보호자나 응급 서비스에 알리는 기능이 있다고 치자. 법적으로는 이 예외 조항에 근거할 수 있다. 하지만 AI의 감지 정확도가 충분하지 않은 상태에서 자동 알림이 잘못 작동하면 어떻게 될까? 위기가 아닌데 보호자에게 알림이 가면, 내담자는 “내 비밀을 AI가 누설했다”고 느끼고 상담 관계가 깨질 수 있다.

무스타파 술레이만

AI의 진짜 위험은 AI가 너무 똑똑해지는 게 아니라, AI가 충분히 똑똑하지 않은 상태에서 중요한 결정에 사용되는 것이다.

— Suleyman (2023)

3단계 안전장치: 위기 감지 → 전문가 연계 → 면책 고지

AI 상담 플랫폼에는 반드시 안전장치(safety mechanism, 사고를 예방하기 위한 시스템)를 설계해야 한다. 세 단계로 나눠보자. 1단계: 위기 감지. 내담자가 입력한 텍스트에서 자해, 자살, 타해 관련 표현을 실시간으로 모니터링한다. 여기서 어려운 점은 “죽고 싶다”가 진짜 자살 의도인지, “시험 때문에 죽겠다” 같은 비유적 표현인지를 구분하는 것이다. 단순 키워드 매칭(특정 단어가 있으면 알림)만으로는 부족하고, AI의 맥락 이해 능력을 함께 활용하는 이중 체계가 필요하다.

위기 감지의 이중 체계를 구체적으로 설명하면 이렇다. 1차 필터는 키워드 기반이다. “자살”, “죽고 싶”, “자해”, “끝내고 싶” 같은 핵심 키워드가 포함되면 플래그를 세운다. 2차 필터는 AI 맥락 분석이다. 플래그가 세워진 텍스트를 AI가 전체 문맥 속에서 분석해서 “실제 위기 가능성: 높음/중간/낮음”을 판단한다. “시험 때문에 죽겠다”는 1차에서 걸리지만, 2차에서 “비유적 표현, 위기 가능성 낮음”으로 판정될 수 있다.

2단계: 전문가 연계. 위기가 감지되면 자동으로 상담사에게 알림을 보내고, 내담자에게는 자살예방상담전화(1393), 정신건강위기상담전화 (1577-0199), 경찰(112) 등 긴급 연락처를 안내한다. 이때 화면 디자인이 중요하다. 긴급 연락처는 눈에 잘 띄는 위치에, 큰 글씨로, 터치하면 바로 전화가 걸리는 방식으로 구현해야 한다. 위기 상황에서 복잡한 절차를 거쳐야 하는 디자인은 생명을 위협할 수 있다.

3단계: 면책 고지. AI가 전문 상담을 대체하지 않는다는 사실을 서비스 곳곳에 명시한다. 처음 접속할 때, 대화를 시작할 때, 위기 상황이 감지될 때 — 이 세 시점에 반복해서 안내한다. 마치 약 포장에 “이 약은 의사의 처방에 따라 복용하세요”라고 쓰는 것과 같은 원리다. 면책 고지의 문구는 법률적으로 검토받는 것이 바람직하지만, 수업 실습에서는 “이 서비스는 전문 상담을 대체하지 않습니다. 심각한 어려움이 있으신 경우 전문 상담사를 만나주세요” 정도로 작성한다.

유발 노아 하라리

AI가 인간의 감정을 해킹할 수 있게 되면, 민주주의, 시장경제, 그리고 개인의 자유까지 모두 재정의해야 할 것이다.

— Harari (2018)

안전장치의 핵심 원칙을 정리하면 “fail-safe(안전 우선 실패)”다. 시스템이 실패할 때 “안전한 방향”으로 실패해야 한다는 것이다. 에스컬레이터가 고장 나면 계단이 되지, 미끄럼틀이 되지는 않는다. AI 위기 감지 시스템도 마찬가지다. 판단이 불확실할 때는 “안전한 방향”(전문가에게 연계)으로 작동해야 한다. 거짓 양성(위기가 아닌데 알림)은 불편하지만, 거짓 음성(위기인데 놓침)은 치명적이다.

AI 편향(bias): 공정한 AI란 가능한가?

AI는 데이터로 학습한다. 데이터에 편향이 있으면 AI도 편향된 결과를 낸다. 이것을 “알고리즘 편향(algorithmic bias)”이라고 한다. 상담 분야에서 이 문제가 특히 심각한 이유는, 정신건강에 대한 인식과 표현이 문화마다 크게 다르기 때문이다.

구체적 예를 들어보자. 영어권 문화에서는 “I feel depressed”라고 직접적으로 감정을 표현하는 경향이 있다. 하지만 한국 문화에서는 우울을 “몸이 무겁다”, “밥맛이 없다”, “머리가 아프다” 같은 신체 증상으로 표현하는 경우가 많다. 이것을 “신체화(somatization)”라고 한다. 영어 데이터로 학습한 AI는 “밥맛이 없다”를 식욕 문제로만 인식하고, 그 뒤에 있는 우울을 놓칠 수 있다.

성별 편향도 문제다. 우울증 연구 데이터의 대부분은 여성 참가자를 대상으로 수집되었다. 남성의 우울은 슬픔보다 분노, 공격성, 과도한 음주로 나타나는 경우가 많은데, AI가 이런 “비전형적” 우울 패턴을 놓칠 수 있다. 연령 편향도 있다. AI 상담 연구의 참가자는 대부분 20~30대다. 60대 이상의 노인 우울은 “기억력이 떨어진다”, “잠을 못 잔다”로 나타나는 경우가 많은데, AI가 이를 우울이 아닌 노화로 해석할 위험이 있다.

동의서(Informed Consent) 설계하기

AI를 활용한 상담에서는 기존 상담 동의서에 추가해야 할 항목들이 있다. 기존 동의서는 “상담 내용은 비밀이 보장됩니다”, “예외: 자타해 위험이 있을 때” 정도만 포함했다. AI 상담 동의서에는 네 가지를 추가한다.

첫째, “이 상담에서 AI가 어떤 역할을 하는지” 설명한다. 예: “본 상담 서비스는 AI를 활용하여 상담 내용을 분석하고, 상담사에게 요약 정보를 제공합니다.” 둘째, “데이터가 어디에 저장되고, 누가 접근할 수 있는지”를 명시한다. 셋째, “AI 학습에 내 데이터가 사용되는지 여부”를 알린다. 넷째, “AI의 판단에 동의 하지 않을 경우의 이의 제기 절차”를 안내한다. 이 네 가지가Gainer(2025)가 말한 “AI 동의서의 최소 요건”이다.

세네카 R. 게이너

전통적 상담 동의서에 'AI 조항'을 추가하는 것만으로는 부족하다. AI가 상담 과정에서 어떤 역할을 하는지, 데이터가 어떻게 처리되는지를 내담자가 실제로 이해할 수 있는 수준으로 설명해야 한다.

— Gainer (2025, p. 210)

Perplexity + NotebookLM으로 윤리 논문 찾기

AI 상담 윤리 연구는 매년 수백 편의 논문이 쏟아지는 분야다. 이 논문의 바다에서 우리 프로젝트에 필요한 연구를 빠르게 찾는 능력이 필요하다. 이번 실습에서는 두 가지 AI 도구를 조합해서 쓴다. 논문을 찾는 도구와 논문을 분석하는 도구를 각각 사용해서 효율을 높이는 것이다.

첫 번째 도구는 Perplexity AI다. 학술 논문을 실시간으로 검색해서 핵심 내용을 요약해주는 AI 검색 엔진이다. 예를 들어 “AI chatbot therapy effectiveness meta-analysis 2024”라고 검색하면, 관련 논문의 제목, 저자, 핵심 발견을 정리해서 보여준다. 일반 검색 엔진과 다른 점은 학술 출처를 우선 참조하고, 각 주장의 근거 논문을 인라인 인용으로 표시한다는 것이다.

Perplexity를 효과적으로 쓰는 팁이 있다. 검색어를 한국어로 쓰면 한국어 자료 위주로 결과가 나온다. 학술 논문은 영어로 쓰인 것이 압도적으로 많기 때문에, 검색어는 영어로 쓰는 게 좋다. “AI counseling ethics 2024”, “chatbot mental health confidentiality”, “digital therapy informed consent” 같은 검색어를 활용하자. 또한 Perplexity의 “Academic” 모드를 선택하면 학술 논문 중심으로 검색 결과가 나온다.

두 번째 도구는 Google NotebookLM이다. 논문 PDF를 업로드하면 내용을 자동으로 분석하고, 논문끼리 비교해주고, 질문에 답한다. 예를 들어Fulmer 등(2018)과Guo 등(2024)의 논문을 업로드한 뒤 “두 연구의 방법과 결론의 차이를 비교하라”고 하면, 구체적인 비교 분석을 해준다. Perplexity로 논문을 찾고, NotebookLM으로 깊이 분석하는 2단계 워크플로우가 효과적이다.

NotebookLM의 강력한 기능 중 하나는 “소스 기반 답변”이다. ChatGPT나 Claude에 논문에 대해 질문하면 때로 “환각 (hallucination)” — 없는 내용을 만들어내는 현상 — 이 발생할 수 있다. NotebookLM은 업로드된 문서 내에서만 답변을 생성하기 때문에 환각 위험이 크게 줄어든다. 각 답변에 원문의 정확한 위치가 표시되어 검증도 쉽다.

우리 프로젝트의 윤리 체크리스트 만들기

문헌 탐색 결과를 바탕으로, 각 팀은 자기 프로젝트에 맞는 윤리 체크리스트를 만든다. APA의 4대 원칙(투명성, 공정성, 프라이버시, 책무성)을 기본 틀로 쓰되, 프로젝트 특성에 맞게 구체화한다. 예를 들어 접수 면접 자동화 도구를 만드는 팀이라면 이런 질문들을 체크리스트에 넣는다. “내담자에게 AI가 접수 면접을 보조한다는 사실을 알리는가?” “접수 면접 데이터가 어디에 저장되며, 누가 볼 수 있는가?” “AI의 선별 결과가 상담사 판단에 편향을 줄 가능성은 없는가?”

체크리스트를 만들 때 실수하기 쉬운 점이 있다. 질문을 너무 일반적으로 쓰는 것이다. “프라이버시를 보호하는가?”는 너무 넓어서 체크할 수가 없다. 대신 “내담자의 이름과 연락처를 AI API에 전송하지 않도록 비식별화 처리를 했는가?”처럼 구체적으로 쓰자. 체크리스트의 각 항목은 “예/아니오/해당 없음”으로 답할 수 있어야 한다. “아니오”가 나온 항목은 개선 계획을 옆에 적는다.

세네카 R. 게이너

윤리 체크리스트는 '만들면 끝'이 아니라 '계속 업데이트'해야 하는 살아 있는 문서다. 프로젝트가 발전할수록 새로운 윤리적 질문이 생기고, 체크리스트도 함께 자라야 한다.

— Gainer (2025, p. 218)

3단계 안전장치 설계서 작성하기

윤리 체크리스트와 함께, 각 팀은 3단계 안전장치 설계서를 작성한다. 이 설계서는 “만약 이런 상황이 발생하면 어떻게 대응할 것인가?”를 미리 정해두는 문서다. 1단계(위기 감지) 섹션에는 어떤 키워드와 패턴을 감지할 것인지, 감지의 민감도(sensitivity)를 어떻게 설정할 것인지를 적는다. 2단계(전문가 연계) 섹션에는 감지 후 몇 초 안에 어떤 행동을 취할 것인지, 연계할 기관과 연락처를 적는다. 3단계(면책 고지) 섹션에는 실제 면책 문구를 작성한다.

설계서를 작성할 때 구체적인 수치를 넣는 것이 중요하다. “빠르게 대응한다”가 아니라 “위기 감지 후 5초 이내에 화면에 긴급 연락처를 표시하고, 30초 이내에 담당 상담사에게 알림을 보낸다”처럼 시간을 명시하자. “적절한 안내를 한다”가 아니라, 실제 면책 문구의 전문을 적는다. 이렇게 구체적으로 적어야 나중에 실제 구현할 때 기준이 된다.

윤리 시나리오 카드 작성법

윤리 시나리오 카드란 “만약 이런 상황이 발생하면?”이라는 가상의 윤리적 딜레마를 카드 형태로 만든 것이다. 각 카드에는 세 가지를 적는다. (1) 상황 설명: 구체적이고 현실적인 시나리오. (2) 윤리적 쟁점: 이 상황에서 충돌하는 두 가지 이상의 원칙. (3) 토론 질문: 어떤 선택이 “더 나은” 선택인지를 논의할 수 있는 열린 질문.

좋은 시나리오 카드의 조건은 “정답이 없는 것”이다. 정답이 있으면 토론이 아니라 퀴즈가 된다. “내담자의 동의 없이 데이터를 팔아도 되는가?”는 정답이 뻔하니까 좋은 시나리오가 아니다. “내담자가 동의서에 서명했지만, 동의서의 AI 관련 조항을 제대로 읽지 않은 것 같다. 이 동의는 유효한가?”는 의견이 나뉘기 때문에 좋은 시나리오다.