6주 · 자율주행 트럭을 시험할 때 누가 감독하고 책임지는가

AI 에이전트 시대의 개인과 조직의 변화
2027년 1학기 · 유호현 · 읽기·토론 세미나

트럭 위원회 · 도입을 둘러싼 규칙과 갈등

트럭 옆에서 여러 사람이 도시와 도로 모형을 둘러싸고 논의하는 강의 삽화
그림 3 · 트럭과 도로망을 놓고 함께 논의하는 사람들. 수업에서는 이 그림을 ‘트럭 위원회’를 나타내는 그림으로 쓴다. 기존 강의의 원본 이미지 (새 탭)

1교시 · 트럭 사례 강의

1교시 · 익숙한 노선에서 자율주행 트럭을 시험하다

이 배송 회사와 사건은 수업을 위한 가상 사례다. 회사는 시청–광화문 노선의 일부 운행에 자율주행 트럭을 시험 투입한다. 사람이 운전하는 기존 차량은 계속 운영한다. 이동을 맡기는 범위와 배차·가격·고객 약속을 결정하는 범위를 구분하고, 시험 중에 필요한 승인과 중단 절차를 살핀다.

익숙한 노선부터 시작하는 시험

트럭 위원회는 시청에서 광화문까지 여러 번 운행한 길을 시험 구간으로 고른다. 자율주행 트럭은 정해진 시간대와 구간에서만 움직인다. 나머지 주문은 직원이 운전하는 차량으로 처리한다. 회사는 운행을 시작하기 전에 허용 조건을 확인하고, 조건을 벗어나면 시험을 보류하기로 한다. 익숙한 길을 골랐어도 적재 상태와 고객의 수령 상황은 주문마다 달라질 수 있다.

배차 담당자는 어느 주문을 시험 차량에 실을지 정한다. 적재 담당자는 포장과 적재 상태를 확인하고, 고객 담당자는 수령 가능 시간을 확인한다. 차량이 스스로 이동해도 이 업무는 남는다. 직원들은 누가 운전석에 앉는지에 집중했던 지난 회의와 달리, 출발 전에 여러 사람의 판단이 어떤 순서로 연결되는지 업무표에 적는다.

관리자는 시험 결과를 보고 운행 범위를 다시 논의하겠다고 말한다. 직원들은 이동 성공과 대기, 중단, 고객 연락, 사람의 개입을 함께 기록하자고 요청한다. 수동 운전 차량과 비교할 때에는 주문의 난이도와 시간대도 확인하기로 한다. 한 번의 시험 결과로 다른 지역까지 같은 방식으로 운영할 수 있을지는 아직 판단을 보류한다.

차량 이동과 고객 약속을 따로 맡기기

회사가 쓰는 배차 에이전트는 주문 목록을 읽고 차량별 적재 후보와 경로를 추천한다. 자율주행 기능은 승인된 운행 조건에 따라 차량을 이동시킨다. 두 기능의 권한은 별도로 정한다. 차량이 스스로 달릴 수 있다는 이유로 배차 에이전트가 모든 주문을 받아도 되는지는 따로 결정해야 한다. 업무표에는 추천, 승인, 이동의 담당을 나누어 적는다.

가격표를 조회하는 기능과 가격을 바꾸는 기능도 구분한다. 이번 시험에서 에이전트는 기존 가격을 안내할 초안을 만들 수 있지만 할인이나 추가 요금을 확정할 권한은 받지 않는다. 고객에게 새로운 도착 시각을 약속하는 행동에는 담당자의 검토가 필요하다. 계산 결과가 고객에게 전달되어 약속이 되는 시점을 기록하면, 어느 단계에 승인이 필요한지 확인하기 쉽다.

위원회는 에이전트의 설정 문서에서 접근 가능한 자료와 외부 전송 기능을 확인한다. 하위 작업을 다른 에이전트에 넘기는 경우에는 그 에이전트의 권한도 적는다. 사람에게 묻는 설정이 있어도 그 전에 고객에게 메시지를 보낼 수 있다면 정책과 실행 순서가 어긋난다. 직원들은 허용 행동 목록과 실제 설정을 대조할 항목을 만든다.

수령인이 없을 때 제안된 다른 배송 장소

시험 차량이 목적지에 가까워졌을 때 고객 담당자가 수령인 부재 연락을 받는다. 배차 에이전트는 가까운 다른 장소에 상자를 놓으면 다음 배송을 이어 갈 수 있다고 제안한다. 이동 거리는 짧지만 고객에게 약속한 수령 장소가 바뀐다. 직원은 제안을 바로 전송하지 않고, 원래 약속과 대체 장소의 보관 조건을 함께 확인한다.

고객 담당자는 대체 장소를 고객이 받아들일 수 있는지 묻고, 내부 승인자는 그 장소로 배송할 권한과 조건을 검토한다. 고객 동의가 확인되어도 회사가 물건을 그곳에 둘 수 있는지는 추가 확인이 필요하다. 응답이 올 때까지 차량에는 사전에 정한 대기·운행 보류 절차를 적용한다. 에이전트가 편리한 장소를 추천했다는 사실만으로 목적지 변경을 확정하지 않는다.

승인자가 연락을 받지 않으면 대체 담당자에게 요청을 넘긴다. 정해진 시간 안에 필요한 확인을 얻지 못하면 해당 주문의 장소 변경을 중단하고 담당자가 후속 배송을 정한다. 이미 고객에게 잘못된 안내가 나갔다면 고객 담당자가 정정하고 관련 기록을 확인한다. 작업 중단, 상자 보관, 고객 연락, 변경 기록의 복구는 각각 맡을 사람을 적어 둔다.

승인 설정과 실제로 검토할 수 있는 조건

첫날 관제 담당자의 화면에 장소 변경 승인 요청이 뜬다. 담당자는 수동 운전 차량의 지연 연락도 받고 있어 요청을 바로 읽지 못한다. 화면에는 추천 장소가 크게 보이지만 기존 약속이 바뀐 부분은 찾기 어렵다. 시스템에는 사람의 개입 단계가 있으나, 담당자가 변경의 의미를 이해하고 응답할 조건은 충분한지 다시 확인해야 한다.

직원들은 승인 요청에 원래 장소, 제안 장소, 변경 이유, 미확인 조건을 함께 표시하자고 제안한다. 요청이 들어온 시각과 담당자가 실제로 내용을 확인한 시각도 나누어 기록한다. 알림을 보았다는 기록과 변경 근거를 검토했다는 기록은 서로 다른 정보를 준다. 동시 업무량을 기록하면 응답 지연을 개인의 태도만으로 설명할 위험도 줄일 수 있다.

중단 권한은 관제 담당자와 현장 책임자에게 어떤 방식으로 부여되는지 확인한다. 실행을 멈춰도 이미 보낸 안내와 바꾼 기록은 남을 수 있으므로 사후 확인 담당자도 필요하다. 직원이 중단 요청을 했을 때 지연 책임을 혼자 떠안는다면 권한을 쓰기 어려울 수 있다. 회사는 중단 이유와 판단 당시 정보를 평가 기록에 함께 남기기로 한다.

1교시 마무리 · 시험 노선에서 확인할 위임의 경계

회사는 자율주행 트럭이 익숙한 길을 이동하는 권한과 고객의 배송 약속을 바꾸는 권한을 따로 정했다. 그러나 담당자가 승인 요청을 실제로 이해하고 제때 응답할 수 있는지는 운행 중에 확인해야 한다. Cihon과 동료들의 논문은 행동과 접근 환경, 작업 흐름, 사람의 개입, 관찰 가능성을 나누어 이 문제를 정리하도록 돕는다.

이 논문을 읽은 뒤 학생은 자신의 같은 사례에서 코드나 설정으로 확인할 수 있는 범위와 실제 감독 기록으로 확인할 범위를 구분한다. 수령인 부재 상황을 넣어 승인자가 응답하지 않을 때 멈출 행동과 계속할 수 있는 행동을 명시한다. 이 수정이 다음 주 혼합 차량 운영의 역할·자원 설계를 검토할 기준이 된다.

2교시 · 자율주행 시범 운행에서 에이전트의 위임 범위 설계로

이번 실습의 기록을 같은 누적 설계서에 저장한다. 3교시의 논문 분석과 동료의 반론을 검토한 뒤 수정하고, 수정한 이유와 근거를 남긴다.

행동 권한과 실제 감독을 따로 조사하기

1교시에는 익숙한 시청–광화문 노선에서 수동 운전 차량을 유지하며 자율주행 트럭을 시험하는 가상 사례를 읽는다. 차량의 이동, 배차 추천, 가격 결정, 고객과의 약속 변경을 별도 행동으로 적는다. 2교시에는 1주에 선택한 사례의 같은 업무 흐름으로 돌아가 정보 조회, 추천, 외부 전송, 기록 변경을 구분한다. 각 행동의 입력 자료, 접근 대상, 영향을 받는 사람, 되돌릴 수 있는 범위를 표시해 위임 권한표의 초안을 만든다.

권한표 옆에는 설정과 관찰을 나누어 기록한다. 설정에서는 사람의 입력을 요구하는 시점, 작업 종료 조건, 하위 에이전트의 접근권, 로그 제공 여부를 확인할 항목으로 정한다. 관찰에서는 담당자가 실제로 본 정보, 응답까지 걸린 시간, 중단 성공 여부와 외부에 남은 변경을 확인할 항목으로 정한다. 코드에서 승인 절차가 발견되어도 실제 감독이 이루어지는지는 추가 자료가 필요하다. 수업에서는 가상 설정 문서와 모의 실행 기록을 사용한다.

코드 분류를 검토하고 운영 가설을 좁히기

서로 다른 두 학생이 같은 모의 설정을 Cihon과 동료들의 영향·감독 범주로 분류하고, 판단 근거가 된 설정 문장을 표시한다. 불일치가 생기면 범주 해석의 차이인지, 도구 접근권이 문서에 빠졌는지 구분한다. 분류 체계의 일관성과 실제 운영의 안전을 별도 질문으로 남긴다. 이 활동은 평가 틀의 적용 가능성을 점검하며, 심리적 효과를 확인하는 실험으로 해석할 범위는 갖고 있지 않다.

3교시에는 지정 논문 한 편의 코드 검사 방법과 적용 사례를 분석한 뒤 권한표를 고친다. 승인 지연을 설명할 때 담당자의 소극적 태도, 동시 업무량, 변경 정보의 누락이라는 대안을 비교한다. 이 설명들을 구별하려면 어떤 시각 기록과 화면 정보가 필요한지 적는다. 최종 산출물인 연구에 근거한 조직 운영 설계안에는 위임 범위, 승인·중단 조건, 책임자, 대체 담당자와 재검토 조건을 추가한다.

누적 설계서 양식 내려받기 · Markdown

3교시 · 논문 한 편 분석

주차별 읽기 자료 · 필수 논문은 아래 한 편이다. 개념과 연구 설계, 결과와 한계를 분석하고 2교시 설계를 수정한다.

  • Cihon et al. (2025 공개본) · 평가 틀·적용 사례 · SoLaR 2024 워크숍 / arXiv 2025 공개본

    최근 · Measuring AI Agent Autonomy: Towards a Scalable Approach with Code Inspection (새 탭에서 열림)

    2025 arXiv v1 · SoLaR 2024 워크숍 논문 · 원본 PDF · 변경 없음

    Peter Cihon, Merlin Stein, Gagan Bansal, Sam Manning, Kevin Xu · CC BY 4.0 · 원출처 · PDF 변경 없음

    대표 저자 · Peter Cihon · h-index 8 · Peter Cihon 조회 출처 (새 탭)

    AI 거버넌스·에이전트 자율성 평가 연구자

    저자와 연구 맥락 · Peter Cihon, Gagan Bansal 등 공동저자들은 에이전트의 자율성을 잠재적 영향과 감독 조건으로 평가하는 틀을 제안한다. AI 정책·평가와 사람의 감독을 연결한 연구로, ‘강한 모델’이라는 막연한 표현 대신 무엇을 어떻게 위임하는지 구체적으로 분석한다.[32]

    학술적 의의 · 이 접근은 모델의 성능과, 모델에게 행동을 맡기는 범위를 구분한다. 에이전트의 조정 코드를 분석해 자율성을 평가하려 한다. 누구에게 어떤 행동을 허용하고 어떤 감독을 남길지 논의할 때 쓸 개념을 제공한다. 다만 사람의 경험이나 실제 사고 확률은 직접 측정하지 않는다.[32]

    이 주차의 선정 이유 · 에이전트가 미치는 영향과 사람이 감독하는 범위를 나눈 평가 틀로 위임, 승인, 중단 원칙을 검토한다. 코드 점수가 실제 안전을 보장하지 않는다는 점을 확인하고, 누가 어디까지 책임지는지 구체적으로 정한다.

    읽기의 한계 · 에이전트의 코드를 기준으로 자율성을 평가하자는 제안이다. 사람의 신뢰나 웰빙을 측정한 심리 실험은 포함하지 않으며, 코드 점수만으로 실제 운영의 안전을 보장할 수 없다.

Cihon et al. (2025 공개본) · 영향과 감독으로 읽는 자율성

SoLaR 2024 워크숍 논문의 2025 arXiv v1; 코드 검사 기반 평가 틀과 적용 사례

1. 논문 소개

Cihon과 동료들은 에이전트를 실제로 실행하지 않고, 에이전트를 조정하는 코드의 특징을 검사해 자율성을 평가하는 방법을 제안한다. 수업에서 읽는 판본은 SoLaR 2024 워크숍 논문의 2025년 2월 arXiv v1이다. 이 방법은 자율성을 영향과 감독으로 나누어, 시스템이 무엇을 할 수 있는지와 사람이 어떻게 관여하는지를 확인한다.[1]

연구진은 이 평가 틀을 AutoGen 프레임워크와 그 응용에 적용했다. 응용 열 개를 연구자 세 명이 평가하고, 합의한 결과를 제시한다. 전체 평가 범주에서 평가자 간 일치도인 Fleiss’ κ는 0.64로 보고된다. 이 수치는 평가자들의 판단이 얼마나 일치했는지를 나타낸다. 실제 운영 중의 안전이나 사용자의 신뢰를 측정한 값과는 구분해야 한다.[1]

2. 논문의 주요 내용과 이론

영향은 시스템이 할 수 있는 행동과 시스템이 접근하는 환경을 함께 보고 평가한다. 행동은 대화만 하는 상태, 미리 정한 도구를 쓰는 상태, 코드를 실행해 폭넓게 행동하는 상태로 나눈다. 환경은 접근을 제한한 상태, 보호된 실행 환경, 제약이 적은 접근으로 나눈다. 같은 행동 기능이라도 어디에 접근하느냐에 따라 결과가 미치는 범위가 달라질 수 있다.[1]

감독은 에이전트의 작업 흐름, 사람의 개입, 관찰 가능성으로 평가한다. 작업 흐름은 정해진 흐름, 유한한 유연성을 가진 흐름, 끝이 정해지지 않은 상호작용으로 나눈다. 사람의 개입은 매번 사람에게 입력을 받는 설정, 종료 조건에서 입력을 받는 설정, 입력을 받지 않는 설정으로 나눈다. 하위 에이전트의 행동이 복잡하면, 상위 단계에서 사람에게 묻는 설정만 보고 전체 감독 수준을 판단하기 어렵다.[1]

원문 도식. 에이전트 자율성을 영향과 감독의 두 측면으로 나누고, 이를 다시 목표·행동·환경·상호작용 및 실행·인간 역할·실패·관찰 가능성으로 세분했다.

Cihon et al. · 그림 1: 영향과 감독으로 보는 자율성

영향 측면은 에이전트가 어떤 목표와 행동으로 어느 환경을 바꿀 수 있는지 다룬다. 감독 측면은 실행을 조율하는 방식, 사람의 역할, 실패했을 때의 대응, 관찰 가능성을 다룬다. 이 도식은 저자들이 코드 검사에 쓰는 분류 틀이다. 실제 운영에서의 안전성과 성능은 별도 평가로 확인한다.

원문 Figure 1 · PDF 1쪽. CC BY 4.0. 원문 그림을 그대로 발췌. 이용 조건

원문 그림 영역 발췌 · 한국어 해설은 수업에서 작성.

관찰 가능성은 사용자가 볼 수 있는 설명과 화면이 있는지, 로그가 있는지, 기록이 전혀 없는지에 따라 달라진다. 연구자들은 개발자에게 유용한 로그와 사용자가 의미 있게 이해할 수 있는 정보를 일관되게 구분하기 어려웠다고 보고한다. 행동 범주도 응용 개발자가 추가한 도구에 따라 평가가 복잡해졌다. 속성마다 평가자 간 일치 정도에도 차이가 있다.[1]

코드 검사는 에이전트를 실행하는 비용과 위험을 줄이고, 많은 시스템을 비교할 수 있게 한다. 그러나 실제 사용 환경에서 나타나는 예상 밖의 행동, 사용자에 대한 반응, 외부 의존과 자원 사용의 일부를 놓칠 수 있다. 논문의 표 1은 이런 장점과 한계를 나란히 정리한다. 저자들은 코드에서 확인한 가능한 행동 범위와 실제 행동을 함께 조사해 서로 보완해야 한다고 제안한다.[1]

3. AI 에이전트 시대의 시사점

위임 범위를 정할 때는 행동, 접근 환경, 작업 종료 조건, 승인 시점, 볼 수 있는 기록을 각각 적는다. 회사의 정책과 실제 시스템 설정이 같은 범위를 정하고 있는지도 확인한다. 이 다섯 항목을 운영 원칙에 넣자는 것은 논문을 바탕으로 한 수업의 제안이다.

사람이 시스템을 감독할 수 있는지는 필요한 정보, 내용 이해, 판단할 시간, 중단 권한까지 포함해 따로 확인해야 한다. 코드를 평가한 뒤에도 실제 과업에서 오류, 사람의 개입, 복구 과정을 관찰해야 한다. 운영 원칙에는 이런 후속 확인을 언제 어떤 조건으로 할지 적는다.

이 자료의 읽기 안내·원문으로 돌아가기

3교시 · Cihon 논문 한 편 분석과 위임 설계 수정

분류 대상과 평가 근거를 정확히 읽기

지정 읽기는 Cihon과 동료들의 2025년 공개본이다. 저자들은 에이전트를 조정하는 코드의 속성으로 자율성을 평가하는 틀을 제안하고 AutoGen 응용에 적용한다. 영향은 행동과 접근 환경으로, 감독은 작업 흐름과 사람의 개입, 관찰 가능성으로 나누어 읽는다. 각 범주의 정의와 실제 분류 사례를 연결하면서 평가자가 코드에서 무엇을 근거로 판단했는지 확인한다.

코드 검사는 실행 비용과 위험을 줄이며 여러 시스템을 비교할 방법을 제공한다. 동시에 외부 환경의 변화, 예상 밖의 행동, 운영자의 이해와 응답을 충분히 보여 주기 어렵다. 평가자들의 분류가 일치하는 정도와 시스템이 안전하게 작동하는 정도를 별도 문제로 정리한다. 하위 에이전트의 행동이 문서에 빠져 있을 때 상위 승인 설정만으로 결론을 내리기 어려운 이유도 설명한다.

정책·설정·실행의 차이를 설계안에 반영하기

동료는 권한표에서 고객 약속 변경과 단순 정보 조회가 같은 승인 수준으로 묶여 있는지 검토한다. 이어서 승인 설정은 존재하지만 담당자가 다른 일을 처리하는 상황을 제시한다. 작성자는 정책상 허용, 기술적 실행 가능, 실제 감독의 세 칸에 각각 어떤 자료가 필요한지 답한다. 문헌의 분류를 조직 운영에 적용한 제안이라는 점과 아직 확인하지 못한 운영 가정을 표시한다.

설계안 수정에서는 위임 범위를 줄이는 방안과 감독 인력·정보를 보강하는 방안을 비교한다. 지연 시간만 줄이는 선택이 고객 약속과 중단 가능성에 어떤 영향을 주는지 검토하고, 후속 모의 운영에서 볼 오류·응답·복구 기록을 정한다. 이번 주의 결론은 특정 자율성 수준의 승인으로 끝내지 않고, 어떤 조건에서 위임을 유지하거나 축소할지 설명하는 운영 원칙으로 남긴다.

해설의 원문 근거

아래는 이번 주 지정 논문 한 편의 원문과 근거 위치다. 사례에 적용한 해석과 연구에서 확인한 결과를 구분한다.

  1. [1] Measuring AI Agent Autonomy: Towards a Scalable Approach with Code Inspection · 원문 출처 · 새 탭

    PDF p. 1 Figure 1, p. 2 Table 1, pp. 4–5 Table 2 및 Impact/Oversight, p. 6 §4 Assessing Autonomy of AutoGen Applications

상담심리학 대학원에서의 적용 · 상담심리 전공 · 책임에 대한 부담과 통제 조건을 함께 사례개념화하기

운영자의 걱정을 업무 조건과 연결한 잠정 설명

1주에 정한 가상 또는 공개 사례의 인물이 승인 요청을 미루는 장면을 고른다. 촉발 상황, 본인이 예상한 결과, 정서와 신체 반응, 확인·회피 행동을 나누고, 기록에서 확인된 내용과 추가 질문이 필요한 해석을 표시한다. 책임 부담이 커졌다는 설명과 판단 자료·시간·중단 권한이 부족하다는 설명을 함께 세운다. 시스템의 자율성 분류와 그 인물이 느끼는 통제감은 별도 항목으로 다룬다.

지원안에는 모의 승인 연습과 함께 담당 업무 조정, 변경 정보 표시, 대체 승인자 확보를 넣는다. 평가 계획은 특정 상황에서의 부담 보고, 변경 내용의 이해, 중단 요청의 처리 과정을 구분한다. Cihon 논문은 자율성 분류 방법을 제안한다. 이 지원의 상담 효과는 별도의 연구로 검토할 질문으로 남긴다. 실제 내담자 자료와 진단은 사용하지 않으며, 이번 잠정 사례개념화와 조직 조건을 같은 누적 설계안에 연결한다.

누적 과제 · 누적 기록 · 위임 권한표와 감독 확인 계획

처음의 사례 설명을 행동 단위로 수정하기

기존 기록의 사례 설명과 업무 흐름을 유지하고, 고객 약속을 바꾸는 행동 하나에 위임 목적, 허용 범위, 승인자, 중단권자, 사후 대응자를 붙인다. 수령인이 없을 때 제안된 대체 장소를 승인 없이 확정하는 경우와 고객 동의를 기다리는 경우를 비교한다. 각 경우에 어떤 약속이 바뀌고 어떤 변경이 외부에 남는지 적는다. 고객 동의와 회사 내부 승인은 각각 확인한다.

논문을 읽기 전후에 달라진 권한표의 문장을 나란히 남기고 수정 이유를 적는다. 근거 칸에는 코드로 확인할 속성, 운영 관찰이 필요한 속성, 아직 판단을 보류한 사항을 구분한다. 상담심리 전공은 여기에 책임 부담의 잠정 설명과 지원·평가 계획을 연결한다. 다음 주에는 이 권한표를 유지한 채 여러 역할이 동시에 작업하는 상황의 업무량과 인계 조건을 추가한다.

남기는 것 · 1주에 고른 같은 사례의 누적 설계안에 행동별 위임 권한표를 추가한다. Cihon의 영향·감독 범주에 따른 설정 근거, 실제 감독 확인 자료, 수령인 부재 시 대체 장소 승인·중단·책임 절차를 적고, 대안 설명을 구별할 기록과 논문 분석 후 수정한 문장을 제출한다. 상담심리 전공은 잠정 사례개념화와 조직 지원·평가 계획을 함께 갱신한다.

출처와 서지 확인

h-index는 표시한 대표 저자 1명의 OpenAlex 조회값(2026-10-06)이며 숫자를 누르면 출처를 볼 수 있다. 미확인 값은 생략했다. 저자의 연구 영향력을 참고하는 지표다. 개별 논문의 품질은 연구 내용과 방법으로 판단한다.

저자 소개와 학술적 의의는 아래 공개 출처에 근거한다. 주차별 선정 이유는 수업을 위한 해석이며, 고전 이론을 에이전트에 대해 검증된 결론으로 취급하지 않는다. 원문의 판본과 접근·재배포 조건은 각 읽기 자료에 표시했다.

읽기와 토론의 원칙

트럭 그림으로 업무와 사업의 여러 선택을 살펴본다. AI의 오류와 불확실성은 실제 사례와 문헌으로 검토한다. 경험과 해석, 연구 결과와 가치 판단을 구분하며 강사의 전망에도 근거를 들어 반론을 제시할 수 있다.

원문을 확인하고 AI를 사용한 범위를 밝힌다. 개인 경험의 공개는 선택이며, 실제 내담자·고객·동료의 민감정보나 비공개 조직 자료를 AI·공유 공간에 입력하지 않는다. 평가와 운영 안내는 전체 강의계획에서 확인한다.