AI 코파일럿과 의료진, 자동화 역설의 함정 — CRM이 제시하는 해법

1. AI가 똑똑해질수록 의료진이 위험해지는 이유

최근 병원 현장에는 AI 코파일럿이 빠르게 도입되고 있습니다. 진료 기록 작성, 영상 판독 보조, 약물 상호작용 점검까지 — AI가 도와주는 영역이 넓어질수록 의료진의 업무 부담은 눈에 띄게 줄었습니다.

그러나 여기서 한 가지 흥미로운 현상이 나타납니다. AI가 더 유능해 보일수록, 임상의들은 더 많은 작업을 그 시스템에 떠넘길 가능성이 높아진다는 점입니다. 그리고 바로 이 지점에서 '자동화 역설(automation paradox)'이라는 오래된 문제가 다시 떠오릅니다.

자동화 역설이란, 자동화 시스템이 효율적일수록 인간 운영자의 개입이 줄어들지만, 그 개입이 결정적이 되는 상황을 뜻합니다. 쉽게 말해 "시스템이 좋을수록 사람은 점점 게을러지고, 그 게으름이 사고로 이어진다"는 역설입니다.

2. 자동화 역설이란 무엇인가?

자동화 역설(automation paradox)이라는 개념은 1983년 Lisanne Bainbridge가 쓴 「Ironies of Automation」라는 논문에서 잘 알려져 있습니다. 핵심 내용은 이렇습니다.

• 자동화가 효율적일수록 인간 운영자의 개입이 줄어든다.
• 개입이 줄어들면 상황을 살피는 감각과 기술이 퇴화한다.
• 그런데 시스템에 오류가 생기면, 그 오류가 수정될 때까지 더욱 빠르게 증폭된다.
• 결국 가장 중요한 순간에 인간의 역할이 더 중요해진다.

쉽게 비유하면, 내비게이션에 익숙해진 운전자가 길이 막히거나 안내가 틀렸을 때 스스로 길을 찾지 못해 더 큰 혼란에 빠지는 것과 비슷합니다.

3. AI 코파일럿과 의료 현장: 편리함 뒤에 숨은 문제

의료 AI 코파일럿은 의사, 간호사, 약사 같은 임상의(임상 현장에서 환자를 직접 진료하는 의료 전문가)의 작업을 보조합니다. 진료 기록 초안을 쓰고, 검사 결과를 요약하고, 처방 검토까지 도와줍니다. 의료진 입장에서는 분명 큰 도움이 됩니다.

하지만 문제는 '작업 떠넘기기(offload)'가 습관이 될 때 발생합니다. 맡길 수 있는 건 전부 맡기게 되면, 의료진 스스로 사고하고 판단하는 기회가 줄어듭니다. 그리고 바로 그 지점에서 오류 탐지(detecting errors, AI가 만든 결과에서 실수나 잘못된 부분을 찾아내는 능력) 능력이 약해집니다.

예를 들어 AI가 만든 진료 요약에서 환자의 알레르기 표기가 빠뜨려졌는데, 의료진이 그것을 못 잡아내면 어떻게 될까요? AI의 실수가 그대로 환자에게 전달될 수 있습니다.

4. 의료진의 '기술 침식', 왜 심각한가

자주 사용하지 않는 기술은 점점 사라집니다. 자동화 시스템에 의존하면, 본래의 기술이나 능력이 점차 감소·퇴화하는 현상을 기술 침식(eroding skills)이라고 합니다.

의료 영역에서 기술 침식이 위험한 이유는 명확합니다.

• 환자 안전과 직결됩니다. 한 번의 오류가 생명을 위협할 수 있습니다.
• 판단 자체를 AI에 맡기게 되면, 의료 전문가의 존재 이유가 흔들립니다.
• AI가 100% 정확하지 않다는 사실을 잊게 만듭니다.

그래서 중요한 것은 AI를 '대체재'가 아니라 '보조 도구'로 다루는 자세를 잃지 않는 것입니다.

5. CRM(승무원 자원 관리)이란?

크루 리소스 매니지먼트(Crew Resource Management, CRM)는 1979년 NASA에서 처음 명명된 훈련 체계입니다. 처음에는 항공 사고를 줄이기 위해 만들어졌지만, 지금은 의료·소방·원자력 등 고위험 산업 전반으로 확산되었습니다.

CRM의 핵심은 비기술적(non-technical) 역량, 즉 의사소통, 리더십, 의사결정, 상황 인식을 강화하는 데 있습니다. 비행기 조종사들이 협업과 소통 훈련을 통해 사고를 줄이듯, 의료진도 같은 원리를 적용할 수 있습니다.

정리하면 CRM이 다루는 핵심 역량은 다음과 같습니다.

6. CRM이 자동화 역설을 극복하는 방법

그렇다면 의료 현장에서 CRM은 AI의 자동화 역설을 어떻게 다룰 수 있을까요? 핵심은 다음 세 가지로 정리할 수 있습니다.

1. AI를 '팀의 한 구성원'으로 다루기 — CRM 훈련에서는 조종사뿐 아니라 부조종사, 관제탑, 정비사 모두를 하나의 자원으로 봅니다. 마찬가지로 AI를 도구가 아닌 팀의 일원으로 다루는 훈련이 필요합니다.
2. "AI가 옳다고 가정하지 않기"라는 원칙 세우기 — AI 코파일럿의 제안을 무비판적으로 수용하지 않고, 스스로 검증하는 습관을 훈련합니다. 이것이 바로 오류 탐지 능력을 지키는 길입니다.
3. 역할과 책임의 경계를 명확히 하기 — 최종 의사결정은 사람(임상의)이 한다는 점을 분명히 합니다. AI는 보조할 뿐, 책임을 대신 지지 않습니다.

이 세 가지 원칙은 단순한 '태도'가 아니라 반복 훈련을 통해 몸에 익혀야 하는 기술입니다. 그래서 CRM은 의료진 교육 과정에서 점점 더 중요해지고 있습니다.

7. 함께 보면 좋은 핵심 용어

글을 읽으며 마주친 용어를 한 번 더 정리해 두면 오래 기억하기 좋습니다.

• AI 코파일롯(copilot): 의료·개발 등 특정 분야의 전문가가 업무를 수행할 때 보조하는 AI 시스템. GitHub Copilot, Microsoft 365 Copilot 등이 대표적입니다.
• 임상의(clinicians): 의사, 간호사, 약사 등 환자를 직접 진료하는 의료 전문가를 통칭합니다.
• 승무원 자원 관리(CRM): 1979년 NASA가 명명한 훈련 체계로, 의사소통·리더십·의사결정·상황 인식 같은 비기술적 역량을 강화합니다.
• 자동화 역설(automation paradox): 자동화가 효율적일수록 인간 개입이 줄지만, 그 개입이 결정적이 되는 현상.
• 작업 떠넘기기(offload tasks): 자신의 책임이던 작업을 AI 같은 다른 시스템에 맡기는 행위.
• 기술 침식(eroding skills): 자동화 시스템에 의존하면서 본래의 기술이 점차 감소하는 현상.
• 오류 탐지(detecting errors): 시스템이나 결과물에서 실수·결함·잘못된 부분을 식별하는 행위.

마무리하며

AI 코파일럿은 분명 의료 현장에 큰 변화를 가져오고 있습니다. 진료 기록 작성부터 검사 결과 분석까지, 의료진이 더 본질적인 일에 집중할 수 있게 도와줍니다.

하지만 AI가 똑똑해질수록 사람의 역할이 사라지는 것은 아닙니다. 오히려 더 정교한 판단과 검증 능력이 요구됩니다. 자동화 역설은 경고장입니다. '편리함' 뒤에서 우리 스스로 판단하는 힘이 녹슬고 있을 수 있다는 신호입니다.

크루 리소스 매니지먼트는 그런 상황에서 인간의 판단력과 팀워크를 지키기 위한 오래되지만 여전히 유효한 해법입니다. AI와 의료진이 진정한 의미로 협업하는 미래, 그 시작은 결국 '사람이 어떻게 일할 것인가'에 대한 훈련에서 출발합니다.