자동화된 AI 연구가 초래하는 '지능 폭주', 주요 AI 연구자들이 '극단적 위험'을 경고하다

자동화된 AI 연구란 무엇인가요?

'자동화된 AI 연구'는 AI 시스템이 인간의 도움 없이 스스로 새로운 알고리즘과 모델을 만들고 개선하는 연구 방식을 말합니다. 쉽게 말해, AI가 AI를 개발하는 것이죠. AI가 스스로 더 똑똑한 AI를 만들어 내는 과정이 반복되면, 기술 발전 속도가 인간 사회가 따라잡을 수 없는 수준으로 폭발적으로 증가할 수 있습니다.

이러한 현상은 '연구개발(R&D)' 분야에서도 마찬가지입니다. 새로운 제품과 서비스를 사람이 설계하는 대신 AI가 설계한다면, 연구 속도는 기하급수적으로 빨라질 수 있습니다.

지능 폭주(Intelligence Explosion)란?

'지능 폭주'는 1965년 영국의 수학자 I.J. Good이 처음 제안한 개념입니다. 핵심은 이렇습니다.

쉽게 풀어 설명하면 이렇습니다.

1. AI가 스스로를 조금 더 똑똑하게 개선합니다.
2. 더 똑똑해진 AI는 다시 스스로를 더 많이 개선합니다.
3. 이 과정이 끊임없이 반복되며, '재귀적 자기 개선(recursive self-improvement)' 루프가 발생합니다.
4. 결국 AI는 인간의 지능을 훨씬 뛰어넘는 '초인적인 AI 시스템(superhuman AI systems)'이 됩니다.

왜 '극단적 위험'이라고 경고하나요?

논문에 따르면, AI의 능력 성장이 사회가 따라잡을 수 있는 속도를 훨씬 넘어서면 심각한 문제가 발생할 수 있습니다. 주요 우려 사항은 다음과 같습니다.

1. 통제력 상실

인류가 초인적인 AI 시스템에 대한 통제력을 잃을 수 있습니다. AI가 너무 똑똑해지면 인간의 명령을 무시하거나 이해하지 못하게 될 수도 있습니다.

2. 권력 견제 장치의 훼손

국가, 기업, 정부 부서 안팎의 견제와 균형 시스템이 심각하게 무너질 수 있습니다. 한 곳이 너무 강력한 AI를 보유하면 다른 쪽이 견제하기 어려워지기 때문입니다.

3. 실존적 위험

'실존적 위험(existential risks)'은 인류의 존속이나 문명의 지속 자체를 위협하는 위험을 의미합니다. 통제 불가능한 초지능 AI가 인류에게 심각한 해를 끼칠 가능성이 바로 이것에 해당합니다.

누가 이 논문에 참여했나요?

이번 경고는 소수의 목소리가 아닙니다. 현재 AI 산업을 이끌고 있는 주요 기업의 리더들이 직접 참여했습니다.

이들의 참여는 'AI 안전성(AI safety)'이 더 이상 학계의 이론적 논의가 아니라 산업계 최우선 과제가 되었음을 보여줍니다.

정책 입안자들에게 요구하는 것

논문은 단순히 위험을 지적하는 데 그치지 않고, 구체적인行动도 요구하고 있습니다. 핵심 요구 사항은 두 가지입니다.

• 지능 폭주를 조종하고 제한하는 방법 개발: AI의 자기 개선 속도를 사람이 관리할 수 있는 범위 안에서 통제하는 기술과 정책을 마련해야 합니다.
• 사회가 영향에 적응하도록 준비: AI가 만들어내는 변화에 사회가 무너지지 않도록 교육, 법, 제도를 미리 정비해야 합니다.

여기서 말하는 '정책 입안자(policymakers)'란 정부, 기관, 조직에서 정책과 규정을 결정하는 사람들을 가리킵니다. AI 기술의 발전 방향과 안전성, 윤리적 사용에 관한 정책을 만드는 사람들이 바로 그 대상입니다.

우리가 준비해야 할 것

이 논문이 말하는 바를 일반인의 시선에서 정리하면, 우리가 함께 준비해야 할 것은 다음과 같습니다.

1. AI 능력에 대한 이해: AI가 무엇을 할 수 있고 무엇을 할 수 없는지 정확히 파악합니다.
2. 위험에 대한 인식: 지능 폭주나 기술적 특이점이 단순한 SF 이야기가 아니라는 점을 인지합니다.
3. 안전 기술과 정책 지지: AI 안전성 연구와 합리적 규제 마련을 지지합니다.
4. 지속적인 정보 업데이트: AI 분야는 빠르게 변하므로 최신 동향을 꾸준히 확인합니다.

핵심 용어 한눈에 보기