앤트로픽의 클로드. (사진=김윤아 기자)



앤트로픽이 기업공개를 앞두고 자사 기술의 무기 개발 악용부터 인간의 통제를 벗어날 가능성까지 광범위한 위험 요인을 공개했다.

CNN 보도에 따르면 앤트로픽은 IPO 신고서에 약 100쪽에 달하는 위험 요인을 담았다. 여기에는 AI 기술로 인한 재앙적 결과와 막대한 소송 비용 발생 가능성 등이 포함됐다.

일반적으로 기업은 상장 과정에서 소비자의 제품 외면이나 제품 오용에 따른 법적 책임 등 사업에 영향을 줄 수 있는 위험 요소를 설명한다.

그러나 앤트로픽의 신고서는 급격한 성장과 치열한 기술 경쟁에 직면한 기업이 인류에 심각한 결과를 초래할 수 있는 기술을 개발하고 있다는 점까지 다뤘다.

클로드 개발사인 앤트로픽은 "강력한 AI가 인류의 가장 어려운 문제를 해결하는 데 활용되고 위험이 책임 있게 관리된다면 그 잠재력은 엄청날 것"이라며 투자자들을 안심시키려 했다.

앤트로픽은 기술적 위험 외에도 AI 모델을 구동하는 데 필요한 자원 확보 경쟁에 직면해 있다. 높은 기업가치에 걸맞게 클로드를 주요 수익원으로 성장시킬 수 있는지도 입증해야 한다.

▲클로드의 악의적 사용 가능성

앤트로픽은 악의적인 행위자들이 자사 AI 기술을 위험한 무기 개발에 활용할 가능성을 경고했다. 안전장치를 마련했더라도 이를 우회하거나 장치가 의도대로 작동하지 않을 수 있다는 것이다.

지난 9월에는 자사 AI 모델을 생물학 무기 개발에 도움이 될 수 있는 방식으로 사용한 여러 계정을 차단했다고 밝힌 바 있다.

AI가 자율적으로 작업을 수행하도록 설계된 AI 에이전트 역시 악용될 가능성이 있다. 앤트로픽은 데이터 유출과 무단 거래, 다른 시스템에 악성 코드를 삽입하는 행위 등을 위험 사례로 제시했다.

실제로 지난해 중국 정부의 지원을 받는 해킹 조직이 앤트로픽의 코딩 도구를 조작해 전 세계 약 30개 표적에 침투하려 했던 사실도 탐지됐다고 밝혔다.

▲ 인간의 통제를 벗어나는 AI

최근 AI 기술에서 우려되는 현상 중 하나는 AI 에이전트가 인간의 의도와 다르게 자율적으로 행동하는 것이다. 이 경우 인간이 이를 어떻게 중단시킬 수 있을지도 불확실하다.

앤트로픽의 AI 에이전트는 복잡한 여러 단계의 업무를 수시간에서 수일 동안 독립적으로 수행하도록 설계됐다. 이 과정에서 예상하지 못한 행동에 나설 가능성이 있다는 설명이다.

앤트로픽은 AI 에이전트가 코드를 변경하거나 데이터를 삭제·수정하고, 외부 시스템을 해킹할 수 있다고 밝혔다. 인간이 효과적으로 개입하기 전에 금융 거래를 끝낼 가능성도 제시했다.

또한 AI가 안전장치를 우회하는 것은 물론, 개발사조차 모델의 작동 방식을 완전히 이해하지 못할 수 있다고 경고했다. 특정 행동이 발생한 이유를 충분히 설명하지 못할 수 있다는 것이다.

앤트로픽은 자사 AI 모델 4개가 제3자 시스템에 침입한 사례도 공개했다. 이 가운데 한 모델은 관리자 권한을 확보해 시스템 설정을 바꾸고 개인의 사적인 정보까지 열람했다.

앤트로픽은 이러한 행위가 기업의 평판과 브랜드 이미지, 사업 운영, 재무 상태 및 경영 실적에 부정적인 영향을 줄 수 있다고 밝혔다.

▲AI 행동에 대한 감시능력 상실 우려

앤트로픽은 자사 AI 모델과 제품을 개발하고 개선하는 과정에도 AI를 활용하고 있다. 그러나 AI의 빠른 발전 속도와 맞물려 기술이 인간의 통제 범위를 넘어설 가능성을 우려했다.

인간이 AI의 행동을 감시할 수 있더라도 일부 모델은 자신의 행동을 은폐하거나 흔적을 감추기 시작했다는 점도 위험 요인으로 제시됐다.

앤트로픽은 업계에서 관찰된 사례를 근거로 자사 모델을 포함한 AI 모델들이 평가·채점·감독 체계를 방해하거나 조작하려는 시도를 했다고 밝혔다.

여기에는 AI 모델의 성능이나 인간이 의도한 목표와의 일치 여부를 평가하는 시스템을 무력화하려는 행동도 포함됐다고 설명했다.

▲ 인간을 협박하는 AI

AI 모델이 자신의 존속을 위해 인간을 조종하려는 행동을 보일 가능성도 제기됐다. 앤트로픽에 따르면 일부 모델은 인간의 의사결정에 영향을 미치기 위해 협박과 유사한 행동을 하기도 했다.

앤트로픽은 이러한 행동이 단 한 차례 발생하더라도 심각한 파장을 일으킬 수 있다고 경고했다. 실제 피해 여부와 관계없이 사회적 우려와 규제 당국의 조사, 소송 및 평판 손상으로 이어질 수 있다는 것이다.

▲ 법적 책임과 정치적 위험

AI 기술의 안전성에 대한 우려는 기업의 법적 책임과 규제 위험으로도 이어진다. 앤트로픽은 각국의 규제와 소송 가능성이 자사 사업에 영향을 미칠 수 있다고 밝혔다.

특히 캘리포니아주와 최소 15개 다른 주의 법무장관들이 AI 안전 문제와 관련해 업계의 다른 기업을 조사하겠다고 발표한 사실을 언급했다. 해당 기업은 챗GPT 개발사 오픈AI다.

AI 모델을 사용한 뒤 자해하거나 타인에게 폭력을 행사한 사례도 위험 요인으로 제시됐다. 이러한 사건은 여론의 집중적인 감시와 소송, 형사 수사 및 규제 당국의 개입으로 이어질 수 있다.

보험 가입의 어려움도 지적됐다. 앤트로픽은 AI와 관련된 재앙적 사고가 발생할 경우 보험업계 전체가 이를 보장할 보험을 인수할 능력이 없을 수도 있다고 설명했다.

빠르게 변화하는 지역·국가·국제법과 국가 간 갈등 역시 위험 요소다. 특히 미국과 중국 사이의 지정학적 마찰이 공급망과 사업 운영 전반에 상당한 영향을 미칠 수 있다고 밝혔다.

미국 정부와의 갈등도 신고서에 포함됐다. 앤트로픽은 트럼프 행정부와 대립해 온 가운데 올해 초 미 국방부로부터 '공급망 위험' 기업으로 지정된 사실을 공개했다.

이는 앤트로픽이 자사 기술을 미국 내 대규모 감시나 완전 자율무기에 사용해서는 안 된다는 입장을 밝힌 이후 이뤄진 조치다.

미 상무부가 올해 초 안전 문제를 이유로 앤트로픽의 최신 AI 모델에 일시적인 수출 제한을 부과한 사실도 명시됐다.

도널드 트럼프 미국 대통령은 앤트로픽과 AI 위험 및 안전성에 관한 경고를 여러 차례 강하게 비판해 왔다. 그러나 앤트로픽은 기존의 안전 관련 입장을 유지하겠다는 뜻을 밝혔다.

앤트로픽은 "AI의 안전하고 책임 있는 개발을 촉진한다고 믿는 규제와 표준화 방안을 앞으로도 계속 지지할 가능성이 높다"고 설명했다.

또한 다른 유사 기업과 달리 특정 정부 기관으로부터 불균형하거나 선택적으로 표적이 될 위험을 우려했다. 이미 높아진 주목도가 앞으로도 이어지고 감시가 더욱 강화될 수 있다는 것이다.

▲ 컴퓨팅 자원 확보 경쟁

앤트로픽은 AI 시스템 운영에 필수적인 컴퓨팅 자원 확보도 주요 위험으로 꼽았다. 신고서의 상당 부분을 관련 인프라를 확보하기 위한 치열한 경쟁을 설명하는 데 할애했다.

앤트로픽은 대규모 AI 시스템에 필요한 인프라를 확보하기 위해 세계 최대 기업들과 경쟁하고 있다. 경쟁사들 역시 AI 모델 학습과 챗봇·에이전트 운영에 필요한 부품에 크게 의존하고 있다.

관련 부품에 대한 수요가 급증하면서 공급망이 이를 따라가지 못하는 상황이다. 기술기업들은 증가하는 수요에 대응하기 위해 데이터센터와 관련 인프라에 수십억 달러를 투입하고 있다.

시장조사업체 가트너에 따르면 전 세계 AI 인프라 지출은 2027년 약 2조 달러에 이를 것으로 전망된다.

하지만 산업의 변화 속도가 빨라지면서 앤트로픽은 실제 필요한 컴퓨팅 자원의 규모를 예측하는 데도 어려움을 겪고 있다.

이는 AI 산업의 거품 논란과도 연결된다. 기술기업들이 막대한 투자를 뒷받침할 충분한 수요가 발생할지 확신하지 못한 상태에서 데이터센터와 컴퓨팅 자원에 수십억 달러를 투자하고 있기 때문이다.

▲ 데이터센터 건설에 대한 반발

미국 전역에서는 데이터센터가 환경과 지역사회에 미치는 영향을 우려하는 목소리가 커지고 있다. 이에 따라 데이터센터 건설을 반대하는 움직임도 확산하고 있다.

조사업체 데이터센터워치에 따르면 2026년 2분기 미국에서는 총 680억 달러 규모의 데이터센터 프로젝트 45건이 저지됐다.

앤트로픽은 뉴욕주와 텍사스주에서 추진되는 규제가 자사 사업에 잠재적인 위험이 될 수 있다고 밝혔다. 이에 미국 이외 지역에 데이터센터를 추가 건설하기 위한 노력도 진행하고 있다.

▲ 사업 모델과 미래 성장의 불확실성

앤트로픽의 사업 구조와 기업 가치관이 향후 성장에 미칠 영향도 위험 요인으로 제시됐다. 특히 사업의 상당 부분이 소수의 제품과 제한된 고객층에 의존하고 있다는 점을 언급했다.

앤트로픽은 IPO 과정에서 기업가치가 최대 2조 달러에 이를 수 있다는 보도가 나오면서 세계에서 가장 가치 있는 기업 중 하나로 올라설 가능성이 제기되고 있다.

그러나 기업의 성장 과정에서 안전성을 중시하는 기존 가치관을 유지할 수 있을지도 중요한 문제로 떠올랐다. 외부 소비자뿐 아니라 내부 직원들의 신뢰까지 영향을 받을 수 있기 때문이다.

앤트로픽은 공언한 안전 관련 가치에서 지나치게 벗어날 경우 직원들의 생산성이 떨어지거나 그보다 더 심각한 결과가 발생할 수 있다고 경고했다.

앤트로픽은 "안전에 대한 당사의 약속을 믿고 입사한 직원들이 회사가 공언한 가치를 지키지 않는다고 느낀다면 사기 저하와 환멸, 경영진에 대한 신뢰 상실 또는 생산성 저하를 경험할 수 있다"고 밝혔다.

이어 "현직 또는 전직 직원의 비판이나 안전 관련 업무를 담당했던 인력의 퇴사 등 안전 정책을 둘러싼 공개적인 의견 충돌은 이러한 인식을 더욱 증폭시킬 수 있다"고 덧붙였다.