오픈AI, 앤트로픽, 구글 API 허점 발견: 약한 모델이 강한 모델의 '사고 과정'을 훔쳐볼 수 있었다

최근 인공지능 업계를 긴장시킨 보안 연구 결과가 공개됐다. 연구진은 오픈AI, 앤트로픽, 구글이라는 세 거대 AI 기업의 API에서 공통적으로 존재하던 심각한 허점을 찾아냈다. 이 허점을 이용하면 원래는 감춰져 있어야 할 AI의 내부 추론 과정을 외부에서 들여다볼 수 있었다.

무엇이 문제였나

이번 연구는 독일의 엘리스 연구소 튀빙겐과 막스플랑크 지능시스템 연구소 등에 소속된 연구진이 수행했다. 이들은 8월 초에 관련 논문을 공개했으며, 논문의 제목은 대략 「독점 LLM API로부터 추론 흔적 탈취하기」로 옮길 수 있다. 발표 직후 보안 업계의 큰 주목을 받았다.

문제의 핵심은 암호화 방식에 있었다. 세 회사는 모두 AI의 추론 토큰, 즉 모델이 답을 내기 위해 거치는 사고 과정을 암호화해 보호하고 있었다. 그러나 이 암호화가 사용자별이나 세션별로 구분되지 않고, 회사 전체가 공유하는 하나의 전역 키에 의존하고 있었다는 점이 치명적이었다.

어떻게 뚫렸나

이 설계상의 허점은 예상치 못한 결과를 낳았다. 하나의 세션에서 만들어진 암호화된 추론 데이터가 다른 세션이나 다른 사용자에게로 그대로 옮겨질 수 있었던 것이다. 게다가 이를 해독하는 데 필요한 것은 특별한 권한이 아니라, 누구나 발급받을 수 있는 표준 API 키 하나뿐이었다.

가장 인상적인 부분은 해독 방식이다. 연구진은 같은 회사의 더 약하고 통제가 느슨한 모델을 일종의 해독기로 활용했다. 강력한 상위 모델이 만든 암호화된 추론을 하위의 약한 모델에게 넘겨주고, 그 내용을 그대로 옮겨 적게 함으로써 숨겨진 사고 과정을 평문으로 뽑아낸 것이다.

실제로 어떤 모델들이 영향을 받았는지도 구체적으로 제시됐다. 예를 들어 앤트로픽의 상위 모델인 클로드 오푸스와 소네트 계열의 추론은 더 가벼운 클로드 하이쿠를 통해 해독됐다. 오픈AI와 구글의 최신 모델들 역시 각 회사의 소형 모델을 이용해 같은 방식으로 뚫릴 수 있었다.

무엇이 노출되었나

노출 규모는 결코 작지 않았다. 연구진은 깃허브와 허깅페이스 등에 공개된 6708개의 AI 에이전트 대화 기록을 분석했다. 그 결과 무려 31만 5320개에 달하는 내부 추론 블록을 실제로 해독하는 데 성공했으며, 이는 단순한 이론적 위협이 아니라 실제로 작동하는 공격임을 분명히 보여주었다.

더 심각한 것은 이 과정에서 민감한 정보까지 함께 드러났다는 점이다. 해독된 데이터 속에는 실제 세션에서 쓰인 각종 비밀 정보가 포함돼 있었다. 확인된 것만 해도 62개의 API 키와 33개의 비밀번호가 있었고, 그 밖에도 접근 토큰과 개인 정보 등 민감한 항목들이 함께 노출됐다.

이러한 결과가 중요한 이유는 분명하다. AI의 추론 과정에는 기업의 영업 비밀이나 사용자의 개인 정보가 담길 수 있으며, 그것이 그대로 노출되면 심각한 피해로 이어질 수 있다. 특히 API 키나 비밀번호가 새어 나가면, 공격자가 다른 시스템에까지 침투할 수 있는 통로가 열리는 셈이다.

지금은 어떤 상황인가

다행히 이 허점은 이미 조치가 이루어진 상태다. 연구진이 책임 있는 공개 절차에 따라 세 회사에 문제를 먼저 알렸고, 각 회사는 서버 측에서 보완 조치를 적용했다. 그 결과 논문에서 제시된 원래의 공격 방식은 현재의 API 환경에서는 더 이상 재현되지 않는 것으로 전해졌다.

다만 아쉬운 점도 남는다. 보도에 따르면, 세 회사 가운데 어느 곳도 이 허점에 대해 공식적으로 인정하거나 자세한 설명을 내놓지 않은 상태다. 연구진은 개발자들에게 공유하는 대화 기록에서 추론 관련 필드를 미리 제거할 것을 권고하고 있다.

이번 사건은 빠르게 발전하는 AI 기술이 새로운 형태의 보안 위험을 만들어낼 수 있음을 잘 보여준다. 특히 수많은 기업과 서비스가 이들 거대 모델의 API 위에서 제품을 만드는 상황에서, 기반이 되는 인프라의 안전성은 앞으로 더욱 중요한 과제가 될 전망이다.