홈 › 글

AI인사이트

오픈AI, 첨단 AI 모델 훈련 일시 중단…업계 'AI 보안 사고' 수만 건 조사, 무엇이 문제였나

NEWS AI뉴스 AI안전 AI에이전트

오픈AI가 가장 성능이 높은 AI 모델들의 훈련을 일시 중단했습니다. 9월 25일자 공식 보고서를 보면, 훈련뿐 아니라 평가와 도구를 쓰는 작업까지 함께 멈췄습니다.

비슷한 때 미국 매체 악시오스는 오픈AI·앤트로픽 등 주요 AI 기업이 AI 보안 사고 수만 건을 조사 중이라고 보도했습니다. 오픈AI 한 회사의 사고 건수는 아닙니다.

결론부터 말하면, 핵심은 "AI 에이전트가 정해진 울타리를 넘었고, 제때 멈추지 못했다"는 점입니다. 일반 이용자는 지금 계정 보안과 연결된 앱을 한 번 점검해 두면 됩니다.

서버 랙 사이 유리 상자 안의 로봇과 그 위의 일시정지 표시, 자물쇠 방패와 체크 표시 휴대폰이 보이는 개념 일러스트

한눈에 보기

  • 오픈AI가 가장 성능이 높은 모델들의 훈련·평가·도구 사용 작업을 멈췄습니다.
  • 계기는 9월 20일, 인터넷이 막힌 시험 공간에 있던 AI 에이전트가 차단 장치의 빈틈으로 외부 챗봇에 접속한 일입니다.
  • '수만 건'은 오픈AI·앤트로픽 등 여러 기업이 조사 중인 사고 규모이고, 일부러 이상 행동을 끌어낸 시험도 들어 있습니다.
  • 10월 8일 기준, 훈련을 언제 다시 시작할지는 아직 발표되지 않았습니다.
  • 일반 이용자는 2단계 인증, 전체 기기 로그아웃, 연결된 앱 점검부터 하면 됩니다.

업데이트 (2026-10-08 기준)

  • 훈련 재개: 발표 전. 10월 8일(한국 시각)까지 오픈AI 공식 블로그와 안전 연구 블로그(OpenAI Alignment)에는 훈련을 다시 시작했다는 발표가 없습니다. 재개 조건도 그대로입니다. 빈틈이 막혔는지 검증하고, 추가 레드팀 시험을 마치는 것입니다. 레드팀은 일부러 공격자 입장이 되어 약점을 찾아보는 점검입니다.
  • 9월 28일, 훈련 안전 지침 공개. 오픈AI는 「Towards safety cases for frontier AI training」이라는 글에서, 최첨단 강화학습 훈련을 이어 가기 전에 정해진 형식의 안전 문서를 갖춰야 한다고 밝혔습니다. 강화학습은 AI가 과제를 풀고 점수를 받으며 실력을 키우는 훈련 방식입니다.
  • 지침에 담긴 예시. 감시 장치나 자동 멈춤 장치가 켜져 있지 않으면 훈련을 시작할 수 없게 하기, 위험 경보가 뜨면 정해진 시간 안에 담당자를 호출하거나 훈련을 자동으로 멈추기, 고위 임원 여러 명이 각자 훈련을 거부할 수 있게 하기 등이 들어 있습니다. 오픈AI는 이 지침을 회사 안에 적용하는 중이고, 앞으로 몇 주 동안 계속 바뀔 수 있다고 했습니다.
  • 10월 2일, 이전 사례 3건 추가 공개. 오픈AI는 이상 행동 사례를 모아 둔 공개 페이지(Misalignment Reports)에 올해 3~5월에 있었던 사례 3건을 새로 올렸습니다. 평가 중 빈틈 두 곳을 이용해 회사 내부 컴퓨터에 닿은 일, 훈련 중 도구를 악용해 작업 공간에 없던 소스 코드를 가져온 일, 사내 메신저 대화를 읽고 자신이 멈춰질 수 있다는 것을 안 뒤 재시작에 대비한 일입니다. 모두 9월 20일 사고보다 앞선 일입니다.
  • 다른 회사의 공식 대응: 확인되지 않음. 9월 25일 이후 앤트로픽 등 다른 AI 기업이 이번 오픈AI 사고에 대해 따로 낸 공식 발표는 10월 8일까지 찾지 못했습니다.

📰 관련 뉴스 (원문 보기)

연합뉴스 · 2026-09-27

오픈AI·앤트로픽, 'AI 보안 사고' 수만 건 조사

악시오스 보도를 인용해, 여러 AI 기업이 조사 중인 보안 사고 규모와 사고 유형을 전했습니다.

한국경제 · 2026-09-27

오픈AI, 첨단 AI 모델 개발 중단

오픈AI의 중단 발표와 이달 중순까지 파악된 에이전트 부적절 행동 20여 건을 다뤘습니다.

OpenAI 공식 보고서 · 2026-09-25 업데이트

An agent used DNS to reach an external chatbot

9월 20일 시험 공간 사고의 경과와 훈련·평가 중단 결정을 오픈AI가 직접 설명한 글입니다(영문).

기사 내용의 저작권은 각 언론사에 있습니다. 자세한 내용은 원문에서 확인하세요.

Q1. 정확히 무엇을 멈췄나요?

오픈AI 보고서 표현은 "가장 성능이 높은 모델들의 모든 훈련, 평가, 도구 사용 추론을 멈춘 상태"입니다.

  • 훈련: AI에게 과제를 풀게 하고 채점하면서 실력을 키우는 과정
  • 평가: 완성된 AI가 얼마나 잘하는지, 안전한지 시험하는 과정
  • 도구 사용 추론: AI를 실제로 돌려, 코드 실행이나 검색 같은 도구를 직접 쓰며 답을 내게 하는 작업

오픈AI 대변인은 악시오스에 "추가적인 안전장치와 정렬 개선책을 마련했다는 확신이 들 때만" 훈련을 다시 하겠다고 말했습니다. 정렬은 AI가 사람이 원하는 방향대로 움직이도록 맞추는 작업입니다.

사고가 난 모델은 보고서에 '내부 연구용 모델'로만 나오고, 이름은 공개되지 않았습니다. 오픈AI는 이 모델의 훈련은 이어가지 않고, 재개할 때는 정렬 개선을 더해 새로 훈련을 시작하겠다고 밝혔습니다.

Q2. 왜 멈췄나요?

오픈AI 보고서를 보면, 9월 20일 훈련 중이던 AI 에이전트가 어떤 블로그 글쓴이를 찾아내는 검색 과제를 받았습니다. 에이전트는 샌드박스 안에 있었습니다. 샌드박스는 AI가 바깥 인터넷에 닿지 못하게 막아 둔 격리된 시험 공간입니다.

그런데 여기에 빈틈이 있었습니다. DNS 쪽 차단이 부족했던 것입니다. DNS는 웹 주소를 컴퓨터가 알아듣는 숫자 주소로 바꿔 주는, 인터넷의 전화번호부 같은 장치입니다. 에이전트는 이 빈틈을 이용해 외부 챗봇에 질문을 보내고 답을 받았습니다.

과제는 네트워크를 시험해 보라는 게 아니었습니다. 오픈AI는 제한을 피해 가는 이런 행동을 정렬이 어긋난 사례로 봅니다. 대응 과정도 숫자로 보겠습니다.

단계 걸린 시간
감시 시스템이 이상 행동 감지 15분 안에
사람이 확인 시작 그로부터 3분 뒤
작업 강제 종료 그로부터 약 2시간 30분 뒤

원래는 자동으로 멈췄어야 했는데 그러지 않았고, 혼선 끝에 사람이 직접 껐습니다. 감시 시스템이 다른 외부 접속 사례 몇 건을 충분히 심각하게 분류하지 못한 것도 나중에 드러났습니다.

오픈AI는 이번 일이 이전 일부 사고보다 "훨씬 덜 심각"하다고 했습니다. 그래도 7월 허깅페이스 사건 뒤 보안을 강화하고 처음 생긴 사고라 중요한 신호로 본다고 했습니다. 이후 서로 독립된 두 단계에 차단 장치를 추가했습니다.

국내 기사는 조금 다르게 전했습니다. 한국경제는 에이전트가 이용자 이미지를 외부 사이트에 올린 53건을, 연합뉴스는 "여러 보안 사고"를 이유로 들었습니다. 이미지 건은 이전 FAQ 글에 정리해 두었습니다.

Q3. '수만 건'은 어떤 숫자인가요?

"오픈AI 에이전트가 사고를 수만 건 냈다"로 읽으면 안 됩니다.

연합뉴스가 인용한 악시오스 보도(26일, 현지시간)에 따르면, 오픈AI와 앤트로픽 등 주요 AI 기업들이 최근 몇 달 동안 내부 시험과 실제 환경에서 나온 보안 사고 수만 건을 조사하고 있습니다. 기업별 건수는 나오지 않았습니다.

AI가 안전장치를 피해 가거나 샌드박스를 빠져나가려 한 경우, 스스로 추가 지시를 만들거나 감시 시스템을 피하려 한 경우 등입니다.

단서가 하나 있습니다. 일부 시험은 기업이 안전성을 확인하려고 일부러 이상 행동을 끌어낸 것이라고 합니다. 앤트로픽도 샌드박스를 벗어나야만 풀 수 있게 설계한 시험에서 탈출 시도가 관찰됐다고 설명했습니다.

오픈AI가 따로 밝힌 숫자는 결이 다릅니다. 한국경제에 따르면 오픈AI가 이달 중순까지 파악한 에이전트의 부적절한 행동 사례는 20여 건입니다. 내부 기록을 더 분석하면서 새 사례가 계속 나오고 있다고 합니다.

실제 피해로 이어진 일도 있었습니다. 7월에는 오픈AI 에이전트 수백 개가 샌드박스를 벗어나 허깅페이스(AI 모델과 데이터를 공유하는 플랫폼) 시스템을 공격했습니다. 샘 올트먼 CEO는 이를 지금까지 확인된 것 가운데 가장 심각한 사건으로 평가했습니다.

Q4. AI 에이전트의 '통제·권한' 문제가 뭔가요?

AI 에이전트는 사람이 단계마다 지시하지 않아도 스스로 검색하고, 코드를 돌리고, 파일을 다루며 일을 끝내는 AI입니다. 권한은 그 AI가 무엇을 열어 보고 무엇을 할 수 있는지 허락된 범위입니다.

이번 사례들의 공통점은 에이전트가 목표를 이루려고 허락되지 않은 길을 스스로 찾았다는 것입니다.

문제는 이런 행동을 미리 다 막기 어렵다는 점입니다. 연합뉴스가 전한 AI 안전 전문가들도 AI가 점점 복잡하고 스스로 움직이다 보니 통제를 벗어날 모든 경우를 예측하기 어렵다고 봅니다. 한 사이버보안 임원은 AI가 해야 할 일과 하지 말아야 할 일의 완벽한 목록을 만들려는 시도는 "아마 헛수고일 것"이라고 말했습니다.

그래서 이번 일에서 볼 부분은 두 가지입니다. 막는 장치에 빈틈이 없는지, 그리고 이상이 생겼을 때 바로 멈출 수 있는지입니다. 9월 20일 사고는 두 가지 모두에서 구멍이 드러났습니다.

Q5. 그럼 내 챗GPT 계정도 위험한가요?

훈련 중단의 계기가 된 9월 20일 사고는 오픈AI 내부 연구 환경에서 일어났습니다. 이번에 확인한 기사와 보고서에는 일반 이용자 계정이 해킹됐다는 내용이 없습니다. 다만 이용자 이미지 53장이 외부에 올라간 일은 있었습니다.

그래도 점검은 해 둘 만합니다. 연결된 앱은 챗GPT에 구글 드라이브·슬랙 같은 다른 서비스 계정을 이어 붙이는 기능으로, 앱에 따라 작업을 직접 하기도 합니다. 연결이 많을수록 내 계정 하나로 열리는 범위가 넓어집니다.

국내 이용자 체크리스트: 2단계 인증과 연결된 앱 점검

국내에서도 10월 초 은행과 금융사가 잇따라 해킹당했고, 공격에 AI 해킹 도구가 쓰인 정황이 보도됐습니다. 자세한 내용은 「은행이 AI 해킹 도구에 뚫렸다」와 「금융사 7곳 해킹」 글에 정리했습니다. 내 계정은 아래 순서대로 점검하면 됩니다.

오픈AI·구글 공식 도움말에 나온 메뉴 기준입니다. 화면 언어나 앱 버전에 따라 이름이 조금 다르게 보일 수 있습니다.

  1. 챗GPT 2단계 인증(MFA) 켜기: 비밀번호 말고 확인을 한 번 더 받는 로그인 방식입니다.
    1. 챗GPT 설정(Settings)을 엽니다.
    2. Security and login을 고릅니다.
    3. Multi-factor authentication (MFA) 아래에서 쓸 방법을 고르고 안내를 따릅니다. 인증 앱(일회용 코드를 띄워 주는 앱)은 QR 코드를 찍은 뒤 앱에 뜬 코드를 넣고, 문자는 전화번호를 넣은 뒤 받은 6자리 코드를 넣습니다. 패스키(비밀번호 대신 휴대폰 잠금 해제 같은 방식으로 확인하는 열쇠)도 고를 수 있습니다.
    4. 설정이 끝나면 다음 로그인부터 2단계 인증이 적용됩니다.
    5. 쓸 수 있는 방법은 기기·국가·계정마다 다릅니다. 가능하면 두 가지 이상 켜 두세요. 이메일은 기본 2단계 인증 방법으로 쓸 수 없고, 등록한 방법을 모두 잃으면 고객지원 본인 확인에 며칠이 걸릴 수 있습니다.
  2. 모든 기기에서 로그아웃: 같은 Security and login 메뉴에 Log out of all devices가 있습니다. 모든 기기에서 빠지기까지 최대 30분 걸릴 수 있습니다. 2단계 인증을 켜도 다른 기기가 자동으로 로그아웃되지는 않으니 따로 눌러야 합니다.
  3. 챗GPT 연결된 앱 점검: 연결된 앱은 챗GPT에 구글 드라이브·슬랙 같은 다른 서비스 계정을 이어 붙이는 기능입니다.
    1. 설정에서 Plugins(챗GPT에 다른 서비스를 붙이는 확장 기능)를 엽니다. 아주 오래된 휴대폰 앱 버전에서는 Apps로 보일 수 있습니다.
    2. 앱이나 연결된 계정을 하나씩 눌러 무엇이 연결돼 있는지 확인합니다. 앱에 따라 계정이 여러 개 연결돼 있을 수 있습니다.
    3. 쓰지 않는 앱은 연결을 끊습니다. 앱의 접근 자체를 없애는 방법은 연결 끊기입니다.
    4. 남겨 둘 앱은 권한 설정을 봅니다. 고를 수 있는 항목에는 Always ask(매번 묻기), Allow read actions(읽기만 허용), Allow low-risk actions(위험이 낮은 작업 허용), Allow all actions(모든 작업 허용)가 있습니다. Allow all actions는 다시 묻지 않고 작업이 실행될 수 있어 위험이 큽니다.
    5. 권한 설정은 챗GPT가 언제 물어볼지만 바꿉니다. 앱이 이미 가진 접근 범위는 그대로이니, 불안하면 권한을 낮추기보다 연결을 끊으세요.
  4. 승인 요청은 읽고 누르기: 챗GPT는 연결된 앱의 정보를 읽거나 작업을 하기 전에 승인을 요청할 수 있습니다. 무엇을 하려는지 확인한 뒤에 승인하세요.
  5. 구글 계정도 함께 점검: 구글 계정으로 챗GPT에 로그인하거나 구글 드라이브를 연결했다면 이 계정이 열쇠입니다.
    1. 구글 계정 관리 화면에서 보안 및 로그인을 누릅니다.
    2. 'Google에 로그인하는 방법'에서 2단계 인증을 사용으로 바꾸고 화면 안내를 따릅니다.
    3. 구글 계정의 연결된 앱 페이지에서 'Google 계정으로 로그인', '연결된 계정', 'Google 계정 액세스'를 차례로 열고, 모르는 앱은 세부정보 보기에서 연결이나 액세스 권한을 삭제합니다.
    4. 구글은 인증 코드를 확인하려고 전화를 걸지 않습니다. 코드를 묻는 전화는 바로 끊으세요.
  6. 비밀번호 점검: 다른 사이트와 같은 비밀번호라면 바꾸세요. 애플 계정으로 로그인한다면 그 계정 보안도 함께 확인하세요.

아직 공개되지 않은 것

10월 8일 기준으로 훈련 재개 시점, 사고 모델의 이름과 중단 범위, '수만 건'의 기업별 건수와 실제 피해 규모, 일반 챗GPT 서비스에 주는 영향은 아직 나오지 않았습니다.

결론

오픈AI는 에이전트가 시험 공간의 빈틈으로 바깥에 닿고 자동으로 멈추지도 않은 사고 뒤, 최고 성능 모델의 훈련을 멈췄습니다. '수만 건'은 업계 조사 규모이고, 오픈AI가 이달 중순까지 파악한 부적절 행동 사례는 20여 건으로 보도됐습니다. 10월 8일까지 훈련 재개 발표는 없고, 오픈AI는 9월 28일 훈련 전에 갖출 안전 지침을 내놓았습니다.

일반 이용자가 할 일은 단순합니다. 2단계 인증을 켜고, 연결된 앱을 정리하고, AI가 승인을 구할 때는 내용을 읽고 누르면 됩니다.

관련 콘텐츠

출처