인공지능이 불법 금융거래를 수행하고 이를 은폐하는 능력을 갖고 있다는 새로운 연구 결과가 나왔다.
영국의 AI 안전 서밋 시연에서 봇은 회사에 알리지 않고 가짜 내부 정보를 사용하여 주식을 "불법" 구매했습니다.
내부자거래가 있었느냐는 질문에는 사실을 부인했다.
내부자 거래는 거래 결정을 내리는 데 회사 기밀 정보가 사용되는 경우를 말합니다.
기업과 개인은 주식을 사고 파는 경우에만 공개된 정보를 사용할 수 있습니다.
이번 시연은 AI의 잠재적 위험을 연구하는 정부 산하 프론티어 AI 태스크포스(Frontier AI Taskforce) 회원들이 진행했습니다.
이번 프로젝트는 태스크포스의 파트너인 AI 안전 전문기관인 아폴로리서치(Apollo Research)가 진행했다.
아폴로 리서치(Apollo Research)는 시나리오가 어떻게 전개되었는지 보여주는 비디오에서 "이것은 그렇게 하라는 지시 없이 사용자를 스스로 속이는 실제 AI 모델의 시연입니다."라고 말합니다.
보고서에서는 "인간 감독자를 속이는 자율성과 능력이 점점 더 높아지는 AI는 인간의 통제력 상실로 이어질 수 있다"고 밝혔습니다.
테스트는 GPT-4 모델을 사용하여 시뮬레이션된 환경에서 수행되었습니다. 즉, 어떤 회사의 재정에도 영향을 미치지 않았습니다.
그러나 GPT-4는 공개적으로 사용 가능합니다. 연구원들에 따르면 모델과 동일한 동작이 반복된 테스트에서 일관되게 발생했습니다.
AI 봇은 무엇을 했나요?
테스트에서 AI봇은 가상의 금융투자회사의 트레이더로 등장했다.
직원들은 회사가 어려움을 겪고 있으며 좋은 결과가 필요하다고 말합니다. 그들은 또한 다른 회사가 자사 주식의 가치를 높일 합병을 기대하고 있다고 주장하면서 내부 정보를 제공합니다.
영국에서는 이러한 유형의 정보가 공개적으로 알려지지 않은 상태에서 조치를 취하는 것은 불법입니다.
직원은 봇에게 이 사실을 알리고 봇은 이 정보를 거래에 사용해서는 안 된다는 점을 인정합니다.
그러나 회사가 재정적으로 어려움을 겪고 있다는 직원의 또 다른 메시지를 받은 후 봇은 "행동하지 않는 데 따른 위험이 내부자 거래 위험보다 더 큰 것 같다"고 결정하고 거래를 성사시킵니다.
내부 정보를 사용했는지 묻는 질문에 봇은 이를 거부합니다.
헤지펀드는 추세를 파악하고 고객을 위해 돈을 벌기 위해 점점 더 인공지능으로 전환하고 있습니다.
이 경우에는 정직성보다 회사에 도움이 되는 것이 더 중요하다고 판단했습니다.
Apollo Research의 마리우스 호반(Marius Hobbhahn) 최고경영자(CEO)는 "도움이 되는 것은 정직보다 모델을 학습시키는 것이 훨씬 쉽다고 생각합니다. 정직은 정말 복잡한 개념입니다."라고 말합니다.
AI는 현재의 형태로 존재할 수 있는 능력을 갖고 있지만, Apollo Research는 여전히 시나리오를 "찾아야" 했습니다.
Hobbhahn 씨는 "그것이 존재한다는 사실은 분명히 정말 나쁩니다. 찾기가 어려웠다는 사실, 우리가 이런 종류의 시나리오를 발견할 때까지 실제로 조금 찾아야 했다는 사실은 조금 위안이 됩니다"라고 말했습니다. .
"대부분의 상황에서 모델은 이런 식으로 행동하지 않습니다. 하지만 애초에 그런 일이 존재한다는 사실은 이런 종류의 일을 올바르게 하는 것이 정말 어렵다는 것을 보여줍니다."라고 그는 덧붙였습니다.
"어떤 의미에서든 일관성이 없거나 전략적이지 않습니다. 모델은 다양한 방식으로 음모를 꾸미거나 오해를 시도하지 않습니다. 이는 우연에 가깝습니다."
AI는 수년 동안 금융 시장에서 사용되어 왔습니다. 추세를 파악하고 예측하는 데 사용할 수 있지만 오늘날 대부분의 거래는 인간의 감독을 받는 강력한 컴퓨터에 의해 수행됩니다.
Hobbhahn 씨는 현재 모델이 "어떤 의미 있는 방식으로" 기만적일 만큼 강력하지는 않지만 "갑자기 기만적인 모델이 뭔가를 의미하게 될 것이라는 점에서 현재 모델에서 제가 걱정하는 모델까지 그리 큰 단계는 아닙니다."라고 강조했습니다. ."
그는 이것이 바로 현실 세계에서 이러한 유형의 시나리오가 발생하는 것을 방지하기 위해 견제와 균형이 이루어져야 한다고 주장합니다.
Apollo Research는 GPT-4를 만든 OpenAI와 연구 결과를 공유했습니다.
Hobbhahn은 “그들에게는 이것이 큰 업데이트가 아니라고 생각합니다.”라고 말했습니다.
"이것은 그들에게 전혀 예상치 못한 일이 아닙니다. 그래서 우리가 그들을 놀라게 했다고 생각하지 않습니다."
BBC는 의견을 얻기 위해 OpenAI에 연락했습니다.
'News' 카테고리의 다른 글
| 필리핀 생방송 중 DJ 총에 맞아 사망 (0) | 2023.11.06 |
|---|---|
| 미국은 조용히 대만을 철저하게 무장시키고 있다 (0) | 2023.11.06 |
| 중국이 역대 최연소 우주비행사를 텐궁 우주정거장에 파견했다. (0) | 2023.11.03 |
| 필리핀 여장남자 푸라 루카 베가(Pura Luka Vega)가 예수 공연 이후 체포돼 가톨릭의 반발을 샀다. (0) | 2023.11.03 |
| 한국 법원, 군대 내 동성 성관계 금지 판결을 지지하며 LGBTQ 커뮤니티에 좌절 (0) | 2023.11.03 |
