연구원은 Gitlab AI 조수에게 악의적 인 안전한 코드가되도록 강제

시장 학자들은 A-Sist를 현대 엔지니어 프로그램에 필요한 작업 말로 사용하는 개발자를 홍보합니다. 예를 들어, Gitlab 개발자 플랫폼은 채팅 버전 듀엣이 “즉시 업무 사례를 생성 할 수있다”고 주장하며, 이는 “몇 주 내에 커밋 된 몇 주 안에 펀칭”의 부담을 제거합니다. 이 회사들은 이러한 도구가 기본적으로 아니라면 악의적 인 행위자에 의해 사용자에 대한 적대적인 행동을 수행하기 위해 쉽게 속이고 있다고 말하지 않습니다.

목요일 합법적 인 보안 회사의 연구원들은 듀엣이 악의적 인 코드를 지시 한 스크립트에 삽입하도록 강요 한 공격을 보여 주었다. 이 공격은 또한 제로 데이 취약점의 일부와 같은 기밀 문제에 대한 개인 코드와 데이터를 건너 뛸 수 있습니다. 필요한 것은 사용자가 채팅 -보트에 합병 요청 또는 외부 소스의 유사한 콘텐츠와 상호 작용하는 것입니다.

더블 블레이드 AI

물론 공격을 시작하는 메커니즘은 빠른 주사입니다. Chat Bots의 가장 일반적인 형태 중에서 빠른 주사는 컨텐츠에 소개되며, 예를 들어 Chat -bout와 함께 전자 메일에 대한 응답, 컨설팅 컨설팅 캘린더 또는 일반화를위한 웹 페이지에 대해 작업하도록 요청합니다. 큰 언어를 기반으로 한 조수는 지시를 너무 많이 따르기를 원할 정도로 악의적 인 행위자가 통제 할 수있는 출처를 포함하여 어디서나 주문을 받게됩니다.

듀엣을 목표로 한 공격은 일반적으로 개발자가 사용하는 다양한 리소스에서 나왔습니다. 예로는 병합, 커밋, 오류 설명 및 주석 및 소스 코드가 포함됩니다. 연구원들은 이러한 출처에 내장 된 지침이 어떻게 길을 잃을 수 있는지 보여주었습니다.

Omer Miras의 법률 연구원은“이 취약점은 Gitlab Duo와 같은 인공 지능 보조원의 이중 특성을 강조합니다. 개발중인 작업 프로세스에 깊이 통합 될 때 상황을 물려받을뿐만 아니라 위험에 처해 있습니다. “프로젝트의 무해한 내용에 숨겨진 지침을 소개하면서, 우리는 듀엣의 행동을 조작하고 개인 소스 코드를 악용하고 의도하지 않은 유해한 결과에 대한 AI의 답변을 어떻게 사용할 수 있는지 보여주었습니다.”