대형 언어 모델이 새로운 알고리즘을 열 수 있습니까?

”라는 수학적 개념이 있습니다.키스 번호. ‘다소 실망스럽고, 그것은 진짜 키스와 관련이 없습니다. 그는 얼마나 많은 구체가 그것을 건너지 않고 같은 크기의 한 구체를 터치 할 수 있는가 (또는“키스”)를 나열합니다. 한 측정에서 키스 번호는 2입니다. 두 차원에서 이것은 6입니다 (생각합니다 뉴욕 타임즈 ‘퍼즐의 양봉 구성을 다시 작성하십시오). 측정의 양이 커지면 대답은 덜 분명 해집니다. 대부분의 측정에서 4 개 이상의 것으로 알려져 있습니다. 상한과 하부 경계 만 키스의 키스에 알려져 있습니다. 이제 Google DeepMind가 Alphaevolve라고 불리는 AI 에이전트는 문제에 기여하여 592에서 593까지의 11 차원의 키스 번호로 하단 테두리를 증가 시켰습니다.

이것은 특히 11 차원의 키스를 따르는 상한 경계가 868이라는 점을 고려할 때 문제가 점차 개선 된 것처럼 보이므로 알려지지 않은 범위는 여전히 상당히 큽니다. 그러나 이것은 AI 에이전트의 새로운 수학적 발견이며 대형 언어 모델이 독창적 인 과학적 기여를 할 수 없다는 생각에 도전합니다.

그리고 이것은 Alphaevolve가 달성 한 것의 한 예일뿐입니다. “우리는 수학 연구에서 여러 가지 열린 문제에 대해 Alphaevolve를 적용했으며, 수학의 여러 부분에서 의도적으로 분석, 조합, 지오메트리에서 문제를 선택했습니다. 그들은 문제의 75 %에 대해 AI 모델이 이미 잘 알려진 최적 솔루션을 재현한다는 것을 발견했습니다. 20 %의 경우, 그는 잘 알려진 해결책을 능가하는 새로운 최적을 발견했습니다. Balog는“각각의 경우 새로운 발견입니다. (다른 5 %의 경우 AI는 솔루션으로 수렴하여 잘 알려진 최적보다 나빴습니다.)

이 모델은 또한 대부분의 머신 러닝의 기초가되는 연산 인 매트릭스를 곱할 수있는 새로운 알고리즘을 개발했습니다. Alphatensor라는 AI Deepmind 모델의 이전 버전은 1969 년에 발견 된 이전의 가장 유명한 알고리즘을 이미 4 씩 4 개의 매트릭스로 곱했습니다. Alphaevolve는이 개선 된 알고리즘의보다 일반적인 버전을 발견했습니다.

Deepmind Alphaevolve는 Google의 몇 가지 실제 문제를 개선했습니다. Google Deepmind

추상 수학 외에도이 팀은 회사가 매일 충돌함에 따라 모델을 Google의 실제 문제에 적용했습니다. AI는 또한 데이터 센터의 오케스트레이션을 최적화하여 1 % 개선을 얻고 다음 텐서 Google 프로세싱 장치의 설계를 최적화하고 쌍둥이 교육에 사용되는 커널의 개선을 감지하여 학습 시간을 1 % 감소시킵니다.

DeepMind의 선임 연구원 인 Alexander Novikov는 Alphaevolve에서도 일한 Alexander Novikov는“하나의 시스템으로 많은 다른 일을 할 수 있다는 것은 매우 놀라운 일입니다.

알파벳 작동 방식

Alphaevolve는 코드로 표현할 수 있고 다른 코드로 테스트 할 수있는 거의 모든 문제에 적용될 수 있기 때문에 Alphaevolve는 매우 일반적 일 수 있습니다. 사용자는 문제에 대한 초기 타격 (문제를 해결하는 프로그램이지만 최적화되지 않은 프로그램 및 코드가 필요한 기준을 얼마나 잘 충족시키는 지 확인하는 검증 프로그램을 제공합니다.

그런 다음 큰 언어 모델 (이 경우 쌍둥이)은 동일한 문제를 해결하기위한 다른 후보 프로그램을 제공하며 각각은 수표로 확인됩니다. 거기에서 Alphaevolve는 유전자 알고리즘을 사용하여“가장 적합한”제안 된 솔루션이 다음 세대까지 생존하고 발전하도록합니다. 이 프로세스는 솔루션이 개선 될 때까지 반복됩니다.

Alphaevolve는 유전자 알고리즘에 의해 구성된 평가 코드와 함께 큰 언어 모델 Gemini (LLM)가있는 앙상블을 사용하여 코드를 최적화합니다. Google Deepmind

“훌륭한 언어 모델이 왔으며, 우리는 그들이 훈련 데이터에서만 추가 할 것인지, 아니면 완전히 새로운 새로운 알고리즘이나 새로운 지식을 감지하는 데 사용할 수 있는지 스스로에게 묻기 시작 했습니까?” 발리가 말한다. 이 연구는 Balog에 따르면“대형 언어 모델을 올바르게 사용한다면 매우 정확한 의미에서 새로운 것을 증명하고 알고리즘의 형태로 증명할 수 있습니다.”

Alphaevolve는 긴 깊은 영화 모델에서 비롯된 Alphazero로 돌아 왔습니다. Alphazero로 돌아 왔습니다. Alphazero로 돌아 왔습니다. Alphazero로 돌아 왔습니다. Alphazero로 돌아 왔는데, 세계를 기절 시켰으며, 사람보다 체스, 이동 및 기타 게임을 배웠습니다. 인간의 지식을 사용하지 않고 단순히 게임을하고 강화 훈련을 사용하여 마스터했습니다. 강화 훈련을 기반으로 한 수학의 또 다른 인공 지능은 2024 국제 수학 올림피아드에서은 의학 수준에서 공연했습니다.

그러나 Alphaevolve의 경우, 팀은 유전자 알고리즘에 찬성하여 강화의 전통에서 탈출했습니다. Balog는“시스템은 훨씬 쉽습니다. “그리고 이것은 실제로 결과를 가져 왔으며, 이는 광범위한 문제로 설치하기가 훨씬 쉽습니다.”

(절대적으로 끔찍하지 않음) 미래

Alphaevolve 팀은 두 가지 방법으로 시스템을 개발하기를 희망합니다.

첫째, 그들은 자연 과학을 포함하여 더 넓은 문제에 적용하기를 원합니다. 이 목표를 달성하기 위해, 그들은 연구에서 Alphaevolve를 사용할 수있는 관심있는 과학자들을위한 초기 액세스 프로그램을 열 계획입니다. 제안 된 솔루션을 점검하는 것은 덜 간단 할 수 있기 때문에 시스템을 자연 과학에 적응시키는 것이 더 어려울 수 있습니다. 그러나 Balalog는 다음과 같이 말합니다.“자연 과학에는 다양한 유형의 문제에 대한 많은 시뮬레이터가 있으며 Alphaevolve에서 사용될 수 있다는 것을 알고 있습니다. 그리고 앞으로는이 방향으로 행동의 범위를 확장하는 데 매우 관심이 있습니다.”

둘째, 그들은 시스템 자체를 개선하여 다른 심해 : AI 공동 세시 프로젝트와 관련이있을 수 있습니다. 이 AI는 또한 LLM과 유전자 알고리즘을 사용하지만 자연어로 가설의 생성에 중점을 둡니다. Balog는“그들은 이러한 아이디어와 더 높은 수준의 가설을 개발하고 있습니다. “Alphaevolve와 유사한 시스템 에이 구성 요소를 포함 시키면 더 높은 수준의 추상화로 전환 할 수 있다고 생각합니다.”

이러한 전망은 흥미 진진하지만 일부는 쌍둥이 훈련에서 알파 폴의 최적화가 재귀 적으로 자기 개선 된 AI의 시작으로 간주 될 수 있으며, 일부는 음절의 폭발에 대해 걱정하고있는 쌍둥이의 훈련에서 알파 폴의 최적화는 위협적으로 들릴 수 있습니다. Deepmind 팀은 물론 이것이 목표가 아니라고 주장합니다. Novikov는“우리는 인류에게 도움이되는 AI의 승진에 기여하게되어 기쁩니다.