LEGOGPT 시스템은이 다이어그램에 표시된 세 부분으로 작동합니다.
크레딧 : Pun et al.
또한 연구원들은 질감과 색상 매개 변수를 추가하여 시스템의 능력을 확장했습니다. 예를 들어, “금속 자주색의 일렉트릭 기타”와 같은 외관 팁을 사용하여 Legogpt는 보라색으로 처방 된 벽돌로 기타 모델을 생성 할 수 있습니다.
로봇과 사람으로 테스트
그들의 프로젝트가 실생활에서 작동한다는 것을 증명하기 위해 연구원들은 로봇이 AI가 만든 레고 모델을 조립하도록 강요했습니다. 그들은 AI가 생성 한 지침에 따라 강제 센서가 장착 된 이중 로봇이 달린 손으로 손을 대고 벽돌을 픽업하고 배치했습니다.
인간 테스터는 또한 일부 구조물을 수동으로 구축하여 AI가 실제로 생성 된 모델을 생성 함을 보여줍니다. “우리의 실험에 따르면 Legogpt는 텍스트 입력의 프롬프트와 밀접한 관련이있는 안정적이고 다양하며 미적으로 유쾌한 레고 디자인을 생성한다는 것을 보여줍니다.”
3 차원 생성에 대한 다른 인공 지능 시스템에 대해 테스트 할 때 Legogpt는 구조적 무결성에 중점을 두어 두드러집니다. 이 팀은 LLAMA-MESH 모델 및 기타 3D 칭찬을 포함하여 몇 가지 대안을 확인했으며 그 접근 방식이 안정적인 구조의 가장 높은 비율을 가져 왔음을 발견했습니다.
연구원들이 제공 한 레그 포트 제작을 만드는 두 로봇의 비디오.
그러나 몇 가지 제한 사항이 있습니다. 현재 버전의 LEGOGPT는 20 × 20 × 20 건물 내에서만 작동하며 8 개의 표준 벽돌 유형 만 사용합니다. “우리의 방법은 현재 자주 사용되는 고정 된 레고 벽돌 세트를 지원하고 있습니다. “향후 작업에서는 경사와 타일과 같은 더 넓은 범위의 크기와 유형의 벽돌을 가능하게하기 위해 벽돌 도서관을 확장 할 계획입니다.”
연구원들은 또한 현재 사용 가능한 21 개 범주보다 더 많은 객체를 포함하도록 교육 세트를 확장하기를 희망합니다. 한편, 다른 사람들은 문자 그대로 자신의 작업에 의존 할 수 있습니다. 연구원들은 웹 프로젝트 및 Github에서 데이터, 코드 및 모델 세트를 발표했습니다.
