[Deep Learning] PaLM-SayCan 모델 알아보기
·
Robotics/Basic
Saycan 로봇은 구글(Google)이 2022년에 발표한 인간의 언어를 이해하고 스스로 생각해서 반응하는 ‘도우미 로봇’이다.구글은 자사의 대규모 언어모델인 PaLM을 결합해 자연어 명령을 이해할 수 있는 새로운 로봇 ‘PaLM-SayCan’에 대한 연구를 발표했다. PaLM은 수백 개의 언어 이해 및 생성 작업을 할 수 있는 5,400억 개의 매개변수가 있는 언어 모델이다.대부분의 로봇은 "물 한 병 가져와"와 같은 짧고 간단한 지시에만 응답하지만 PaLM 덕분에 “음료수를 쏟았어. 도와줄래?”라고 했을 때, 로봇은 이 명령을 “주방에서 닦을 스펀지를 가져와”로 해석할 수 있다. PaLM-SayCan 로봇은 음성 또는 입력된 문장을 이해하고, 궁극적인 목표를 찾아내서 작업 단계를 나누고, 로봇이 ..
[Foundation Model] 로보틱스에서의 LLM과 VLM 그리고 동향 알아보기
·
Robotics/Basic
"Foundation Models in Robotics: Applications, Challenges, and the Future"라는 논문을 통해, 거대 언어 모델(LLM)과 비전-언어 모델(VLM)이 로봇 기술에 어떻게 접목되고 있는지, 알아보자  2025.03.28 - [Foundation Model/Paper reviews] - [논문 리뷰] Foundation Models in Robotics: Applications, Challenges, and the Future [논문 리뷰] Foundation Models in Robotics: Applications, Challenges, and the Future이 리뷰는 오직 학습과 참고 목적으로 작성되었으며, 해당 논문을 통해 얻은 통찰력과 지식을..
[논문 리뷰] Do As I Can, Not As I Say:Grounding Language in Robotic Affordances (saycan)
·
Robotics/Paper reviews
이 리뷰는 오직 학습과 참고 목적으로 작성되었으며, 해당 논문을 통해 얻은 통찰력과 지식을 공유하고자 하는 의도에서 작성된 것입니다. 본 리뷰를 통해 수익을 창출하는 것이 아니라, 제 학습과 연구를 위한 공부의 일환으로 작성되었음을 미리 알려드립니다. 다른 연구에서 인간의 언어 지시를 이해하고 수행하는 AI 시스템을 다루던 중, 자연어 처리와 로봇 제어가 결합된 ‘PaLM-SayCan’ 모델을 알아보기 위해 Do As I Can, Not As I Say: Grounding Language in Robotic Affordances 논문을 알게 되어 읽게 되었습니다.더보기M. Ahn et al., "Do As I Can, Not As I Say: Grounding Language in Robotic Affo..
[논문 리뷰] Enhancing the LLM-Based Robot ManipulationThrough Human-Robot Collaboration
·
Robotics/Paper reviews
이 리뷰는 오직 학습과 참고 목적으로 작성되었으며, 해당 논문을 통해 얻은 통찰력과 지식을 공유하고자 하는 의도에서 작성된 것입니다. 본 리뷰를 통해 수익을 창출하는 것이 아니라, 제 학습과 연구를 위한 공부의 일환으로 작성되었음을 미리 알려드립니다.  이 논문은 24년 6월에 게재된 논문으로 로보틱스에서 LLM을 이용한 논문을 찾던중 흥미로워서 리뷰하게 되었다.더보기H. Liu, Y. Zhu, K. Kato, A. Tsukahara, I. Kondo, T. Aoyama, and Y. Hasegawa, "Enhancing the LLM-Based Robot Manipulation Through Human-Robot Collaboration," IEEE Robotics and Automation Lette..
[논문 리뷰] Foundation Models in Robotics: Applications, Challenges, and the Future
·
Robotics/Paper reviews
이 리뷰는 오직 학습과 참고 목적으로 작성되었으며, 해당 논문을 통해 얻은 통찰력과 지식을 공유하고자 하는 의도에서 작성된 것입니다. 본 리뷰를 통해 수익을 창출하는 것이 아니라, 제 학습과 연구를 위한 공부의 일환으로 작성되었음을 미리 알려드립니다.  이 논문은 로봇 파운데이션 모델, 즉 GPT 같은 거대 모델을 로봇에 접목시키기 위해 지금 산업계 그리고 학계에서는 어떤 연구들이 진행되고 있는지,  LLM(대형 언어 모델)과 VLM(비전-언어 모델)이 로봇의 의사결정, 강화학습, 태스크 플래닝에 어떻게 적용되는지를 다룬다.더보기R. Firoozi, J. Tucker, S. Tian, A. Majumdar, J. Sun, W. Liu, Y. Zhu, S. Song, A. Kapoor, K. Hausman..