범용 지능인 LLM의 성능이 크게 발전하면서 이 능력을 물리 세계로 옮기려는 시도가 활발해지고 있어요. 본 글에서는 물리 세계를 이해하고 상호작용할 수 있는 Physical AI의 동향을 정리하고 각 논문에서 소개한 주요 아이디어를 알아보려고 해요. 논문 선정은 앵지유니버스님의 영상을 참고했어요. Generalist VLA의 등장 기존의 로봇은...

😎 서비스를 이해하고 싶어요 이번 해의 목표는 명확했답니다. “기획부터 배포까지 모든 단계를 경험하자.” 저는 이론적 연구보다는 실제 서비스를 통해 사회적 임팩트를 만들고 사용자로부터 피드백을 받는 일에 더 큰 흥미를 느껴요. 그래서 리서치-기획-디자인-개발-테스트-배포로 이어지는 전 과정을 모두 경험해 보고 싶었어요. 기획 단계를 배우기 위해...

Github: Hateful-Meme Multi-modal과 Reasoning 학기 중에 수업 기말 프로젝트로 컴퓨터비전 기술을 이용한 무언가를 만들어야 했어요. 하지만 거창한 비전 모델을 학습할 GPU가 없었고, 최근 논문으로만 접했던 ‘멀티모달’과 ‘reasoning’을 모두 구현하면서 GPU 자원을 적게 사용하는 과제를 찾다가 Faceboo...

Github: Jin-A-Park/Speak2UI Demo: speak2ui_demo.mp4 Paper: ‘Speak2UI: 모바일 접근성을 위한 음성 보조 기술’ 이 프로젝트는 실시간으로 음성 명령을 입력받아 LLM으로 사용자 명령을 분석하고, Android A11y API를 통해 동작을 실행해요. 안드로이드 단에서 정보를 불러오고...

Agent의 변화와 정의 ReAct: Synergizing Reasoning and Acting in Language Models, 2023. Counterfactual Multi-Agent Policy Gradients, 2024. Agent는 전통적으로 policy를 가지고 자율적으로 판단하고 행동하는 모델을 말해요. 이는 강화학습...

LLM을 활용한 연구가 활발히 진행되는 가운데, LLM의 한계도 점차 드러나고 있어요. 이러한 이유로 Microsoft의 BitNet처럼 작은 모델을 만들려는 시도가 계속되고 있죠. 최근에는 몇 달 동안 reasoning 분야에서 새로운 아키텍처가 논의되고 있어요. 오늘은 Hierarchical Reasoning Model이라고 불리는 아키텍처에 대해...

Fine-tuning은 가성비가 떨어진다 A Survey on In-context Learning, 2024. LLM은 최근 다양한 분야에서 활용되고 있어요. 특정 과제의 성능을 높이기 위해 지도학습과 강화학습을 결합한 fine-tuning 기법이 사용되고 있지만, 이 방법은 가성비가 떨어진다고 해요. 계산 비용이 매우 높고, LoRA처럼 ...