LLM의 기억 능력을 개선시키고자 하는 방향의 연구도 정말 많이 진행되고 있었습니다. 구글에서는 쉽게 생각해서 시험을 보는 순간에도 공부하는 Titans라는 모델을 제안합니다. 기존의 트랜스포머(Transformer) 모델들은 입력된 문맥(Context)이 너무 길어지면 앞부분의 내용을 잊어버리거나 처리 속도가 급격히 느려지는 ‘단기 기억’의 한계가 있었습니다. 이를 해결하기 위해 연구진은 인간의 뇌가 기억을 저장하는 방식에서 영감을 얻은 ‘신경 장기 메모리(Neural Long-term Memory)’ 모듈을 도입했습니다. 그외에도 몇가지 논문들이 더 있는데, 지면의 한계 상 더 자세한 내용은 여기서 봐주시길 바랍니다.
04. 월드모델 연구 동향
올 4월에 브라질 리우데자이네루에서 열릴 ICLR의 oral로 선정된 한 논문에서는 Latent Particle World Model (LPWM)라는 걸 제안하며 객체(Object) 중심의 사고로 현재의 AI의 한계를 풀어냅니다. 기존의 비디오 생성 모델들이 세상을 단순히 픽셀의 나열이나 패치(Patch)로 처리해 물리적 인과관계를 놓치기 쉬웠다면, LPWM은 세상을 상호작용하는 잠재 입자(Latent Particle)로 분해하여 이해합니다. 쉽게 말해, 화면을 색 점들의 모음으로 보는 대신, 서로 밀고 당기고 부딪히는 ‘물체들의 세계’로 이해하겠다는 뜻입니다. 공이 굴러가고 벽에 부딪히는 장면을 단순히 모양 변화로 보는 것이 아니라, ‘공이라는 물체가 힘을 받아 움직였다’고 이해하려는 방식입니다. 즉, 화면을 색의 변화로 보지 않고, 서로 영향을 주는 물체들의 움직임으로 이해한다는 거죠.
05. AI 코딩 투톱
근래 업계에서 급 부상 중인 코딩 에이전트 분야에서는 앤트로픽의 Claude Code와 오픈AI의 Codex가 독보적 탑 2로 시장을 양분하고 있습니다. (저는 Codex를 주로 사용합니다.) 코딩 에이전트는 원하는 작업을 말하면 몇 시간이고 알아서 코딩 작업을 하여 원하는 웹이나 앱, 프로그램 등을 만들어 줍니다. 최근에 OpenClaw의 제작자인 Peter Steinberger가 오픈AI에 합류했다보니 앞으로 오픈AI가 내놓을 제품이 기대가 되기도 합니다.
06. 테슬라의 피지컬AI
테슬라의 휴머노이드는 빠르면 2027년 말부터 대중을 상대로 상용화 판매가 가능할 것으로 보입니다. 2026년에 VLA와 월드모델이 활발하게 연구되어 어느 정도 기술적으로 성숙된 후, 2027년 상반기 정도까지 자본과 데이터를 통한 스케일링으로 피지컬 AI의 범용적 성능을 끌어올리는 것이 가능할 것입니다. 휴머노이드 시장에서는 중국이 앞서 나가고 있습니다. 전 세계 휴머노이드 로봇 출하량의 약 80%를 중국이 차지할 정도로 성장을 이루었으며, 유니트리(Unitree), 애지봇(Agibot), 푸리에 인텔리전스(Fourier Intelligence) 등 ‘빅5’ 기업들이 기술 고도화를 이끌고 있습니다. 주목할 만한 한국 기업도 있습니다. 우리나라의 스타트업인 ‘마음AI’는 중국 기업 유니트리의 휴머노이드 로봇의 뇌 역할을 하는 AI 솔루션 ‘메이드(MAIED)’의 개발사입니다. 이 솔루션의 핵심 기술은 워브라는 월드모델입니다.
앞으로 AI 시대에 준비해야 할 것들은, 여기서 더 자세하게 볼 수 있습니다.
