이 문제를 해결하기 위해 제시되고 있는 유력한 후보가 '월드모델'이다. 1943년, 인지과학 분야에서 생명체의 뇌가 외부세계를 계산하여 시뮬레이션 하지 않을까 하는 케네스 크레이크(Kenneth Craik)의 재미있는 추측에서 시작되었는데 페이페이 리는 이미 World Labs라는 이름의 스타트업을 시작했다.
LLM이 다음 문장이 무엇일지 통계적으로 가장 그럴듯 한 다음 말을 맞추는 것이라면, 월드 모델은 현재 상태에서 어떤 행동을 했을 때, 다음에 어떤 상태가 올지를 예측하는 것이다. 즉 월드모델은 머릿 속에 가상 세계를 만들고 그 안에서 물리법칙을 적용하며 시뮬레이션할 수 있다.
하지만 이는 필연적으로 어마어마한 데이터를 필요로 한다. 그렇기에 잡아 먹는 전력량도 엄청나다. 상식적으로 세계를 예측하려는데 변수가 한 두개이겠는가? 그래서 얀 르쿤은 'JEPA'라는 것을 제시했다. 이에 대한 자세한 내용은 너무 길기에 리포트 원문을 참고해주고, 핵심은 얀 르쿤이 2025년 뉴욕 대학교에서 강의를 했듯 '학습'을 물리학처럼 보는 것이다. 보통 AI의 학습은 점수를 높이는 방향으로 가는데, 학습을 점수가 아니라 에너지로 보자는 발상을 떠올렸다. 그리고 JEPA를 실제 세계로 확장한 것이 3D-JEPA, 3D-JEPA의 공간을 시간 축까지 확장한 것이 V-JEPA2이다.
정리하자면 AI가 그저 다음 문장을 예측하는 것이 아니라, 다음 세상을 '시뮬레이션'하는 시대로 접어들고 있다. 그러면 뭐가 달라지냐고? 자율주행이나 휴머노이드가 어려운 이유는 센서 인식이 잘 안돼서가 아니라 행동의 결과를 알 수 없다는 데 있다. 그런데 월드 모델이 들어가면 로봇과 자율주행은 행동을 취하기 전에 "이걸 집으면 미끄러질까?", "여기로 가면 충돌 확률이 높을까?"를 가상세계에서 먼저 실행하고 마치 인간처럼 스스로 행동을 선택하는 존재로 나아가게 된다.
03. 얀 르쿤이 떠난 메타의 미래
메타와 주커버그, 그리고 주주들은 얀 르쿤의 AI로 얼마나 큰 수익을 얻었을까. 답은 “생각보다 크지 않다”에 가깝다. 세상을 바꿀 듯한 발명과 특허가 반드시 돈이 되는 것은 아니다. 구조가 복잡하고 유지 비용이 큰 기술은 대량 생산과 산업화에 불리하다. 시장은 점점 더 단순하고 정형화된 방식을 선호한다.
트랜스포머 레이어를 길게 쌓고, 대규모 대화 데이터를 확보하며, 상대적으로 저렴한 인력으로 프롬프트와 명세서를 정제하는 방식이 훨씬 빠르게 수익으로 이어진다. 반면 V-JEPA에서 사용되는 특이한 훈련 방식과 호환성이 낮은 loss 구조는 유지보수 비용이라는 현실적인 벽에 부딪힌다. 결국 JEPA 계열이 LLM 에이전트보다 압도적인 성능을 보여주지 못한다면, 시장에서 밀려날 가능성은 높다.
그런데 Meta는 이미 VR 플랫폼과 시장 점유율에서 앞서나가고 있다. 여기에 얀 르쿤의 새로운 스타트업에서 만들어질 World Model이 보조적으로 결합된다면, 가상현실과 증강현실 영역에서 Meta를 위협할 기업은 당분간 없을지도 모른다. 그러나 중요한 것은 “지금” 회사가 취해야 할 승리 전략이다. 기업이 주주의 반대를 무릅쓰고 개발자들의 도전과 시행착오를 기다릴 수 있는지, 젊은 개발자들에게 충분한 기회와 자원을 배분할 수 있는지가 관건이다.
JEPA와 World Model은 기술적으로 여전히 연구 단계에 있으며, 지금 성패를 단정짓는 것은 섣부르다. 문제는 기술 그 자체가 아니라, 시장이 단순하고 정형화된 LLM을 선호하는 흐름 속에서 메타 역시 그 방향으로 타협했다는 점이다. 그 결과 JEPA 같은 접근을 조직적으로 지킬 의지는 약해졌고, 메타의 기술적 차별성은 희석되었다.
따라서 지금 당장 메타를 장기 투자 관점에서 바라보기는 어렵다. 단기 주가 상승은 가능할지 모르지만, 이는 어디까지나 비용 절감과 효율화의 결과일 뿐이다. 다만 개인적으로, VR과 AR 영역에 World Model이 다시 결합되는 순간이 온다면, 그때는 분명히 매수 시점이라 확신한다.
