"점수는 높지만 능력은 낮음"에도 불구하고, Grok2는 X(트위터) 플랫폼에서 얻은 방대한 양의 고품질 퍼스트파티 데이터를 활용하여 활용도를 높였습니다. 그러나 Grok3 학습 과정에서 xAI는 OpenAI가 현재 직면하고 있는 "한계"에 자연스럽게 직면하게 되었습니다. 프리미엄 학습 데이터의 부족은 모델 성능의 한계적 효용성을 빠르게 드러냈습니다.

Grok3 개발자와 머스크는 이러한 사실을 가장 먼저 이해하고 깊이 있게 파악했을 가능성이 높습니다. 머스크가 소셜 미디어에서 현재 사용자들이 경험하고 있는 버전은 "아직 베타 버전"이며 "정식 버전은 몇 달 안에 출시될 것"이라고 꾸준히 언급한 것도 바로 이러한 이유 때문입니다. 머스크는 Grok3의 제품 관리자 역할을 맡아 사용자들에게 댓글 섹션에 발생한 다양한 문제에 대한 피드백을 제공할 것을 제안했습니다. 그는 아마도 지구상에서 가장 많은 팔로워를 보유한 제품 관리자일 것입니다.

하지만 하루 만에 Grok3의 성능은 "막대한 연산 능력"을 통해 더 강력한 대형 모델을 훈련하고자 하는 사람들에게 경종을 울렸습니다. 마이크로소프트가 공개한 정보에 따르면, OpenAI의 GPT-4는 GPT-3의 10배가 넘는 1조 8,000억 개의 매개변수를 가지고 있습니다. 소문에 따르면 GPT-4.5의 매개변수 크기는 그보다 더 클 수 있습니다.

모델 매개변수 크기가 급증함에 따라 학습 비용 또한 급증하고 있습니다. Grok3의 등장으로, GPT-4.5와 같은 경쟁자들을 비롯해 매개변수 크기를 통해 더 나은 모델 성능을 달성하기 위해 계속해서 "돈을 태우고" 싶어 하는 다른 경쟁자들은 이제 눈앞에 닥친 한계를 인지하고 이를 극복할 방법을 고민해야 합니다. OpenAI의 전 수석 과학자인 일리아 수츠케버는 지난 12월 "우리가 익숙한 사전 학습은 끝날 것"이라고 발언한 바 있으며, 이 발언은 논의에서 다시금 부상하면서 대규모 모델 학습을 위한 진정한 방향을 모색하는 노력을 촉발시켰습니다.