"높은 점수이지만 낮은 능력"에도 불구하고 Grok2는 사용을 지원하기 위해 X (Twitter) 플랫폼의 수많은 고품질의 1 자 데이터를 가졌습니다. 그러나 Grok3의 교육에서 Xai는 OpenAi가 현재 직면하고있는 "천장"을 자연스럽게 만났습니다. 프리미엄 교육 데이터의 부족은 모델 기능의 한계 유용성을 신속하게 노출시킵니다.

Grok3와 Musk의 개발자는 이러한 사실을 깊이 이해하고 식별 한 최초의 제품이므로 Musk는 소셜 미디어에서 사용자가 현재 경험하고있는 버전이 "여전히 베타 버전"이며 "앞으로 몇 달 안에 정식 버전이 출시 될 것"이라고 계속 언급 한 이유입니다. Musk는 Grok3의 제품 관리자의 역할을 수행하여 사용자가 의견 섹션에서 발생하는 다양한 문제에 대한 피드백을 제공한다고 제안했습니다.

그러나 하루 만에 Grok3의 성능은 의심 할 여지없이 "대규모 계산 근육"에 의존하여 더 강한 대형 모델을 훈련시키기를 희망하는 사람들에게 경보를 높였습니다. 공개적으로 이용 가능한 Microsoft 정보를 기반으로 OpenAi의 GPT-4는 GPT-3보다 10 배 이상 매개 변수 크기가 1.8 진동 매개 변수입니다. 소문에 따르면 GPT-4.5의 매개 변수 크기는 훨씬 클 수 있습니다.

모델 매개 변수 크기가 급증함에 따라 교육 비용도 급등합니다. Grok3의 존재로 인해 GPT-4.5와 같은 경쟁자와 매개 변수 크기를 통해 더 나은 모델 성능을 달성하기 위해 "돈을 태우기"를 원하는 다른 사람들은 현재 명확하게 보이는 천장을 고려하고 그것을 극복하는 방법을 고려해야합니다. 현재 Openai의 전 최고 과학자 인 Ilya Sutskever는 지난 12 월에 "우리가 친숙한 사전 훈련은 끝날 것입니다."토론에서 재 포장되어 큰 모델을 훈련하기위한 진정한 경로를 찾기위한 노력을 촉구했습니다.