추론 시험 99.9%.
며칠 전 새 모델 소식에 붙어 나온 점수예요.
그런데 같은 모델이 같은 시험을 표준 채점 방식으로 다시 보면 62.7%가 나와요.
시험지가 바뀐 게 아니에요.
점수를 만든 회사가 자기 채점 장치로 잰 값이 앞의 숫자이고, 시험을 만든 쪽의 장치로 잰 값이 뒤의 숫자예요.
‘사람 수준에 도달했는가’를 가려줄 공인된 시험은 아직 어디에도 없고, 있는 시험조차 이렇게 조건이 정합니다.
그래서 이게 대체 뭐하는 물건인가요
메시지를 치다 보면 자판 위에 다음 단어가 뜨죠.
‘오늘’ 을 치면 ‘저녁’ 이 올라오는 그거요.
LLM이 하는 일이 정확히 그 일이에요.
지금까지 주어진 말 뒤에 어떤 말이 올 확률이 높은지를 계산해서 하나를 붙이는 프로그램입니다.
붙이는 단위는 낱말 하나일 수도 있고 낱말 조각일 수도 있어요.
이 조각 하나를 토큰이라고 불러요.
뒤에 나올 숫자들이 거의 다 이 단위로 세어져 있어서 한 번 짚고 갈게요.
그리고 붙인 말까지 자기가 다시 읽고, 그 뒤에 또 하나를 붙여요.
이걸 계속 반복해서 문장이 나옵니다.
그 위에 껍데기를 씌운 게 챗봇이고 번역기고 요약기예요.
비유는 여기서 깨져요 — 자판은 바로 앞 몇 글자만 보고, 고를지 말지는 사람이 눌러주지만, LLM은 오간 말 전체를 한꺼번에 놓고 스스로 고르고 자기가 고른 말을 다시 읽거든요. 그래서 한 번 어긋나면 그 위에 계속 쌓입니다.
예전 자동완성은 왜 말이 안 통했나요
자동완성은 옛날에도 있었어요.
그런데 번역이나 요약을 기계에 시키려던 사람들이 오래 막혀 있던 지점이 하나 있었습니다.
기계가 한 번에 볼 수 있는 앞뒤 범위가 너무 짧았어요.
이 ‘볼 수 있는 앞뒤 범위’ 를 컨텍스트라고 불러요.
옛날 방식은 단어 두세 개를 묶어놓고 그 뒤에 뭐가 왔는지를 미리 세어두는 식이었어요.
그러니 범위를 넓히면 될 것 같잖아요.
그런데 넓히는 순간 다른 벽에 걸려요.
묶음이 길어질수록 ‘그런 조합은 살면서 한 번도 본 적이 없는’ 경우가 폭발합니다.
본 적이 없으면 확률을 매길 수가 없어요.
그다음에 나온 방식들이 범위를 좀 더 늘려주긴 했지만 이 한계를 없애지는 못했고요.
지금 방식이 바꾼 건 딱 이 지점이에요.
앞뒤 몇 개를 순서대로 훑는 게 아니라 주어진 말 전체를 한꺼번에 놓고 본다는 것.
대화가 길어져도 앞에서 한 말이 안 떨어져 나가는 이유가 여기 있어요.
옛 자동완성이 볼 수 있던 건 종이 위에 얹힌 작은 창 하나만큼이었어요. 지금 방식은 오간 말을 통째로 펼쳐놓고 한꺼번에 보고, 방금 붙인 한 마디도 곧바로 그 띠의 일부가 돼요. 띠 끝에서 처음으로 되돌아가는 홈이 그 반복이고, 어긋난 말도 똑같이 그 위에 얹혀서 다음 말을 고르는 재료가 돼요.
그런데 왜 하필 지금 이 얘기가 커졌나요
성능이 갑자기 좋아져서가 아니라 쓰는 방식이 바뀌었기 때문이에요.
예전엔 한 번 묻고 한 번 답을 받고 끝이었죠.
요즘은 시켜놓으면 알아서 여러 단계를 이어서 처리하는 쪽으로 옮겨가는 중이고, 이걸 에이전틱이라고 불러요.
한 번의 지시에 수백에서 수천 단계가 붙어요.
단계마다 말을 만들어내야 하니까, 만들어야 할 말의 양 자체가 통째로 불어난 거예요.
여기서 ‘추론’ 이라는 말이 나오는데, 셜록 홈스 같은 걸 떠올리면 안 돼요.
이 바닥에서 추론은 학습이 다 끝난 모델이 실제로 답을 만들어내는 순간을 가리킵니다.
AI의 무게중심이 학습 쪽에서 이 순간 쪽으로 넘어갔다는 게 요즘 얘기예요.
SK하이닉스는 그래서 진짜 병목이 계산 능력이 아니라 데이터가 어디에 저장돼 있고 얼마나 빨리 오가느냐로 옮겨갔다고 봅니다. 단계를 이어가려면 앞서 오간 말을 계속 옆에 쥐고 있어야 하는데, 그게 쌓이면서 길이 막힌다는 거예요.
그래서 ‘초당 몇 토큰’ 같은 숫자가 뉴스에 실리기 시작했어요.
하나 볼까요.
엔비디아의 그록 3 LPX라는 칩이 초당 3,400개를 기록했다는 발표가 있었는데, 이건 아티피셜 애널리시스라는 시험대에서 젬마 4 31B라는 모델을 10만 토큰짜리 대화 조건으로 돌려서 나온 값이에요.
이렇게 미리 만들어둔 시험 문제 묶음을 벤치마크라고 부릅니다.
98%와 1%, 누가 어떤 조건에서 쟀나
방금 그 숫자 하나에 조건이 넷 붙었어요.
누구 칩인지, 무슨 모델을 돌렸는지, 어느 시험대인지, 얼마나 긴 대화를 놓고 쟀는지.
이 눈으로 나머지 숫자들을 한자리에 놓아볼게요.
먼저 시험 점수예요.
오픈AI는 현지시간 9월 3일 최상위 모델 ‘GPT-6 아스트라’ 를 공개하면서 수학 난제 시험 98%, 추론 시험 99.9%를 내걸었어요.
여기서 시험 이름을 알아둘 필요가 있어요.
수학 쪽은 프론티어매스, 추론 쪽은 아크에이지아이라는 시험이고 둘 다 오픈AI가 만든 게 아니에요. 각각 다른 연구단체가 만들어 관리해요.
그러니 ‘시험지를 자기가 만들었다’ 는 건 사실이 아니고, 실제로 회사가 고른 건 시험지가 아니라 채점 장치 예요.
먼저 수학 쪽. 발표문 표에 적힌 값은 97.6%인데 요약 문장에서 98%가 됐어요.
반올림이라 큰 차이는 아니지만, 표와 요약이 다르면 사람들이 옮기는 건 언제나 요약 쪽이에요.
그리고 추론 쪽이 이 글에서 제일 중요한 자리예요.
99.9%는 오픈AI가 자기 채점 장치로 돌려서 나온 값이에요.
시험을 만든 쪽이 쓰는 표준 장치로 같은 모델을 돌리면 62.7% 가 나와요.
두 장치의 차이는 이래요 — 표준 장치는 모델이 알아낸 걸 매번 눈에 보이게 적어두게 하고, 회사 장치는 적지 않고 머릿속에 쥐고 다음 문제로 넘어가게 해줘요.
어느 쪽이 틀렸다는 게 아니에요. 하나는 최상의 조건을 재고 하나는 남들과 같은 조건을 잽니다. 그런데 뉴스에 실리는 건 늘 앞의 숫자예요.
같은 발표문에 100%짜리 점수도 하나 있는데, 그건 ‘실제 서비스에 걸어둔 안전장치를 끄고’ 잰 값이라고 적혀 있어요.
여러 시험을 한 지표로 합쳐 재는 곳(아티피셜 애널리시스)에서는 아스트라가 61.2점, 앤트로픽의 클로드 페이블 5.1이 66점이에요.
한 시험에서 1등인 모델이 종합에서는 뒤질 수 있어요. 뾰족하게 잘하는 것과 고르게 잘하는 것이 다르기 때문이고, 그래서 점수 하나로 줄을 세울 수가 없는 거예요.
그레그 브록먼 사장은 이걸 ‘세대적 도약’ 이라고 평했다고 하고요.
그럼 ‘사람 수준에 도달했다’ 는 말은요.
오픈AI는 자기 헌장에 AGI를 ‘경제적으로 가치 있는 대부분의 업무에서 인간보다 뛰어난 고도로 자율적인 시스템’ 이라고 적어뒀어요.
회사가 스스로 정한 정의예요.
여기에 도달했는지를 판정하는 공인된 기준이나 시험은 존재하지 않습니다. 업계 안에서도 갈려요.
얀 르쿤은 이런 모델만으로는 인간 수준 지능에 닿기 어렵고 보고 듣고 만지는 물리 세계 이해가 필요하다고 말하고, 반대편에는 이미 그 시대가 왔다는 주장이 있어요.
숫자가 작은 쪽도 마찬가지예요.
블룸버그가 9월 4일 보도한 인터뷰에서 리카이푸 01.ai 대표는 중국 기업들이 미국 경쟁사 연산력의 1~3%짜리 설비로 대등한 결과물을 냈다고 평가했어요.
수출 통제가 현지 개발진의 효율화 의지를 과소평가한 셈이라는 거고요.
이 말이 왜 돈 얘기가 되냐면요.
적은 연산으로 돌리는 게 표준이 되면 고대역폭메모리 수요 증가세가 완만해질 수 있다는 관측이 이미 나와 있거든요.
발표 하나가 어느 회사 매출로 흘러가는지는 이렇게 읽는 거예요.
보안 쪽 숫자도 같은 방식으로 봐야 해요.
업윈드가 엔비디아와 함께 선보인 기술은 문서나 웹페이지에 몰래 심어둔 문장으로 모델을 조종하는 수법을 실시간으로 잡아낸다고 하는데, 정밀도가 95% 수준으로 제시됐어요.
누가 무슨 공격을 대상으로 잰 95%인지가 숫자보다 먼저예요.
앞으로 이 분야 발표문을 볼 때 세 가지만 찾으면 돼요. 누가 잰 값인가, 어떤 조건에서 잰 값인가, 그리고 발표문이 말하지 않은 쪽은 무엇인가. 엔비디아가 ‘지금의 중소형 모델이 작년 최대 모델의 정확도에 도달했다’ 고 밝힌 것도 이 셋을 대고 읽으면 다르게 보여요.
같은 주에 나온 모델들, 진짜 갈리는 건 점수가 아니에요
점수로 줄을 못 세운다면 뭘로 가르냐.
최근 발표들을 보면 축이 하나 보여요.
누구에게 어디까지 열어주느냐입니다.
아스트라는 컴퓨터와 웹 브라우저를 직접 조작해서 일을 처리한다고 소개됐어요.
사람 대신 마우스를 쥐여준 셈이죠.
이틀 앞서 앤트로픽은 ‘클로드 페이블 5.1’ 과 ‘클로드 미토스 5.1’ 을 함께 내놨어요.
둘은 같은 기반에서 나왔는데 앞엣것은 코딩과 전문 지식 업무에 맞춘 범용 최고 모델이고, 뒤엣것은 안전장치 강도를 일부러 줄인 연구용이에요.
그래서 미토스는 검증된 사이버보안 전문가와 생명과학 연구기관 같은 곳에만 제한적으로 나갑니다 — 회사가 발표문에 스스로 적어둔 조건이에요. 자기 제품을 아무나 못 쓰게 한다고 적는 문장은 광고가 아니라서, 성능표보다 값어치가 있어요.
이 축이 돈이 어디서 나오는지도 갈라요.
아무나 쓰게 푼 쪽은 쓰는 양만큼 벌고, 심사를 통과한 소수에게만 내주는 쪽은 그 소수에게서 법니다.
발표문에서 ‘누구에게’ 를 찾으면 매출이 어디서 나오는지가 같이 보여요.
그럼 이게 언제 내 손에 오나요
매장과 집안이 그 선의 맨 끝이에요.
여기는 세 갈래로 갈립니다.
- 회사가 시점을 밝힌 것 — LG전자는 AI 에이전트 ‘씽큐 클로’ 를 연내 출시할 예정이라고 했어요. 기존 AI홈 허브에서 한 단계 나아간 기능이고, 카카오톡이나 텔레그램 같은 앱으로 대화할 수 있다고 합니다.
- 아직 시제품인 것 — 삼성전자의 ‘AI 프로모터’ 는 프로토타입 테스트 단계예요. 삼성전자 독일법인 최성민 프로는 유럽 출시를 염두에 두고 있다고 설명했고, 회사는 매장 등에 기업간거래 방식으로 공급하는 방안을 검토하는 중이에요. 지금은 한국어로 질문하는 기능이 없고요.
- 아무도 안 밝힌 것 — 위 두 제품의 정식 출시일과 가격은 어느 발표에도 나와 있지 않아요. 새로 공개된 모델들의 국내 이용 조건도 마찬가지고요.
가늠할 자를 하나 드릴게요.
‘연내 출시 예정’ 은 회사가 밝힌 목표지 확정된 날짜가 아니에요.
‘검토 중’ 은 아직 파는 방식조차 안 정해졌다는 뜻이고요.
이 둘을 같은 줄에 놓고 읽으면 매번 실망하게 돼요.
문제가 생겼을 때 기댈 공적 기준은 지금으로선 지키라고 강제하지 않는 자발적 틀 하나뿐이에요. 미국 NIST가 2023년 1월 26일 공개한 AI 위험관리 프레임워크가 그건데, 자발적 사용을 전제로 만들어졌고 현재 백악관 AI 액션플랜의 일환으로 개정이 진행 중이에요.
발표문에 나오는 말은 비슷하게 들리지만 정해진 정도가 전부 달라요. 왼쪽 말을 오른쪽 뜻으로 바꿔 읽으면, 지금 집으로 오는 물건 중에 날짜가 걸린 건 맨 윗줄 하나뿐이라는 게 보여요.
정리하면 지금 어디쯤 와 있나요
이 기계가 제대로 자리를 잡으면 사라지는 불편은 분명해요.
지금은 사람이 열 단계를 나눠서 시켜야 하는 일 — 자료 찾고, 표로 옮기고, 메일 쓰고 — 을 한 번 시켜놓고 결과만 받는 쪽으로 가는 중이니까요.
매장 직원 대신 물어봐 주고, 집안 가전을 메신저로 부리는 물건이 그 첫 칸이고요.
체감되는 변화 하나만 고르라면, 묻고 답하는 창구 하나였던 게 대신 손을 움직이는 물건이 된다는 점이에요.
브라우저를 직접 조작한다는 발표가 나온 게 그 신호고요.
다만 지금 와 있는 자리는 생각보다 앞이 아니에요.
얼마나 잘하는지를 재는 자는 있지만 어느 조건에서 잰 값을 내놓을지는 만든 쪽이 고르고, 사람 수준에 닿았는지 가려줄 공인된 시험은 없고, 집으로 오는 제품은 하나가 연내 목표를 밝혔을 뿐 나머지는 날짜도 값도 안 나왔어요.
자판이 다음 단어를 추천해줄 때 그걸 누를지 말지는 결국 사람이 정하잖아요.
지금 이 분야에서 숫자를 읽는 일도 딱 그 자리에 있어요.
자주 묻는 질문
Q. LLM이 무슨 뜻이에요?
A. ‘대규모 언어 모델’ 의 약자예요.
지금까지 주어진 말 뒤에 어떤 말이 올 확률이 높은지를 계산해서 하나씩 붙여나가는 프로그램이고, 그 결과로 문장이 만들어져요.
번역·요약·챗봇이 전부 이 위에 얹혀 있어요.
Q. 챗GPT랑 LLM은 다른 건가요?
A. LLM은 안에서 말을 골라 붙이는 부분이고, 챗봇은 거기에 대화창이라는 껍데기를 씌운 제품이에요.
같은 모델 위에 번역기를 씌울 수도 있고 요약기를 씌울 수도 있어요.
Q. 시험 98%면 사람보다 똑똑한 거예요?
A. 그 점수는 특정 시험 문제 묶음에서 나온 값이고, 대개 만든 회사가 발표해요.
다른 시험으로 재면 다른 값이 나오고, 같은 시험이라도 채점 장치를 바꾸면 달라져요.
실제로 추론 시험 99.9%는 회사 장치로 잰 값이고 표준 장치로는 62.7%예요.
점수 하나로 사람과 비교하기는 어려워요.
Q. AGI 시대가 왔다는 말은 사실인가요?
A. AGI를 판정하는 공인된 기준이나 시험이 없어요.
오픈AI가 자기 헌장에 적어둔 정의는 있지만 회사가 정한 정의고요.
업계 안에서도 얀 르쿤처럼 이런 모델만으로는 어렵다고 보는 쪽과 이미 왔다고 보는 쪽이 갈려 있어요.
Q. 집에서 쓰는 AI 제품은 언제 나와요?
A. LG전자는 AI 에이전트 ‘씽큐 클로’ 를 연내 출시할 예정이라고 밝혔어요.
다만 이건 회사가 제시한 목표지 확정된 날짜는 아니에요.
삼성전자의 매장용 ‘AI 프로모터’ 는 아직 시제품 단계고, 두 제품 모두 가격은 공개되지 않았어요.
참고한 글
점수의 출처 — 발표문 원문
- GPT-6 Astra 발표문 (벤치마크 표와 조건이 여기 있어요) · OpenAI
- NVIDIA Groq 3 LPX 양산 발표 · NVIDIA
그 밖의 자료
- https://www.nist.gov/itl/ai-risk-management-framework
- https://developers.google.com/machine-learning/crash-course/llm
- https://news.skhynix.com/en/ai-ecosystem-series-ep2/
- https://nvidianews.nvidia.com/news/nvidia-announces-jetson-orin-nano-2-robotics-computer-to-redefine-entry-level-edge-ai
- https://nvidianews.nvidia.com/news/nvidia-groq-3-lpx-now-in-full-production-with-world-class-speed-for-agentic-ai
- https://www.segye.com/newsView/20260904512760?OutUrl=naver
- https://www.mt.co.kr/industry/2026/09/05/2026090517475767787
- https://www.hankyung.com/article/2026090558347
- https://www.yna.co.kr/view/AKR20260905008700003?input=1195m
- https://www.g-enews.com/view.php?ud=202609051135427935fbbec65dfb_1
- https://www.boannews.com/news/articleView.html?idxno=145666
- https://biz.heraldcorp.com/article/10863474?ref=naver
태그
발행 화면의 태그 칸에 넣으세요.
`LLM, LLM뜻, 대규모언어모델, 거대언어모델, GPT6아스트라, 클로드페이블, AGI뜻, AI에이전트, 에이전틱AI, 씽큐클로, AI프로모터, AI벤치마크`