AI TOPS란: 그래픽카드 AI 성능 숫자를 볼 때 주의할 점

RTX 50 시리즈 발표 이후 그래픽카드 스펙표에는 AI TOPS라는 숫자가 크게 적혀 있습니다. AI PC 광고에도 NPU 40 TOPS 같은 표현이 나옵니다. 이 숫자가 무엇을 뜻하고, 어디까지 믿고 비교할 수 있는지 정리했습니다.

TOPS의 뜻

TOPS는 Tera Operations Per Second의 줄임말로, 1초에 1조 번 단위로 연산을 할 수 있다는 뜻입니다. 1,000 TOPS라면 이론상 1초에 1,000조 번의 연산을 처리할 수 있다는 의미입니다. 그래픽카드에서 AI TOPS는 주로 텐서 코어의 AI 연산 성능을 나타냅니다.

RTX 50 시리즈 AI TOPS

엔비디아 발표 사양 기준이며, 이 수치는 FP4라는 낮은 정밀도 연산을 기준으로 계산된 값입니다.

비교할 때 조심할 점

연산 정밀도가 다르면 비교가 어렵다

AI 연산은 FP16, FP8, FP4처럼 숫자를 몇 비트로 표현하느냐에 따라 속도가 크게 달라집니다. 비트 수가 적을수록 같은 칩에서 더 높은 TOPS가 나옵니다. RTX 50 시리즈는 FP4를 지원해 수치가 크게 올라갔기 때문에, FP4를 지원하지 않는 이전 세대와 숫자만 비교하면 실제보다 차이가 커 보일 수 있습니다.

다른 회사 제품끼리는 기준이 다를 수 있다

NPU의 TOPS와 GPU의 AI TOPS는 측정 조건이 같다는 보장이 없습니다. 대략적인 규모를 파악하는 정도로 쓰고, 정확한 비교는 실제 작업 성능으로 하는 것이 안전합니다. NPU와 GPU의 차이는 AI PC의 NPU와 GPU 차이에서 다뤘습니다.

TOPS가 높아도 VRAM이 부족하면 소용없다

로컬 AI 작업에서는 모델이 VRAM에 다 들어가는지가 먼저입니다. TOPS가 높아도 모델이 VRAM보다 크면 제대로 실행되지 않습니다. VRAM 계산 방법을 먼저 확인하세요.

정리

AI TOPS는 같은 세대 제품의 AI 성능 서열을 가늠하는 데 유용한 숫자입니다. 세대나 회사가 다르면 기준을 먼저 확인하고, 실제 선택은 VRAM 용량과 쓰려는 프로그램의 지원 여부까지 함께 보고 하는 것이 좋습니다. 텐서 코어의 역할은 텐서 코어와 RT 코어란에서 볼 수 있습니다.