비록 이러한 수치가 훈련 효율성 향상과 직접적으로 연결될지는 미지수이지만(공개 데이터로는 추론이 어려움), 추론 효율성 측면에서 알고리즘 분야의 엄청난 발전 가능성과 진행 현황을 명확히 보여줍니다.

 

​

 

이 글에서는 알고리즘 발전을 두 유형으로 구분하겠습니다. 여기서는 먼저, "패러다임 내(within-paradigm) 개선“을 다루겠습니다. 이는 단순히 더 우수한 기본 모델을 만드는 것으로, 연산 효율성 향상이나 연산 증폭 효과(compute multiplirer)로 직결됩니다. 예를 들어, 개선된 알고리즘은 동일한 성능을 유지하면서도 훈련 시 필요한 계산량을 10분의 1로 줄일 수 있습니다. 이는 효과적인 계산력이 10배(1 OOM) 증가한 것과 동일하죠.

 

​

 

(후반부에는 "언호블링(unhobbling)"을 다룰 텐데, 이는 기본 모델의 잠재력을 해제하는 패러다임 확장/응용 분야 확장(paradigm-expanding/application-expanding)형 알고리즘 발전으로 이해하면 됩니다.)

 

​

 

장기적인 추세를 살펴보면, 알고리즘 개선은 꾸준한 속도로 발견되고 있습니다. 개별 기술 개발은 불규칙해 보이고 매번 극복 불가한 장벽처럼 느껴지지만, 장기 추세선은 예측 가능합니다. 그래프 상의 직선처럼 말이죠. 이 추세선을 믿어야 합니다.

 

​

 

이미지넷(ImageNet) 사례가 가장 잘 알려져 있는데요, 2012년부터 2021년까지 9년간 알고리즘 연구(대부분 공개됨)를 통해 계산 효율성이 연간 약 0.5 OOM(약 3배)씩 꾸준히 향상되었습니다.