목표가 충돌할 때, 승자가 아닌 프런티어(frontier)를 선택해야 합니다 — 파레토(Pareto) 관점

속도와 정확도, 품질과 비용 — 목표가 충돌할 때, "어느 것이 더 나은가"에 대한 답은 없습니다. 오직 프런티어(frontier)만이 존재할 뿐입니다.

해야 할 일은 세 가지입니다. 지배된 옵션(dominated options, 모든 목표에서 다른 무언가에게 패배하는 지점들)을 제거한 다음, 남은 프런티어 중에서 **제품에 필요한 운영 지점(operating point)**을 선택하십시오. 벤치마크의 총점(aggregate score)이 아니라, 실제로 사용자에게 도달하는 축 위에서 어디에 위치할지를 결정해야 합니다.

이러한 관점은 개선 사항을 제외할 때도 유용합니다. 만약 저렴한 파라미터 조정(parameter tweak)이 모든 축에서 값비싼 개선 사항보다 우수하다면, 그 개선 사항은 아무것도 추가하지 않은 것과 같습니다.

"어떤 모델이 더 나은가?" "어떤 설정이 승리하는가?" 이 질문들은 자연스러워 보입니다. 하지만 목표가 충돌할 때, 이 질문은 핵심을 놓치고 있습니다. 속도와 정확도, 품질과 비용 — 하나를 취하는 것이 다른 하나를 잃는 것을 의미할 때, "어느 것이 더 나은가"에 대한 답은 없습니다. 오직 **프런티어(frontier)**만이 존재합니다.

범위 전반에 걸친 Sweep을 통해 점들의 구름(cloud of points)을 얻었다면, 다음 단계는 여러 목표에 대해 그 구름을 동시에 읽어내는 것입니다. 바로 그 지점에서 파레토(Pareto) 관점이 필요합니다.

승자가 없을 때

모델을 선택하는 경우를 예로 들어보겠습니다. 더 큰 모델은 더 높은 품질을 제공하지만, 비용도 그에 맞춰 급증합니다. 그리고 속도는 어떨까요? Part 3의 세 모델을 다시 나열해 보겠습니다. 이번에는 비용을 함께 포함하여 나열하겠습니다.

품질을 비용에 대해 도식화하면 세 가지 요소 사이의 관계가 명확해집니다.

Scatter plot of model quality vs cost: none of the three points, Small, Mid and Large, loses to another across the board, so all of them sit on the frontier

그림 1: 품질 × 비용 프런티어 (quality × cost frontier). Small, Mid, Large 세 지점 중 어느 것도 모든 면에서 다른 지점에 뒤처지지 않으므로, 세 지점 모두 프런티어 (frontier) 위에 위치합니다. 이것이 바로 "어느 것이 가장 좋은가"라는 질문에 답이 없는 이유입니다. 당신이 선택하는 것은 승자가 아니라, 하나의 운영 지점 (operating point)입니다.

저에게 무엇이 가장 좋냐고 물으신다면 저는 대답할 수 없습니다. Large는 품질 면에서 승리하지만 (+3.4pt), Mid는 Large보다 빠르며 비용은 절반입니다. Mid는 Small보다 훨씬 높은 품질을 보여주지만, 비용은 5배입니다. 이들 중 어느 것도 모든 면에서 다른 모델에 뒤처지지 않습니다. 세 모델 모두 "프런티어 (frontier) 상"에 있습니다.

프런티어 (frontier)란 모든 면에서 다른 어떤 지점에게도 뒤처지지 않는 지점들의 집합을 의미합니다. 반대로, 프런티어 내부의 옵션들 — 즉, Mid보다 느리고, 품질은 더 낮으며, 비용은 더 비싼 것들 — 은 도태될 수 있습니다. 왜냐하면 아무도 그것들을 선택할 이유가 없기 때문입니다.

결정은 결코 "승자를 고르는 것"이 아니었습니다. 그것은 프런티어 (frontier) 위에서 나만의 운영 지점 (operating point) — 즉, 어디에 위치할 것인가 — 을 정하는 것이었습니다. 저는 Mid(품질, 속도, 비용의 가장 좋은 균형)를 선택했습니다. 품질이 최우선이라면 Large를, 비용이 최우선이라면 Small를 선택하면 됩니다. 제품이 무엇을 필요로 하는가가 당신이 어디에 위치할지를 결정합니다.

때로는 "천장"이 아니라 "바닥"을 기준으로 운영 지점을 정하기도 합니다

상충하는 목표에 대한 또 다른 예시입니다. 모델의 가중치를 압축 (양자화, quantize)하는 데는 두 가지 방법이 있습니다. 25개의 까다로운 사례를 대상으로, 각 방법이 최고의 번역을 생성한 횟수와 최악의 번역을 생성한 횟수를 집계했습니다 (나머지는 중간 수준이었습니다).

• 방법 A: 최상위 순위 6회 / 최하위 순위 16회 (성공하면 최고이지만, 실패하면 최악입니다 — 변동성이 큽니다)
• 방법 B: 최상위 순위 3회 / 최하위 순위 6회 (크게 승리하지는 못하지만, 결코 무너지지도 않습니다)

"어느 것이 더 나은가" — 여기서도 답은 제품에 따라 달라집니다. A는 더 높은 **천장 (ceiling)**을 가졌고, B는 더 높은 **바닥 (floor)**을 가졌습니다. 자막 번역에서는 단 한 번의 결정적인 오류가 몰입감을 망쳐버립니다. 그래서 저는 천장을 포기하고 **바닥 (Method B)**을 선택했습니다. 이 제품의 경우, 최악의 상황을 피하는 것이 최고의 번역에 도달하는 것보다 더 가치 있습니다.

천장인가 바닥인가 — 그것은 프런티어 (frontier) 상의 동작점 (operating point)을 선택하는 문제이며, "어느 것이 더 우월한가"라는 질문은 애초에 의미가 없습니다.

(지난번의 스위트 스팟 (sweet spot) — 해상도 736, "정확도 -1.3pt, 지연 시간 절반" — 역시 정확도 × 속도 프런티어 상의 하나의 점입니다. Sweep은 점들의 구름을 생성하고, Pareto는 그 프런티어를 읽어냅니다. Sweeping과 프런티어를 읽는 것은 동전의 양면과 같습니다.)

프런티어는 가짜 개선을 드러냅니다

Pareto에는 한 가지 용도가 더 있습니다. 바로 주장을 무력화하는 것입니다.

한때 재학습된 모델이 "개선된" 것처럼 보인 적이 있었습니다. 하지만 제가 대조군(control) — 임계값(threshold) 하나만 변경한 기존 모델 — 과 나란히 비교했을 때, 그 대조군이 모든 축에서 재학습된 버전을 이겼습니다 (즉, Pareto-dominance 했습니다).

이것이 의미하는 바는 다음과 같습니다. 단순히 파라미터(parameter) 조정만으로 만들 수 있는 옵션이 당신의 값비싼 변경 사항을 전방위적으로 압도한다면, 그 변경 사항은 아무것도 추가하지 않은 것입니다. 개선된 것처럼 보였던 것은 변경 사항과는 전혀 상관없는 다른 요인 — 교란 변수 (confound) — 의 효과였습니다. 이것이 프런티어가 거짓된 진보를 거부하는 방식입니다.

교훈

1. 목표가 충돌할 때, "어느 것이 더 나은가"는 잘못된 질문입니다. 승자는 없습니다. 오직 프런티어 (frontier)만이 존재할 뿐입니다. 모든 목표에서 다른 무언가에게 패배하는 지점(지배되는 옵션, dominated options)들을 먼저 제거하는 것부터 시작하십시오.
2. 제품이 무엇을 필요로 하는지에 따라 운영 지점 (operating point)을 선택하십시오. 천장(ceiling)인가 바닥(floor)인가, 품질인가 비용인가. 벤치마크의 종합 점수가 아니라, 실제로 사용자에게 도달하는 축 위에서 어디에 위치할지를 결정하십시오.
3. 저렴한 제어 방식이 파레토 우위 (Pareto-dominates)를 점한다면, 그 개선은 아무것도 아닙니다. 단순한 파라미터 조정 (parameter tweak)이 당신의 값비싼 변화를 모든 면에서 압도한다면, 그 변화는 아무것도 추가하지 않은 것입니다.

제가 이 작업 — 표면을 훑으며 프런티어를 읽어내는 것 — 을 할 수 있는 유일한 이유는 harness가 다축 측정 (multi-axis measurement)을 저렴하게 만들어 주었기 때문입니다. 단일 지점을 측정하는 것조차 버거웠던 시절에는, 프런티어를 그린다는 생각조차 해본 적이 없습니다.

부록: 원시 데이터 (raw data)