Video: AI 시대, 데이터를 왜 비행기로 이동할까? | 대역폭과 지연시간의 역설
Channel: 안될공학 - IT 테크 신기술
Duration: 13m 25s
Source: subtitle (auto, ko)
Transcript:
여러분 안녕하세요. 패치입니다. 제가 최근에 SNS에서 재밌는 글을 하나 봤거든요. 유럽에 있는 데이터 65TB를 한국으로 가장 빨리 옮기는 방법이 뭘까요? 네, 그 정답은 인터넷이 아니라 비행기라고 합니다. 저도 처음에는 그냥 우쩌고 하는 말인 줄 알았거든요. 요즘 인터넷이 얼마나 빨라요? 관케이블은 빛을 이용하고 데이터 센터에는 400GB, 800GB 네트워크까지 들어가죠. 그런데 댓글을 읽어 보니까 실제로이 일을 업으로 하는 사람들이 진지하게 말하고 있는 거예요. 맞다. 상황에 따라서는 비행기가 답이다라고 말이에요. 이게 농담이 아니에요. 실제 현장에서는 데이터의 양이랑 쓸 수 있는 훼선, 비용, 마감 시간을 다 따져 봤을 때 저장 장치를 항공편으로 보내는 편이 더 빠르고 저렴할 수 있다고 합니다. 물론 보내는 쪽과 받는 쪽 양쪽에 전용 100GBS 회선이 이미 깔려 있고 그 속도를 끝까지 받쳐 줄 저장 장치랑 서버까지 준비가 되어 있다면 인터넷이 이길 수 있겠죠? 이거는 비행기가 언제나 인터넷보다 빠르다라는 뜻은 아닌데요.

그러니까 제가 여기서 묻고 싶은 진짜 질문은 이거예요. 빚보다 훨씬 느린 비행기가 대체 어떤 조건에서 어떻게 인터넷보다 빠른 해답이 될 수 있을까요? 오늘은이 역설를 따라가면서 인터넷의 속도와 TCP, 저장 장치, 클라우드, 그리고 AI 시대의 데이터 물류까지 한번 이야기해 보도록 하겠습니다. 여러분, 우리가 인터넷이 빠르다 느리다라는 말을 할 때는 이거를 하나의 뜻처럼 사용을 하죠. 하지만 네트워크 공학에서는 적어도 두 가지를 구분을 해야 하는데요. 첫 번째는 레이턴시, 그러니까 지연 시간입니다. 데이터를 보낸 뒤에 첫 반응에 도착하기까지 얼마나 걸리는지를 뜻하는데요. 그리고 두 번째는 밴드위스 대어폭입니다. 1초 동안 얼마나 많은 데이터를 계속 옮길 수 있을지를 뜻하는 거예요. 이거를 물류로 비유를 해 볼게요. 급한 서류 한 장을 퀵서비스 오토바이로 보내게 되면 몇 시간 만에 도착을 하겠죠. 어, 이거는 지연 시간이 짧아요. 하지만 오토바이 한 대가 한 번에 실을 수 있는 양은 얼마 되지 않겠죠? 반대로 컨테이너선는 어떨까요?

짐을 씻고 한구를 떠나서 목적지에 닿기까지 며칠, 길게는 몇 주가 걸립니다. 지연 시간이 아주 길어요. 대신 한 번에 컨테이너를 수씩 옮기겠죠. 그러면 첫 짐이 도착하는 시간은 오토바이보다 한참 뒤지만 옮길 수 있는 총량은 비교가 되지 않습니다. 인터넷은 첫 번째 패키이 수십에서 수백m에 도착을 해요. 지구 반대편이라고 해도 1초 안쪽으로 도착을 하는 거죠. 반면에 비행기는 하루 가까이 걸릴 수가 있습니다. 지연 시간만 보면 인터넷에 앞승이에요. 하지만 수십테바나 수페타바이트를 한 번에 옮기는 순간 이야기는 좀 달라집니다. 이때 중요한 거는 첫 비트가 언제 도착하느냐보다 전체 데이터의 마지막 비트가 언제 도착하느냐이기 때문인데요. 그러면 65TB는 비트로 바꾸면 약 520비죠. 이론상 전송 시간을 한번 계산을 해 볼게요. 1GBS 회선을 100% 활용을 하면 약 6일. 그리고 10GBS라면 약 14시간 30분. 100GBS라면 약 1시간 26분 정도 걸리네요. 여기까지만 보면 100기가 회선이면 비행기보다 훨씬 빠르네라고 생각을 할 수도 있습니다.

맞아요. 다만 100GBS라는 숫자가 파일의 출발지부터 목적지까지 그대로 보장이 돼야 된다는 전제가 붙는 거죠. 데이터 센터 스위치에 400GB나 800GB 포트가 있다고 해서 유럽의 서버에서 한국의 서버까지 내 파일이 그 속도를 독점을 하는 거는 아니에요. 중간 사업자의 훼선, 국제 구간, 혼잡, 정책, 암호화 처리 그리고 파일 시스템, 또 양쪽 저장 장치에 읽기랑 쓰기 성능이 모두 받쳐 줘야 합니다. 100GBS는 초당 11.5GB인데요. 5GB인데요. 일반적인 하드디스크 한계는이 속도를 따라갈 수가 없어요. 여러 드라이브를 병렬로 묶거나 아니면 고성능 SSD 어레이가 필요한데요. 그러니까 네트워크가 넓어도 창고의 출입문이 좁으면 화물을 꺼내지도 쌓지도 못하는 셈이겠죠. 그래서 대용량 전송의 실제 병목은 회선 하나가 아니고요. 출발지 스토리지, 서버 메모리, CPU, 네트워크 인터페이스, 국제망, 목적지 스토리지가 다 연결이 된 하나의 시스템 전체입니다. 참고로이 원리를 끝까지 따라가면 뒤에서 인류 최초의 블랙홀 사진이 왜 인터넷이 아니라 하드디스크로 옮겨졌는지까지 자연스럽게 이해가 되실 거예요.

여기에서 인터넷 전송을 설명을 할 때 자주 나오는 오해가 하나 있는데요. TCP가 데이터를 하나 보내고 잘 받았어라는 답이 올 때까지 완전히 멈춰 있는 것으로 종종 설명이 되곤 하거든요. 그런데 TCP는 그렇게 단순하지가 않습니다. TCP는 여러 패킷을 연속해서 보내 놓고 수신측의 확인 응답인 에크를 받습니다. 고속도에 자동차 한 대만 출발시키는 것이 아니라 여러 대를 일정 간격으로 계속 보내는 방식인데요.이 구조를 우리는 슬라이딩 윈도우라고 부릅니다. 문제는 멀리 떨어진 고속 회선일수록 도로 위에 훨씬 많은 차를 동시에 올려 놓어야 한다는 것이에요. 예를 들어서 100GBS 회선의 왕복 지연 시간이 100m라고 해 보겠습니다. 0.1초 동안 회선이 옮길 수 있는 데이터는 10GB 바이트로는 1.25GB입니다. 그러니까 100GBS를 유지를 하려면 응갑이 돌아오기 전에도 약 1.25GB바의 데이터가 네트워크 안에서 계속 이동을 하고 있어야 한다는 말이죠.이 이 양을 밴드 del레이 줄여서 BDP라고 합니다.

대역 폭에다가 지연 시간을 곱해서 파이프를 가득 채우는데 필요한 데이터의 양을 구하는 거예요. 송신 윈도우랑 수신 버퍼가 이거보다 작거나 아니면 중간에 패실이 반복이 되거나 혼잡 제어가 전속량을 줄이게 되면 100GBS 회선도 제대로 활용을 하지 못해요. 현대 TCP에는 윈도우 스케일링이랑 다양한 혼잡 제어 알고리즘이 있고 병렬 전송이나 전용 가속 솔루션으로이를 개선할 수도 있습니다. 그래도 핵심은 같아요. 회선의 숫자만 키운다고 자동으로 같은 속도의 파일 전송이 완성되는 건 아니거든요. 빈 파이프를 데이터로 가득 채우고 그 흐름을 안정적으로 유지를 해야 하는 거죠. 자, 그러면 이제 처음 질문으로 돌아가서요. 비행기는 공항까지 가야 하고 합승 수속이랑 운송 통관을 거쳐야 합니다. 목적지에 도착한 뒤에는 다시 저장 장치를 서버에 연결을 해서 복사를 해야겠죠. 지연 시간은 매우 길 거예요. 하지만 비행기는 데이터를 패키로 조금씩 흘려보내진 않습니다. 저장 장치에 거대한 덩어리로 담아서 한 번에 옮기는 거죠.

인터넷이 연속적인 흐름이라면 비행기는 거대한 배치 전송입니다. 20T바짜리 하드디스크 50개면 1패타바이트거든요.이 정도는 사람 한 명이 들고 타기는 어렵지만 작은 화물 단위로 충분히 운송을 할 수 있어요. 1 페타바이트를 포장부터 도착까지 24시간에 운반을 했다고 가정을 해 볼게요. 이거를 평균 전속률로 환산을 하면 약 93bps입니다. 비행기가 빚보다 빨라진게 아니에요. 한 번에 신는 데이터의 양이 워낙 커서 출발부터 도착까지의 전체 시간을 나눠서 계산한 평균 대역 폭이 100GB급 네트워크에 가까워진 것이죠. 저장 장치를 팔레트나 차량 단위로 늘리면 평균 대역 복은 더 커지게 되는데요. 반면에 지연 시간은 여전히 하루입니다. 그래서이 방식은 화상회의나 온라인 게임처럼 즉시 반응해야 하는 데이터에는 쓸 수 없어요. 하지만 백업이라든가 데이터 센터 이전 대규모 영상 원본 과학 간측 자료처럼 지금 당장 첫 바이트보다 전체를 며칠 안에 안전하게 옮기는 것이 중요한 작업에는 매우 강력하겠죠.이 이 원리를 압축해서 보여주는 컴퓨터 공학의 유명한 문장이 있는데요.

never underestimate the bandwidth of a station full of tapes hurtling down the highway. 그러니까 고속도로를 질주하는 테이프를 가득실은 승합차의 대역폭을 절대 [음악] 보지 마라라는 이야기입니다. 네. 유명한 앤주 타는바음이 한 말이에요. 네트워크 교과서에 실린이 문장은 원래 자기 테이프를 차에 가득 싣고 이동을 하면 느린 네트워크보다 큰 대역 복을 얻을 수 있다는 농담이었습니다. 그런데 저장 밀도는 계속 높아져 갖고이 농담은 오히려 농담보다는 더 현실적인 말이 돼 버렸어요. 테이프랑 하드디스크 SSD 한상자에 들어가는 데이터가 네트워크 속도보다 더 빠르게 늘어난 시기가 반복이 됐기 때문이에요.이 이 아이디어를 실제 서비스로 만든 대표적인 사례가 AWS 스노우볼입니다. 고객에게 암호화된 대용량 장비를 보내고요. 고객이 데이터를 복사한 뒤에 다시 AWS 쪽으로 배송을 하는 방식인데요. 다만 현재 AWS 스노우볼 엣지는 신규 고객에게 제공되진 않습니다.

AWS는 신규 고객에게 온라인 전송 서비스랑 함께 저장 장치를 직접 가져가서 고속으로 업로드하는 AWS 데이터 트랜스퍼 터미널 또는 파트너의 물리 전송 솔루션을 안내를 하고 있습니다.이 변화도 흥미로운데요. 물리 운송이 사라진게 아니라 장비를 택배로 주고받는 방식에서 고객이 저장 장치를 고속 업로드 거점으로 가져가던 방식까지 선택지가 이렇게 세 분화가 된 거예요. 그리고 마이크로소프트에는 애ure 데이터박스가 있는데요. 수십에서 수백바의 데이터를 옮길 수 있는 장비를 보내고 고객이 데이터를 담아서 다시 반송을 합니다. 구글 클라우드의 트랜스퍼 어플리안스도 고용량 저장 장치의 데이터를 복사를 한 뒤에 구글의 업로드 시설로 안전하게 배송을 하는 구조예요.이 서비스들이 단순히 택배가 인터넷보다 빠르다는 계산만으로 존재하는 건 아니고요. 데이터가 며칠 동안 네트워크를 점유하는 비용, 전송 중에 실패랑 재시작할 가능성, 클라우드 회선 비용이랑 담당자의 운영 시간, 보안이랑 무결성 검증까지 모두 계산을 한 거겠죠.

물리 운송에서는 장치를 암호화하고 포장이랑 인수인계를 관리를 하고 도착 뒤에 체크섬으로 데이터가 손상되지 않았는지를 확인을 해야 해요. 네트워크의 문제가 사라지는 대신에 물류랑 보완이라는 새로운 문제를 해결하는 것이에요. 그러니까 클라우드 회사가 물류 회사가 된 것이 아니라 대용량 데이터 이동이라는 문제를 풀기 위해서 네트워크랑 저장 장치 물류를 다 하나의 시스템으로 묶은 것입니다.이 이 방식이 가장 극적으로 드러난 사례가 이벤트 호라이즘 망원경 eht인데요. eh는 세계 여러 지역의 전파 만원경을 동시에 사용을 해서 지구 크기의 가상 망원경을 만듭니다. 각각의 관측소는 초고속으로 쏟아지는 신호를 하드디스크에 기록을 했는데요. 2019년에 공개된 인류 최초의 블랙홀 이미지를 만들 때도 관측가 생성한 방대한 데이터를 인터넷으로 모두 모은 건 아니에요. 하드디스크를 미국이랑 독일의 상관 처리 시설로 물리적으로 운반을 해서 분석을 했죠. eh의 공식 자료에 따르면 관측소 한 곳이 하루에 약 350T바를 기록을 했고요.

2019년 이미지의 원본이 된 2017년 관측만으로도 전체 원시 데이터가 약 3.5바트에 달했습니다. 이후 캠페인에서는 관측소가 늘면서 데이터가 그 두 배 규모로 불어났고요. 전판은 우주에서 지구까지 빛의 속도로 왔지만 그 관측 결과가 연구소에 모이는 마지막 구간은 비행기가 담당을 했답니다.이 이 장면은 데이터 이동의 본질을 잘 보여 주는데요. 통신 속도만 빠르다고 끝나는 것이 아니라 센서가 만들어내는 데이터의 양이랑 저장, 운송, 처리 능력이 함께 균형을 이루어야 돼요. 이제이 이야기를 AI로 가져와 볼게요. GPU는 빨라지고 있죠? 데이터 센터 네트워크도 400기와 800GB로 발전을 하고 있습니다. 그런데 네트워크의 발전만으로 데이터 이동 문제가 끝나진 않아요. 왜냐하면 AI 시대에 이동하는 건 텍스트 파일 몇 개가 아니거든요. 자율주행 차량에 수집한 영상, 공장의 센서 로그 위성 이미지, 의료 영상, 학습용 원시 데이터, 모델 체크포인트처럼 크고 무거운 데이터들이 계속 만들어집니다. 그리고 데이터에는 중력이 있어요.

데이터가 수페터바이트로 커지게 되면 애플리케이션을 데이터가 있는 곳으로 옮기는 편이 데이터를 애플리케이션으로 가져오는 것보다 더 유리해질 수가 있습니다. 그래서 AI 인프라는 단순히 GPU를 많이 사는 문제가 아니에요. 데이터가 어디에서 생기고 어디에 저장이 되며 어떤 네트워크를 타고 어느 시점에 GPU 가까이에 도착할지를 잘 설계를 해야 하는 거예요. 실시간 추론에 필요한 데이터는 낮은 지연 시간으로 흘려 보내야 하고요. 반면에 수개월치 학습 데이터나 배업은 배치로 옮기는 편이 더 경제적일 수가 있습니다. 모든 데이터를 가장 비싼 초고속 회선으로 보낼 이유도 없고 모든 데이터를 하드디스크로 배송을 할 수도 없는 거예요. 결국 중요한 것은 인터넷이랑 비행기 중에 하나를 선택하는게 아니겠죠. 데이터의 성격에 따라서 광통신, 전용망, 캐시, 압축, 데이터 센터 배치, 물리 운송을 조합을 하는 겁니다. 이것이 바로 데이터 물류예요. 물류에서 상품의 크기랑 납기, 보관 조건에 따라서 배화 비행기, 트럭을 적절히 섞어서 쓰듯이 데이터도 중요도랑 시급성, 비용에 따라서 서로 다른 길을 선택을 해야 합니다.

처음에 이런 질문을 드렸죠. 65바를 유럽에서 한국으로 가장 빨리 가져오는 방법은 무엇일까요? 조건에 따라서 그 답은 인터넷이 아니라 비행기일 수도 있죠. 물론 빛보다 빠른 건 없습니다. 하지만 빛으로 보내는 방식이 언제나 가장 빠른 해답인 것은 아니겠죠. 공학은 가장 빠른 기술 하나를 고르는게 아니라 현실의 모든 제약을 연결을 해서 가장 좋은 시스템을 만드는 일이니까요. 그럼 오늘은 여기까지 안들공학 패치였습니다. 입니다.