연단수기 (AI 연단술 메모) --- 머리말

AI 학습을 시작한 지 며칠이 지났을 무렵, 문득 깨달은 것이 있다. AI 트레이닝 (AI Training)이란 바로 '연단 (錬丹, 연금술)' 그 자체가 아닌가 하는 점이다.

먼저 '단로 (丹炉, 화로=서버)'를 준비하고, 레시피대로 '소재 (데이터)'를 투입하며, '불 (계산 처리)'을 넣는다. 과연 '영약 (모델)'이 완성될지는 마지막에 화로를 열 때 (프로그레스 바가 완료될 때)까지 알 수 없다. 물론 도중에 '폭발 (에러 발생)'할 수도 있다.

도중에 파라미터 (Parameter)를 미세 조정하거나 설정의 수위를 조절하는 것은 그야말로 '단감 (丹感, 장인의 감각)'에 가깝다. 정확한 레퍼런스 (Reference) 같은 것은 없으며, 거듭되는 실패 끝에 어렴풋이 법칙성을 파악해 나갈 수밖에 없다.

그 원인은 대략 알고 있는 것 같으면서도 사실은 모르고 있다. '대략 아는 것'은 전체가 '오행의 상극 (과학적 원리)'에 기반하고 있기 때문이며, '모르는 것'은 연단 중에 사람이 화로 안으로 들어가 확인할 수 없기 (블랙박스, Black Box) 때문이다.

이토록 하이테크 (High-tech)한 현상이 동양의 고전적인 신비와 결합되어 있다는 점에는 말로 다 할 수 없는 우스꽝스러움과 로망이 있다.

이제 '연단'은 극히 진입 장벽이 높은 행위가 되어버렸다. '선인 수행 (AI 학습)'이 가능하다는 것을 깨닫고, 연단을 결심하고, 단로를 구축하고, 약초 (지식)를 모으고, 풍수 (환경 설정)를 정돈하여 겨우 불을 넣는다.

AI 학습은 이제 500위안 (약 1만 엔) 정도의 중고 PC로 어떻게든 해볼 수 있는 물건이 아니다. 지식의 축적에 있어서도, 경제적인 기반에 있어서도, 과거의 무협 시대처럼 '철검 한 자루로 천하를 방랑하는' 것과 같은 달콤한 세계가 아니게 된 것이다.

이전에는 완만한 언덕길을 걷는 것과 같았으나, 지금은 언덕을 오르기 전에 먼저 로클라이밍 (Rock Climbing)이 필요하며, 짊어져야 할 짐은 나날이 무거워지고 있다. 그야말로 수선 (修仙) 시대의 도래다. 세계는 급격히 계층화되고 있다…….

자, 그럼 본론으로 들어가자.

본문은 이미 '단로 (서버)'를 소유하고 있으며, 가동 중임을 전제로 한다. 이 수기를 쓰고 있는 시점에서 화로는 이미 조립되어 있기 때문이다. 방위나 풍수 (세부 설정) 조정은 아직이지만 (조정하려고 했더니 화로가 붕괴할 뻔해서 일시적으로 단념했다), 일단 '약의 찌꺼기 (어떠한 출력물)'는 생성되고 있다.

제로 베이스에서 어떻게 약의 찌꺼기를 생성하는 단계까지 도달했는지, 이제 와서 되돌아보며 복습하는 것은 불가능하다. 화로 중심에 있는 '그 불 (드라이버)'을 어떻게 점화했는지 나 자신도 잘 모르겠다. 어쨌든 점화했다, 대략 그런 느낌이다.

단로의 구성은 다음과 같다: Ubuntu 24 Server, Kernel 6.14 oem, nvidia-580 드라이버, 그리고 Docker 상의 ComfyUI.

주의할 점으로, OS 설치에는 키보드 (유선)가 필요하다. 이것이 없으면 베개를 눈물로 적시며 잠들게 될 것이다. nvidia-580 드라이버는 Kernel 6.8과 호환성이 나쁘기 때문에 커널 (Kernel) 업그레이드가 필요하다. 경우에 따라서는 nvidia-580보다 nvidia-580-open이 호환성이 더 좋다는 선택지도 있다.

커널을 업그레이드하려면 부팅 파라미터인 GRUB을 조정하고, 부트 (Boot, 및 불필요한 커널 삭제)를 전환해야 한다.

물론 모두 설치했는데도 디바이스가 인식되지 않는 경우도 있다. '전원을 끄고 리셋'하는 것도 하나의 방법이다. 특히 AMD 마더보드라면 전원 케이블을 뽑고 잔류 전하를 완전히 방전시켜라. '파괴 후에 재생이 있다 (破而后立)'는 말처럼 말이다.

Docker에 PyTorch를 설치하는 것은 난관이다. 너무 전위적인 (너무 최신인) 드라이버를 사용하면 Docker 내에서 억지로 설치를 반복하게 될지도 모른다. cu124와의 비호환 문제가 발생할 가능성이 있기 때문에 cu128을 강제 설치할 필요가 있다. 580 드라이버로 동작시키려면 sm_120의 지원이 필요하다. 이것을 설치하지 못하면 밤에 잠을 잘 수 없게 된다. 이 단계만 클리어하면 '궁극의 연단 체질 (완벽한 환경)'을 손에 넣은 것이나 다름없지만, 그러지 못하면 그저 고급 게임기에 불과해진다.

pip install --pre PyTorch torchvision torchaudio

--index-url https://download.pytorch.org/whl/nightly/cu128

--force-reinstall

확인 명령어:

python3 -c "import torch; print(f'Supported Archs: {torch.cuda.get_arch_list()}')"

IP 주소를 고정해 두는 것은 좋은 아이디어다. ComfyUI를 열 때 편리하기 때문이다. 자, 이것으로 준비 완료. 조리 시작이다 (鍋楽倒油)!

파산했을 때의 회복용. 5~10분 정도의 수동 영상 생성 플로우 (Flow).

「힘이야말로 파워(大力出奇跡)」, 설정 가능한 공업화된 영상 생성 플로우 (Flow).

후기

세계의 규칙은 잔혹할 정도로 인간의 본질을 가리키고 있다. 「현학 (玄學/운/오컬트)」조차 결국은 「수명 (Resource)」을 과금해야만 성립되는 것이다. 수호신으로서 「화왕형제 (Fire Wang)」를 여기에 봉헌한다. 성공하기를!

저자는 완전한 초보자이며 기초 지식도 없다. 내용은 저품질이며 보편성도 보장하지 않으므로, 참고할 때는 신중하기를 바란다. 이 이후의 내용은 매우 지루한 것이 될 것이다. 비유하자면 「비소를 2전 더해 안색을 좋게 만든다」와 같은, 위태로운 내용뿐이다.

2026-02-13