【PyTorch 구현】 절연 변압기 및 포토커플(OE/EO) 기반 아이솔레이션 어텐션

k와 빛 결합을 통한 오염 방지 ─

─ 결합 계수 ## 1. 서론: GND 직결된 어텐션에 대한 의문

표준 Transformer의 Scaled Dot-Product Attention에서는 입력과 출력, 또는 제어 토큰과 일반 토큰이 동일한 계산 공간에서 '완전 연결(Full Connection)'하고 있습니다.

전자 회로로 비유하자면, 이는 **'모든 모듈이 공통 그라운드(GND)에 무방비하게 직결된 상태'**입니다. 1차 측(사용자 입력이나 외부 컨텍스트)에서 발생한 프롬프트 인젝션이나 사실의 붕괴(스파이크 노이즈)는, 공통 GND를 타고 2차 측(생성/제어부)으로 직접 전파되어 모델 전체를 오염(Contamination)시켜 버립니다.

본 기사에서는 고주파 회로에서의 절연 변압기(Galvanic Isolation) 및 **포토커플(OE/EO: 광결합 변환)**의 물리적 메커니즘을 계산 그래프화하고, 노이즈의 직접 전파를 물리적으로 차단하는 PyTorch 모듈 IsolatedTransformerAttention

을 구현하고 해설합니다.

2. 물리 모델과 PyTorch 구조의 대응

k와 상호 인덕턴스 M (변압기 결합)

① 결합 계수: 1차 코일(Query/Input 측)과 2차 코일(Key-Value/Generation 측)을 직결하지 않고, 결합 계수

② 포토커플(OE/EO 변환)에 의한 전기적 차단

신호를 한 번 '비음의 광 강도(LED 발광)'로 변환하고, 공간(병목 현상)을 거쳐 수광(포토트랜지스터) 측에서 복원합니다. 이를 통해 음의 공통 모드 노이즈나 오프셋(직류 스파이크)을 전기적으로 완전히 차단(Floating)할 수 있습니다.

3. PyTorch 완전 구현 코드

import torch
import torch.nn as nn
import torch.nn.functional as F
...

4. 코드의 핵심 포인트 해설

① OptocouplerLayer를 이용한 광결합과 노이즈 차단

light_intensity = F.softplus(self.led_driver(x))
effective_light = F.relu(light_intensity - self.dark_current_threshold)

전기 신호를 한 번 softplus(비음화)를 거쳐 'LED의 발광 강도'로 변환합니다. 이후, dark_current_threshold(암전류 임계값)를 빼고 ReLU를 적용함으로써, '미세한 지뢰 노이즈나 음 방향의 그라운드・오프셋을 완전히 차단하는 광 아이솔레이션'을 표현하고 있습니다.

**② 결합 계수 **

clamped_k = torch.clamp(self.k, 0.0, 1.0)
M = clamped_k * torch.sqrt(F.relu(self.L1) * F.relu(self.L2) + 1e-8)

1차 측(Input)과 2차 측(Output)을 직접 전도시키지 않고, 상호 인덕턴스

5. 요약

공통 GND로 완전 연결된 신경망에 '절연 변압기'나 '포토커플'의 개념을 도입하는 것은 단순한 비유를 넘어 '노이즈 차단(Floating)과 과도적 오염 방지'라는 구체적인 계산 구조를 제공합니다.

하드웨어 공학의 역사가 증명해 온 '적절한 아이솔레이션(절연)의 미학'은, 향후 안전하고 견고한 AI 아키텍처 설계에서도 매우 중요한 시사점을 제공해 줄 것입니다.

논의