요약
고정된 FlyWire 연결을 사용한 특징 추출, PPO를 이용한 읽기 학습(readout learning), LSTM을 통한 기억, 그리고 전주 거리 관측을 단계적으로 비교했다. 미학습 배치(unlearned configuration)에서는 이미지 특징 LSTM이 65/90에 도달했고, FlyWire 특징 LSTM은 1/90이었다. 거리 관측 시스템은 추가적인 도달 수를 기록했지만, 관측, 용량, 학습량을 동시에 변경했기 때문에 단일 요인의 효과라고 할 수 없다.
1. 목적
신경 연결에서 유래한 특징과 기억의 추가가 산림 회피를 개선하는지 조사한다. 탐색적인 후보 선정(exploratory candidate selection)과 테스트 평가(test evaluation)를 구분하고, 성공 횟수뿐만 아니라 실패 횟수, 계산 시간, 비교 조건의 차이점도 검토한다.
2. 고정 연결 모델 방법 및 결과
11월 7일 비교에서는 FlyWire v783의 138,639 뉴런과 15,091,983 집약 유향 간선(aggregated directed edge)을 사용한 LIF 모델을 연결했다. 간선의 수는 개별 해부학적 시냅스 수가 아니다.
Shiu 등의 연구와 공식 모델을 참조하여 RGB 광류 등으로부터 만든 근접 이미지 특징을 입력으로, 신경 활동에서 조향(steering)으로 변환하는 방식을 사용했다. 이 입출력 연결은 공학적으로 설계된 것이며, 생체의 망막이나 비행 뇌 전체를 재현한 것은 아니다.
고정 FlyWire, 일반 이미지 반사 회피, 연결 무작위화(wiring shuffle)를 비교했다.
| 방식 | 도달 | 접촉/포락 교차 |
|---|
| 일반 이미지 회피 | 1/27 | 20/27 |
| ... | | |
| 3난도×3배치 seed×3반복, 3방식으로 총 81회 시행했다. 다만 난도 간에 배치 seed를 공유했으므로 독립적인 지형은 3개 배치 블록으로 간주한다. 초기 집계에서 9가지 구성을 독립적이라고 계산한 점을 정정했다. | | |
이 단계에서는 FlyWire의 우수성을 주장할 수 없다. 신경 활동 100ms 기준 중앙값은 134.41ms였으며, 신경 계산 중에는 물리 시계를 정지시켰다. 비디오의 물리 시간 재생이 부드럽더라도 실시간 10Hz를 달성했다고 볼 수는 없다.
3. 읽기 학습과 기억의 비교
고정 FlyWire 특징 + PPO
다음으로 신경 연결을 고정한 상태에서, PPO(Proximal Policy Optimization)를 사용하여 조향 및 속도의 읽기 학습을 진행했다. 이미지 특징만 사용한 PPO와 FlyWire 유래 특징을 추가한 PPO를 각각 3 seed, 20,000 행동씩 학습시켰다. 신규 학습은 총 120,000 행동, 테스트는 108회 시행이다.
| 방식 | 도달 | 접촉/포락 교차 |
|---|
| 일반 이미지 회피 | 1/27 | 24/27 |
| ... | | |
| 이전 절과는 다른 평가 조건이므로, 고정 FlyWire의 2/27과 3/27은 동일 시행의 차이가 아니다. | | |
FlyWire 특징 + PPO의 seed별 도달 수는 3/9, 3/9, 9/9였다. 최상의 seed만으로는 100%가 되지만, 이를 전체 성능으로 삼을 수는 없다. 또한 정보량, 추가 계산, 상태가 다르며, 학습된 무작위화(shuffled)나 랜덤 reservoir 대조군이 없기 때문에 실제 연결 고유의 인과 효과는 분리할 수 없다.
LSTM이라면 더 좋을까?
기존 MLP의 6개 모델을 재활용하여, 새로운 이미지 특징 LSTM과 FlyWire 특징 LSTM을 각각 3 seed × 20,000 행동으로 학습시켰다. 신규 10 배치 블록 × 3난도 × 3seed, 각 방식별 90회 시행으로 비교했다.
| 방식 | 도달 | 접촉/포락 교차 | seed별 도달 수 (각 30) |
|---|---|---|
| 이미지 특징 MLP | 2/90 | 88/90 | 0 / 0 / 2 |
| ... |
4方式の未学習配置での比較
이 비교에서 채택한 것은 actor/critic별로 1개 레이어 LSTM32와 64 유닛의 Tanh 헤드를 가진, 19,269 파라미터의 이미지 특징 LSTM이었다.
당초 FlyWire-LSTM 적용 조건은 검증(validation)에서 성립하지 않았다. 이미지 LSTM은 검증을 보고 선택한 탐색적 후보였으며, 원래 주 비교를 임의로 수정한 것으로 취급해서는 안 된다. 후보 선정과 테스트의 시간 순서도 보존하여 공개 사전 등록이라고 부르지 않는다.
복잡한 입력과 기억을 결합하면 반드시 개선된다는 결과가 나오지는 않았다.
이러한 회피 실험은 공통의 정적 나무 배경, 고정된 고도 및 저속 조건에서 진행되었다. 미학습된 것은 절차 생성 장애물의 배치이며, 배경이나 수종까지 알지 못하는 숲을 평가한 것이 아니다.
4. 전주 거리 관측으로의 확장
다음 실험에서는 이미지로부터의 근접 이미지 특징 대신, 합성 전주 거리와 자가 상태(self-state)를 사용했다.
2048개의 레이(ray)를 최소 풀링(min pool)을 통해 128 값으로 압축하고, 자가 상태 15값과 합쳐 총 143 특징을 만들었다. actor/critic별 LSTM32 + 64 Tanh, 49,733 파라미터이다. 하위 제어는 고정 PD를 사용하며, 상위 제어가 회전 및 순항 속도를 10Hz로 지시한다.
- A: 3난도에 걸쳐 균일하게 학습하는 일반 학습.
- B: 난도의 단계화, 안정성 보상(stability reward), 역학/관측의 무작위화를 결합한 방식.
A와 B는 동일한 관측, 용량, PPO, 3 seed, 64 병렬 환경을 사용했다. 모델 1개당 978,944개의 전이(transition), 모델 6개당 5,873,664개의 전이를 기록했다. 전체 공정 상한 시간 10시간 중 4.44시간이 소요되었으며, 학습 단계는 2.43시간 만에 완료된 기록이 있다.
| 평가 | A 일반 학습 | B 안전 훈련 | 구형 이미지 LSTM |
|---|---|---|
| nominal 도달 | 88/90 | 85/90 | 49/90 |
| ... |
通常条件での到達・接触の比較
그림의 Wilson 구간은 건수를 요약하는 기술적 표시(descriptive display)이다. 난이도 간에 배치를 공유하고 동일한 학습 seed를 여러 배치에서 평가했기 때문에, 각 에피소드(episode)가 독립적인 모집단 표본으로 간주되는 신뢰 구간이나 유의성 검정의 근거로 삼지 않는다.
새로운 시스템에서는 구형(旧系)보다 접촉이 줄었다. 한편, B가 A를 능가하는 추가적인 효과는 확인되지 않았다. Validation 단계에서 선택된 B를 Test 단계 이후에 A로 다시 선택하지는 않았다.
구형과의 비교에는 관측, 용량, 약 48.95배의 경험 수, 행동 매핑(action mapping), RGB far clip 80m→25m 변경이 포함된다. 이는 거리 센서만, PPO만, 학습량만의 효과가 아니라 시스템 전체의 비교이다.
nominal은 10 배치 × 3 난이도 × 3 학습 seed로 방식당 총 90회 시도이다. stress는 nominal의 상위 5 배치를 공유하므로, 독립적인 별도의 삼림 45개 지점이 아니다. 합성 거리 관측의 실기 탑재 중량, 전력, 처리 지연 시간 또한 미평가 상태이다. 접촉은 법선 접촉력이 0.001N을 초과하는 것을 기준으로 하며, 접촉점 및 상대방 이름 전체를 완전히 확보하지는 못했다.
| 종단 판정 | 보고서 정의 |
|---|
| 접촉 | 각 body의 법선 접촉력 벡터 합계에 대해, 노름(norm)의 최대값이 0.001 N 초과 |
| ... | |
| 이 표는 전체 주행 거리 관측 시스템의 비교에 대응한다. 이전에 진행된 각 회피 시험에 동일한 종료 조건을 소급 적용했다고 취급하지 않는다. | |
stress는 일정한 수평 외력이나 질량, 초기 자세, 거리 오차를 추가한 조건이며, 실제 풍장을 재현한 것은 아니다. 구형 방식의 상태 제한 6건은 횡방향 경계 이탈이며, "6회 추락했다"고 서술할 수는 없다.
保存済みの同時刻FPV比較。左からA、B、旧画像LSTM
5. 평활 비행 pilot 미달성
FPV에서 roll이나 yaw가 왕복하는 움직임을 줄이기 위해, 원본 A, 일반 지속 학습(continual learning), 평활 보상에서의 지속 학습을 비교하는 실행기를 제작했다.
그러나 이 pilot은 사전 측정 단계에서 멈췄다. 새로운 45개 기하 조건은 확인되었으나, 64 병렬 scene 준비 중 원래 시작 시간으로부터 600초의 상한에 도달했다.
공식 학습 전이(transition) 0, 공식 모델 0, 공식 비교 시도 0. 개선율도, 새로운 비교 영상도 없다.
지난 기록에서는 64 scene 생성에 약 365.6초, 그 이후 시뮬레이션 시작에 약 49초가 소요되었다. 평가 환경과 기하 검사를 추가하면, 600초 틀 안에 구동/측정/감사할 여유가 없다. 이는 평활 보상이 효과를 발휘하지 못한 결과가 아니라, 시간 설계 자체가 성립되지 않은 기록이다.
CPU 테스트 통과와 GPU 상에서 연구 비교 완료는 별개로 다룬다.
고찰 및 결론
추가적인 특징이나 기억이 일관되게 개선되는 결과는 아니었다. 실제 결선 고유의 효과에는 학습된 셔플(shuffle)이나 랜덤 reservoir 대조군이 필요하다. 거리 관측계의 개선은 시스템 전체의 차이며, 안전 훈련 B가 일반 학습 A에 대해 추가적인 효과를 보인 것도 확인되지 않았다.
영상 및 재현성
通常学習A、安全訓練B、旧画像LSTMの同時刻比較
seed 17・layout 41001・L3의 20.8초 원본 전체를 가로 640px, 4 fps로 경량화했다. 배속 처리는 하지 않았으나, 프레임 끝자리에 의해 GIF 길이는 20.75초가 된다. 왼쪽부터 A, B, 구형 이미지 LSTM 순이다. 종단 후 패널은 마지막 이미지를 유지하고 있어, 정지한 기체의 추가 비행이 아니다. 대표적인 하나의 조건이며, 방식 전체의 성능은 상단의 모든 시도 집계를 참조한다.
참고 문헌
논의 (Discussion)