Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 기사는 DINOv3로 사전 학습된 ConvNext 모델을 사용하여 화살 감지 시스템의 성능 개선 과정을 설명합니다. 40,000개의 블렌더 장면과 8,000개의 실제 이미지를 활용하여 등록 및 감지 네트워크를 학습시켰습니다. 최종적으로 F1 스코어 96.6%와 전체 이미지 정확도 80.5%라는 높은 성능을 달성했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/MachineLearning (hot)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기이 작업에 대해 한 달 정도 매달렸습니다. ImageNet으로 사전 학습된 ResNet을 가지고 많이 실험해 봤는데, 성능이 꽤 좋았고, 순수 ViT는 성능이 더 떨어졌습니다. ConvNext DINOv3가 가장 좋은 성능을 보였습니다. 데이터의 경우, 약 40,000개의 다양한 blender 장면을 렌더링했고, 레이블이 지정된 실제 이미지 8,000개를 사용했습니다. 이 실제 이미지들 대부분은 제가 직접 수동으로 라벨링해야 했는데, 정말 골치 아픈 작업이었고 제 인생의 시간 약 20시간을 돌려받을 수 없을 것 같습니다. 등록(registration) 네트워크와 감지(detection) 네트워크 모두 약 1백만 개의 샘플(48k 데이터셋에 대한 무거운 증강 적용)로 학습되었습니다. 최종 결과는 테스트에서 F1 스코어 96.6%를 달성했고, 전체 이미지 정확도는 80.5%(화살 누락 없음, 오탐지 없음)였습니다. 이 과정은 기본적으로 등록을 통해 목표물, 의미론적 고리(semantic rings), 중심점, 점수 구역을 식별합니다. 감지는 그런 다음 잘라낸 이미지를 받아 충격 후보들의 히트맵을 생성합니다. 저는 그 이미지를 거울에 비춘 것과 동일한 디텍터로 통과시킨 후 두 결과를 디코더에서 결합하여 국소적인 최고점(local peaks)을 찾습니다. 슬라이딩 윈도우 접근 방식을 시도했지만 더 나은 결과를 내지 못했습니다. 그런 다음 원근 왜곡(perspective skew)을 제거하고 목표물을 평평하게 만들기 위해 호모그래피 변환(homography transform)을 적용하여 충격이 표준 좌표계에 맞도록 합니다. 그 후, 종이가 휘어진 것(비평면적인 warped paper)을 고려하여 충격 좌표를 조정하는 작은 보정 단계가 있습니다. 이것은 흥미로운 트릭인데, 기본적으로 등록 모델이 생성한 의미론적 고리의 히트맵을 양궁 과녁의 완벽한 기하학적 고리와 비교하고 그 오프셋을 사용하여 방사형(radial) 보정을 수행합니다. /u/BrashBunyip 제출 [link] [comments]