안녕하세요 HN,
우리는 Flywheel AI의 공동 창업자인 Jash와 Mahimana입니다.

우리는 굴착기를 위한 원격 원격 제어 (teleop) 및 자율 주행 스택 (autonomous stack)을 구축하고 있습니다.

영상은 여기 있습니다:

원격 제어 (teleop) 또는 자율 주행 (autonomy)을 가능하게 하기 위해 기존 굴착기와 인터페이스를 연결하는 것은 어렵습니다. Drive-by-wire 기술을 사용하는 자동차와 달리, 수백만 대의 굴착기 대부분은 완전 유압식 (fully hydraulic) 장비입니다. 조이스틱은 파일럿 유압 회로 (pilot hydraulic circuit)에 연결되어 있으며, 이는 메인 유압 회로 (main hydraulic circuit)의 실린더를 비례적으로 움직여 궁극적으로 굴착기의 관절을 움직입니다. 이는 굴착기에 관절을 제어할 전자 부품이 거의 없음을 의미합니다. 우리는 굴착기 내부의 조이스틱과 페달을 기계적으로 작동시킴으로써 이 문제를 해결합니다.

우리는 모든 모델/브랜드의 굴착기에서 작동하는 레트로핏 (retrofits)을 통해 이를 수행하며, 이를 통해 기존 장비를 증강할 수 있습니다. 원격 제어 (teleoperation)를 가능하게 함으로써 현장의 안전성, 생산성 및 비용 효율성을 높일 수 있습니다.

운영자에 의한 원격 제어 (teleoperation)는 자율 주행 (autonomy)을 위한 학습 데이터 (training data)를 준비할 수 있게 해줍니다. 로보틱스 (robotics)에서 학습 데이터는 관찰 (observation)과 행동 (action)으로 구성됩니다. 인터넷에는 이미지와 영상이 풍부하지만, 1인칭 시점 (egocentric/PoV)의 관찰 및 행동 데이터는 매우 희귀하며, 이러한 희귀성이 로봇 학습 정책 (robot learning policies)의 확장을 가로막고 있습니다.

Flywheel은 이미 배치된 원격 제어 (remote teleop) 기능이 탑재된 굴착기에서 생성되는 학습 데이터를 준비함으로써 이 문제를 해결합니다. 그리고 우리는 매우 최소한의 하드웨어 설정과 리소스로 이를 수행합니다.

YC에 머무는 동안, 우리는 센서 스택 (sensor stack) 및 배치 순열/조합, 그리고 모델 하이퍼파라미터 (hyperparams) 변형에 대해 25~30번의 반복 (iterations)을 거쳤습니다. 우리는 이를 "우리 레트로핏의 물리적 형태의 진화"라고 불렀습니다. 결국 우리는 현재의 진화 단계에 도달했으며, 단 몇 시간의 학습 데이터만으로도 일정 수준의 자율 주행 (autonomy)을 성공적으로 훈련할 수 있었습니다.

가장 중요한 핵심은 모델의 하이퍼파라미터 (hyperparams)를 최적화하는 것보다 데이터가 훨씬 더 중요하다는 점이었습니다. 그래서 오늘, 저희는 실제 건설 현장에서 Flywheel 시스템을 사용하여 수집한 100시간 분량의 굴착기 데이터셋을 오픈 소스로 공개합니다. 이는 Frodobots.ai와의 파트너십을 통해 진행되었습니다.

데이터셋: https://huggingface.co/datasets/FlywheelAI/excavator-dataset

장비/개조 (retrofit) 상세 정보:

Volvo EC380 (38톤 굴착기)
4x 카메라 (25fps)
25Hz 숙련된 작업자의 동작 데이터

이 데이터셋은 4개의 카메라로부터 얻은 관측 데이터와 숙련된 작업자의 동작 데이터를 포함하고 있으며, 이는 굴착을 하거나 덤프를 하는 것과 같이 시연된 워크플로우(workflows)에 따라 굴착기를 자율적으로 운행하는 모방 학습 (imitation learning) 모델을 훈련하는 데 사용될 수 있습니다. 저희는 YC 기간 동안 수집한 단 6~7시간의 데이터만으로 Kubota U17 모델의 버킷 픽 앤 플레이스 (bucket pick and place)를 위한 소규모 자율 주행 (autonomy) 모델을 훈련할 수 있었습니다.

저희는 이제 막 시작했을 뿐입니다. 일조량, 날씨, 작업 종류에 따른 충분한 변동성을 확보하고 있으며, 곧 더 많은 시간의 데이터를 추가하고 lerobot 형식으로도 변환할 예정입니다. 저희가 이 작업을 하는 이유는 당신과 저 같은 사람들이 얻기 매우, 매우 어려운 실제 세계의 데이터 (real world data)로 모델 훈련을 시도해 볼 수 있도록 하기 위함입니다.

그러니 여기서 데이터셋을 확인해 주시고, 원하는 대로 자유롭게 다운로드하여 사용해 주세요. 사람들이 이 데이터를 활용해 다양한 시도를 해보기를 진심으로 바랍니다! 제가 스레드에 머물며 커뮤니티의 댓글과 피드백을 기다리고 있겠습니다!