저는 로보틱스 중심의 석사 과정을 시작하려는 전자 및 통신 공학(Electronics & Communication Engineering) 졸업반 학생입니다. 지난 2년 동안 "논문을 찾는 것"은 arXiv를 확인하고, 그다음 IEEE, MDPI, Google Scholar를 확인한 뒤, 제가 찾은 PDF 링크가 실제로 무료인지 아니면 그냥 유료 결제창(paywall)을 숨겨놓은 것인지 여전히 확신할 수 없는 과정을 의미했습니다.

그래서 저는 Cortexa를 만들었습니다. 로보틱스(robotics), 머신러닝 (ML), 딥러닝 (deep learning), 컴퓨터 비전 (computer vision), VLSI 및 인접 연구 분야를 위한 무료 오픈 액세스(open-access) 전용 검색 엔진입니다. 검색을 위한 로그인 장벽이 없으며, 무료인 척하는 스크래핑된 유료 콘텐츠도 없습니다.

스택 (Stack): Next.js 16 (App Router), TypeScript, Tailwind CSS v4, Supabase (Postgres + Auth + Storage), Vercel에 배포 및 일일 크론(cron) 인제스션(ingestion) 적용.

논문 출처: arXiv의 Atom API, CrossRef (MDPI, 개별 오픈 액세스 IEEE Transactions 논문 및 기타 OA 출판사), 그리고 OpenAlex — 이 글을 쓰는 시점에 약 22,800개의 논문이 인덱싱되어 있으며 매일 증가하고 있습니다.

실제로 가장 많은 것을 가르쳐준 버그: 초기에는 일부 "무료 PDF 보기" 링크가 PDF 대신 가공되지 않은 XML을 여는 경우가 있었습니다. 알고 보니 CrossRef와 OpenAlex가 때때로 논문 자체가 아닌 출판사의 _메타데이터 API 엔드포인트(metadata API endpoint)_를 "PDF" 링크로 나열한다는 것이 밝혀졌습니다. 저는 결국 다운로드 링크로 표시되기 전에 API 호출 형태(api.* 호스트, /content/article/ 경로, httpAccept 쿼리 파라미터)를 가진 모든 것을 거부하는 작은 검증기(validator)를 작성하게 되었습니다. 이는 "API가 PDF라고 말했다"는 것과 "실제로 PDF이다"라는 것이 서로 다른 주장임을 상기시켜 주는 좋은 경험이었습니다.

라이선싱(Licensing)은 제가 그렇게 많은 시간을 소비하게 될 줄 몰랐던 부분이었습니다. "오픈 액세스 (Open access)"는 단일한 개념이 아닙니다. MDPI는 정책상 100% OA이지만, IEEE와 대부분의 다른 출판사들은 저자가 특별히 비용을 지불했을 때만 OA로 제공합니다. 따라서 MDPI가 아닌 모든 논문은, 기술적으로 어떤 저널에 속해 있는지와 관계없이 해당 논문의 CrossRef 레코드가 검증된 크리에이티브 커먼즈 (Creative Commons) 라이선스를 보유하고 있는 경우에만 수집됩니다. 이를 통해 해당 저널의 유료(paywalled) 논문 대다수를 무료라고 잘못 표기하지 않으면서도, 유료 결제가 필요한 IEEE Transactions 저널 내의 개별 오픈 액세스 논문들을 인덱스에 포함할 수 있었습니다.

현재 automata-index.vercel.app에서 라이브로 운영 중입니다 (네, Cortexa로의 이름 변경은 아직 진행 중입니다 — 긴 이야기가 필요하네요). 무료이며, 아직 광고는 없습니다. 혼자서 구축했습니다. 만약 여러분이 로보틱스/ML/AI 연구 분야에 계시고, 서비스를 테스트해 보거나(kick the tires) 부족한 점을 알려주고 싶으시다면, 진심으로 의견을 듣고 싶습니다.