잊혀진 것들의 메아리: AI로 되살리는 잊힌 컴퓨팅의 역사

이 글은 MLH x DEV 라이팅 챌린지 제출물입니다.

잊혀진 것들의 메아리: AI로 되살리는 잊힌 컴퓨팅의 역사

컴퓨터 공학의 역사를 백과사전 같은 것을 읽는 느낌이 아니라, 신비로운 디지털 아카이브에 들어가는 느낌으로 탐험할 수 있다면 어떨까요?

이 질문에서 영감을 받아 '잊혀진 것들의 메아리(Echoes of the Forgotten)'가 탄생했습니다. 이 프로젝트는 레트로 터미널 미학, 역사적 컴퓨팅, 그리고 AI를 결합하여 사용자가 잊힌 기술을 탐험하고 과거와 상호작용할 수 있는 경험을 창출합니다.

저는 단순히 정보를 제공하는 일반적인 웹사이트 대신, 마치 이야기가 남아있는 버려진 컴퓨터 시스템을 발견한 듯한 느낌을 주는 것을 만들고 싶었습니다.

제가 이 프로젝트를 어떻게 구축했는지, 그 뒤에 숨겨진 기술적 결정들은 무엇인지, 그리고 이 과정에서 제가 무엇을 배웠는지 공유합니다.

내가 만든 것 (What I Built)

'잊혀진 것들의 메아리'는 잊힌 컴퓨팅 역사를 되살리는 인터랙티브하고 마치 유령이 출몰하는 디지털 아카이브입니다.

이 경험은 오래된 컴퓨터 터미널, 역사적 프로그래밍 언어, 그리고 버려진 디지털 시스템 특유의 신비로운 분위기에서 영감을 받았습니다.

사용자들은 이 아카이브를 탐색하고, 정보를 검색하며, AI 기반 캐릭터들과 상호작용할 수 있습니다.

주요 기능은 다음과 같습니다:

👻 AI 캐릭터 대화(AI Character Conversations):
아카이브 탐색을 더욱 흥미롭게 만드는 AI 기반 캐릭터와 상호작용할 수 있습니다.
🔎 아카이브 검색(Archive Search):
역사적 컴퓨팅 콘텐츠를 검색하여 관련 정보를 발견할 수 있습니다.
📚 출처 기반 답변(Source-Grounded Answers):
BM25 검색을 사용하여 아카이브에서 관련 구절을 검색하고, 답변과 사용 가능한 출처 자료를 연결하는 데 도움을 줍니다.
🔗 인용(Citations):
지원 정보에 대한 참조를 제공하여 사용자가 근본적인 출처를 조사할 수 있게 합니다.
💾 지속적 발견물(Persistent Discoveries):
발견 내용과 대화를 SQLite에 저장하여 애플리케이션이 세션 간 관련 정보를 보존할 수 있도록 합니다.
⌨️ 안전 터미널 명령어(Safe Terminal Commands):
무제한 시스템 접근 대신 통제된 명령을 통해 경험을 탐색합니다.
🛟 오프라인 친화적 대체 기능(Offline-Friendly Fallback):
AI 추론(inference)이 사용할 수 없을 때도 사용자는 이 대체 기능을 통해 아카이브를 계속 탐색할 수 있습니다.

저는 프로젝트가 유용성을 희생하지 않으면서도 분위기 있게 느껴지도록 만들고 싶었습니다. 레트로 인터페이스가 경험을 창출하는 반면, 검색(search), 정보 검색(retrieval), 그리고 영구 저장 기능이 이를 기능적으로 만듭니다.

💡 이 아이디어의 배경:
컴퓨팅은 매혹적인 역사를 가지고 있지만, 많은 오래된 기술과 프로그래밍 언어는 전문 커뮤니티 외에서는 주목을 받지 못합니다.

저는 그 역사를 제시하는 다른 방식을 탐구하고 싶었습니다.

만약 디지털 아카이브가 마치 자신만의 이야기 속 캐릭터처럼 느껴진다면 어떨까요? 사용자들이 단순히 정적인 페이지를 스크롤 하는 것이 아니라, 탐색을 통해 정보를 발견할 수 있다면 어떨까요?

이것이 사용자가 조사할 수 있는 잊힌 디지털 시스템이라는 아이디어로 이어졌습니다.

목표는 단순히 또 다른 챗봇을 만드는 것이 아니었습니다. 인터페이스, 정보 검색(information retrieval), 그리고 AI 상호작용이 함께 작동하는 경험을 창조하는 것이었습니다.

데모(Demo)

프로젝트와 소스 코스를 탐색해 보세요:

🔗 GitHub 저장소: https://github.com/Ganesh-978/Echoes-of-the-Forgotten

이 저장소에는 프로젝트 구현이 포함되어 있으며, 애플리케이션이 어떻게 작동하는지 탐색하기 가장 좋은 장소입니다.

터미널에서 영감을 받은 인터페이스, 아카이브 검색, AI 대화, 그리고 AI를 사용할 수 없을 때 애플리케이션이 어떻게 작동하는지를 보여주는 간단한 워크스루가 특히 유용할 것입니다.

파트너 기술 (Partner Technologies)

이 프로젝트를 구축하는 과정에는 프론트엔드 개발, 백엔드 API, 정보 검색(information retrieval), 영구 저장소(persistent storage), 그리고 호스팅된 AI 추론(hosted AI inference)을 결합하는 것이 포함되었습니다.

제가 사용한 기술은 다음과 같습니다.

React 및 TypeScript

저는 대화형 사용자 인터페이스(interactive user interface)를 구축하기 위해 React를 사용했고, 정적 타입 검사(static type checking)를 추가하기 위해 TypeScript를 사용했습니다.

이 조합은 프론트엔드를 재사용 가능한 컴포넌트로 구성하는 데 도움을 주었으며, 데이터 구조와 컴포넌트 상호작용에 대한 이해를 더 쉽게 만들었습니다.

Python 및 FastAPI

백엔드는 애플리케이션 로직을 처리하고 API 엔드포인트(API endpoints)를 노출하기 위해 Python과 FastAPI를 사용합니다.

백엔드를 프론트엔드와 분리하면 애플리케이션을 구성하기가 더 쉬워지고, 사용자 인터페이스와 기본 서비스 간의 경계가 명확해집니다.

BM25 정보 검색 (Information Retrieval)

중요한 기술적 결정 중 하나는 아카이브 검색에 BM25를 사용하는 것이었습니다.

BM25는 문서의 용어가 쿼리와 얼마나 잘 일치하는지에 따라 문서를 순위화하는 어휘 기반 정보 검색 알고리즘입니다.

이는 애플리케이션이 메모리에서 정보를 생성하는 데 전적으로 AI 모델에 의존하지 않고도 사용 가능한 아카이브에서 관련 구절을 찾을 수 있는 방법을 제공합니다.

또한 답변을 뒷받침하는 출처 자료와 연결할 수 있는 기반을 제공합니다.

Groq 및 Llama 3.1 8B Instant

AI 기반 상호작용을 위해 저는 Groq의 호스팅된 추론 서비스(hosted inference service)를 통해 Llama 3.1 8B Instant를 사용했습니다.

호스팅된 추론을 사용했기 때문에 모델을 로컬에서 다운로드하고 실행할 필요가 없었습니다.

이는 로컬 모델 실행이 상당한 메모리와 컴퓨팅 자원을 요구할 수 있기 때문에 중요한 실질적 결정이었습니다.

이는 제가 애플리케이션의 모델 실행을 로컬 개발 환경과 분리하면서 AI 기반 상호작용을 실험할 수 있게 해주었습니다.

SQLite

저는 SQLite를 사용하여 발견한 내용과 대화를 영구적으로 저장했습니다.

SQLite는 별도의 데이터베이스 서버를 운영하는 복잡성 없이도 지속적인 저장이 필요한 프로젝트에 잘 작동하는 경량 관계형 데이터베이스입니다.

이 애플리케이션의 현재 범위에는 실용적인 선택이었습니다.

MLH 파트너 기술 관련 참고 사항: 이 프로젝트에서 사용된 AI 추론 제공업체는 Groq이지만, 이것이 본 챌린지에 대한 공식 MLH 파트너 기술 자격 요건을 충족하는지 여부는 제가 확인하지 못했습니다. 저는 그 관계를 잘못 표현하고 싶지 않습니다.

해커톤 경험

이 프로젝트는 여러 기술들이 단일한 인터랙티브 애플리케이션 내에서 어떻게 함께 작동할 수 있는지 탐구할 기회였습니다.

AI에만 초점을 맞추기보다는, 저는 전체 사용자 경험(UX)을 생각해야 했습니다. 즉, 사용자가 정보를 발견하는 방식, 백엔드가 관련 콘텐츠를 검색하는 방식, 대화가 저장되는 방식, 그리고 외부 AI 서비스가 사용할 수 없게 될 때 무슨 일이 발생하는지 등이었습니다.

몇 가지 결정들이 구현 방식을 형성했습니다.

첫째, 정보에 접근하는 유일한 방법이 AI여서는 안 됩니다.

외부 모델 서비스는 사용 불가능해지거나 오류를 만날 수 있습니다. 폴백(fallback) 기능을 제공하면 애플리케이션의 복원력이 높아지고 사용자들이 계속 탐색할 수 있게 합니다.

둘째, 검색(retrieval)과 생성(generation)은 서로 다른 문제를 해결합니다.

BM25는 아카이브에서 관련 정보를 찾는 데 도움을 줍니다. 언어 모델은 대화형 상호작용을 제공합니다. 이 책임들을 분리하는 것은 시스템을 이해하고 추론하기 쉽게 만듭니다.

셋째, 인터페이스는 프로젝트의 근본적인 아이디어를 지원해야 합니다.

터미널에서 영감을 받은 프레젠테이션은 단순한 장식이 아닙니다. 이는 잊힌 디지털 시스템을 탐색하는 분위기를 조성하는 데 도움을 주며, 일반적인 챗봇 인터페이스보다 경험을 더욱 독특하게 만듭니다.

이러한 의사결정 과정을 거치면서 AI 애플리케이션을 구축하는 것이 단순히 모델을 사용자 인터페이스(UI)에 연결하는 것 이상의 복잡성을 수반한다는 것을 깨달았습니다. 검색(Retrieval), 영속성(Persistence), 오류 처리(Error Handling), 그리고 제품 디자인(Product Design) 모두 중요합니다.

제가 배운 점 (What I Learned)

'잊혀진 것들의 메아리(Echoes of the Forgotten)'를 구축하는 과정에서 여러 교훈을 얻었습니다.

1. 강력한 개념에는 기능적인 구현이 필요하다
   흥미로운 아이디어는 주목을 끌 수 있지만, 실제로 그 경험이 유용한지 여부는 구현에 달려 있습니다.
   저는 인터페이스, 백엔드(backend), 검색 시스템, 데이터베이스, 그리고 AI 통합이 어떻게 함께 작동할지 고려해야 했습니다.

2. 검색은 생성과 다르다 (Retrieval Is Different from Generation)
   언어 모델(LLM)은 특정 아카이브에 존재하는 정보에 반드시 근거하지 않더라도 설득력 있는 답변을 생성할 수 있습니다. BM25를 사용하여 관련 자료를 검색하는 것은 별도의 정보 검색 단계를 만듭니다. 답변과 이를 뒷받침하는 출처를 연결하면 경험의 투명성이 높아집니다.

3. 외부 AI 서비스는 실패 모드를 도입한다 (External AI Services Introduce Failure Modes)
   호스팅된 추론(Hosted inference)은 모델을 로컬에서 실행하지 않고도 실험하기 쉽게 해주지만, 네트워크 연결성과 서비스 가용성에 대한 의존성을 초래합니다. 유용한 애플리케이션은 모든 요청이 성공할 것이라고 가정하는 대신, 그러한 한계를 고려해야 합니다.

4. 제품 디자인과 엔지니어링은 함께 작동해야 한다 (Product Design and Engineering Must Work Together)
   시각적 경험(Visual experience)이 프로젝트에 정체성을 부여하지만, 근본적인 아키텍처가 그 경험을 기능적으로 만듭니다. 저는 양쪽 측면 모두를 생각하는 법을 배웠습니다. 즉, 사용자가 경험하는 것과 시스템이 백그라운드에서 수행해야 하는 것이 무엇인지 말입니다.

5. 작은 프로젝트도 시스템 레벨 사고방식을 가르쳐준다 (Small Projects Can Teach System-Level Thinking)
   상대적으로 초점이 맞춰진 애플리케이션조차 API 경계, 데이터 영속성(data persistence), 검색 품질, 실패 처리, 그리고 유지보수성(maintainability)에 대한 질문을 던집니다. 이러한 것들은 제가 더 복잡한 애플리케이션을 구축하면서 계속 개선하고 싶은 엔지니어링 결정들입니다.

다음 단계는 무엇일까요?

‘잊혀진 것들의 메아리’는 컴퓨팅 역사를 제시하는 보다 상호작용적인 방법을 탐색하기 위한 출발점입니다.

향후 개선 사항에는 역사 아카이브 확장, 검색 품질 개선, 더 많은 상호작용 캐릭터 추가, 그리고 원본 자료 탐색 용이성 확보 등이 포함될 수 있습니다.

또한 애플리케이션의 신뢰성을 지속적으로 개선하고 검색 시스템이 다양한 종류의 쿼리를 얼마나 잘 처리하는지 테스트하고 싶습니다.

더 넓은 아이디어는 간단합니다. 컴퓨팅 역사에 대해 배우는 것이 정적인 문서를 읽는 것처럼 느껴질 필요가 없습니다. 탐구할 가치가 있는 경험이 될 수 있습니다.

이야기 나눠요!

저는 다른 개발자들이 AI와 창의적인 인터페이스를 결합한 프로젝트에 어떻게 접근하는지 듣는 것에 관심이 있습니다.

커뮤니티에 질문합니다:

만약 AI 기반의 상호작용 아카이브를 구축한다면, 무엇을 가장 먼저 우선순위에 두시겠습니까? 더 나은 검색 기능(better retrieval), 더 몰입도 높은 AI 캐릭터, 아니면 더욱 생생한 인터페이스 중 어느 것인가요?

댓글에서 여러분의 생각과 아이디어를 듣고 싶습니다.

읽어주셔서 감사합니다. 즐거운 개발 되세요! 🚀