클라우드 제공업체에 전적으로 의존하지 않고 AI 기반 ASP.NET Core 애플리케이션을 구축하세요.

서론

최근 AI를 실험해 보셨다면, 아마 다음과 같은 과정을 거쳤을 것입니다:

2. API 키 생성
3. 프롬프트 (Prompt) 전송
4. 응답 받기

단순하고 빠르며, 솔직히 유용한 무언가를 얼마나 빨리 만들 수 있는지 보면 놀라울 정도입니다.

하지만 AI가 개념 증명 (Proof of Concept) 단계를 넘어서면, 다른 질문들이 나타나기 시작합니다.

• 규모가 커지면 비용이 얼마나 들까?
• 민감한 데이터가 우리 인프라를 벗어나는 것을 정말 원하는가?
• API 제한 (API limits)에 걸리면 어떻게 되는가?
• 우리의 내부 도구들이 외부 서비스에 전적으로 의존하기를 원하는가?

이것이 바로 로컬 AI (Local AI)가 흥미로워지는 지점입니다.

최근 저는 Ollama를 실험하기 시작했고, AI 모델을 로컬에서 실행하고 이를 일반적인 ASP.NET Core 애플리케이션에 통합하는 것이 얼마나 쉬워졌는지에 놀랐습니다.

가장 좋은 점은 무엇일까요?

.NET 개발자의 관점에서 볼 때, 이는 대부분 또 다른 HTTP 서비스를 통합하는 것처럼 느껴진다는 것입니다.

이 가이드에서는 다음을 수행합니다:

• Ollama 설치
• 로컬 모델 다운로드 및 실행
• ASP.NET Core에 통합
• 간단한 AI 기반 엔드포인트 (Endpoint) 구축

왜 AI 모델을 로컬에서 실행해야 하는가?

클라우드 AI는 환상적입니다.

저는 그것을 대체하려는 것이 아닙니다.

하지만 로컬 AI는 다른 종류의 문제들을 해결합니다.

더 나은 개인정보 보호 (Privacy)

많은 비즈니스 애플리케이션은 민감한 정보를 다룹니다.

예를 들어:

• 내부 문서
• 지원 티켓 (Support tickets)
• 고객 기록
• 애플리케이션 로그

해당 정보를 외부 AI 제공업체로 보내는 것은 보안, 컴플라이언스 (Compliance) 또는 거버넌스 (Governance) 문제를 야기할 수 있습니다.

모델을 로컬에서 실행하면 모든 것이 자체 인프라 내에 유지됩니다.

예측 가능한 비용

클라우드 제공업체는 사용량에 따라 요금을 부과합니다.

초기에는 잘 작동하지만, 애플리케이션 규모가 커짐에 따라 비용이 빠르게 증가할 수 있습니다.

로컬 AI는 요청당 과금 모델을 완전히 제거합니다.

더 적은 의존성

여러분의 애플리케이션은 더 이상 다음 사항에 의존하지 않습니다:

• 인터넷 연결
• 외부 서비스 중단
• API 속도 제한 (API rate limits)

모든 것이 사용자의 자체 기기 또는 서버에서 실행됩니다.

Ollama란 무엇인가?

Ollama는 개발자가 대규모 언어 모델 (LLMs)을 로컬에서 실행할 수 있도록 해주는 도구입니다.

머신러닝 (Machine Learning) 환경을 수동으로 구성하는 대신, Ollama는 다음 사항들을 처리합니다:

• 모델 다운로드 (Model downloads)
• 런타임 관리 (Runtime management)
• 메모리 처리 (Memory handling)
• HTTP API

설치가 완료되면, AI와 상호작용하는 것은 HTTP 요청을 보내는 것만큼 간단해집니다.

인기 있는 모델은 다음과 같습니다:

모델	최적의 사용 사례
llama3	일반적인 AI 작업
...

1단계: Ollama 설치

다음에서 Ollama를 다운로드하세요:

설치를 확인합니다.

ollama --version

모델을 다운로드합니다.

ollama pull llama3

실행합니다.

ollama run llama3

간단한 질문을 던져보세요.

ASP.NET Core의 의존성 주입 (Dependency Injection)에 대해 설명해줘

응답을 받았다면, 시작할 준비가 된 것입니다.

기본적으로 Ollama는 다음 주소에서 로컬 API를 노출합니다:

이것이 우리의 ASP.NET Core 애플리케이션이 통신하게 될 대상입니다.

2단계: ASP.NET Core API 생성

새 프로젝트를 생성합니다.

dotnet new webapi -n LocalAIApi

권장되는 구조:

Controllers
Services
Models
...

AI 로직을 컨트롤러 (Controllers)와 분리하여 유지하세요.

이렇게 하면 애플리케이션을 더 쉽게 유지 관리할 수 있습니다.

3단계: HttpClient 등록

Program.cs 내부:

builder.Services.AddHttpClient<IAiService, OllamaService>(client =>
{
    client.BaseAddress = new Uri("http://localhost:11434");
...

4단계: AI 서비스 생성

인터페이스 (Interface):

public interface IAiService
{
    Task<string> GenerateAsync(
...

구현 (Implementation):

public class OllamaService : IAiService
{
    private readonly HttpClient _httpClient;
...

응답 모델 (Response model):

public class OllamaResponse
{
    public string Response { get; set; } = string.Empty;
...

이 시점에서 AI 통합은 다른 서드파티 API (Third-party API)를 통합하는 것과 매우 유사해 보이기 시작합니다.

이는 아마도 Ollama를 처음 사용할 때 가장 놀라운 부분일 것입니다.

대부분의 복잡한 작업은 이미 여러분을 위해 처리되어 있습니다.

5단계: AI 엔드포인트(Endpoint) 노출하기

요청 모델(Request model):

public class AiRequest
{
    public string Prompt { get; set; } = string.Empty;
...

컨트롤러(Controller):

[ApiController]
[Route("api/ai")]
public class AiController : ControllerBase
...

이제 여러분의 API는 클라우드 제공업체(Cloud provider)에 의존하지 않고도 AI 기능을 노출할 수 있습니다.

아키텍처 개요 (Architecture Overview)

Client
   ↓
ASP.NET Core API
...

AI를 전용 서비스 계층(Service layer) 뒤에 배치하면, 나중에 필요할 경우 제공업체를 교체하기가 더 쉬워집니다.

로컬 AI가 항상 더 나은가요?

아니요.

많은 시나리오에서 클라우드 AI(Cloud AI)가 여전히 더 나은 선택입니다.

예를 들어:

클라우드 AI를 사용해야 하는 경우:

• 최첨단 추론 모델(State-of-the-art reasoning models)이 필요한 경우
• 수천 명의 동시 접속 사용자가 있는 경우
• 전 세계적으로 분산된 인프라가 필요한 경우

로컬 AI를 사용해야 하는 경우:

• 개인정보 보호(Privacy)가 중요한 경우
• 비용 제어(Cost control)가 중요한 경우
• 내부 비즈니스 도구를 구축하는 경우

실제로 많은 팀은 하이브리드 방식(Hybrid approach)을 사용할 가능성이 높습니다.

마치며

몇 년 전만 해도 대규모 언어 모델(Large language models)을 실행하는 것은 머신러닝 엔지니어(Machine learning engineers)들만이 할 수 있는 일처럼 느껴졌습니다.

오늘날 Ollama와 같은 도구들이 그것을 바꾸어 놓았습니다.

.NET 개발자로서 로컬 AI를 통합하는 것은 종종 또 다른 HTTP 통합 작업일 뿐입니다.

그리고 바로 그 점이 이 기술을 매우 흥미롭게 만듭니다.

로컬 AI가 클라우드 AI를 대체하는 것은 아닙니다.

그저 개발자들에게 또 다른 아키텍처 옵션을 제공하는 것입니다.

내부 도구, 개인용 어시스턴트, 문서 검색, 그리고 AI 기반 비즈니스 애플리케이션을 위해, 그 옵션은 매일 점점 더 실용적으로 변해가고 있습니다.