AI Tech Connect에 처음 게시되었습니다.

요청-응답 루프(request-response loop)가 작동하지 않을 때
대부분의 에이전트 튜토리얼은 웹 핸들러(web handlers)에서 빌려온 사고 모델을 바탕으로 작성됩니다. 요청이 도착하고, 모델이 생각하고, 한두 개의 도구(tool)가 실행되며, 응답이 나가고, 이 모든 과정이 4초 안에 끝납니다. 이는 채팅 턴(chat turn)에는 적절합니다. 하지만 작업이 진정으로 길어지는 순간 이 모델은 무너집니다. 200개의 소스에 걸친 조사 작업, 900개의 파일에 영향을 미치는 코드베이스 마이그레이션(codebase migration), 인보이스(invoice) 4분의 1 이상에 대한 문서 처리 실행, 서로 일치하지 않는 두 원장 사이의 야간 조정 작업 등이 그렇습니다. 증상은 예측 가능한 순서로 나타납니다. 첫 번째는 타임아웃(timeouts)입니다. 게이트웨이의 유휴 제한(idle limit)을 초과하여 실행되는 요청은 유용한 오류 없이 504와 함께 종료되며, 이러한 제한은 일반적으로 30~60초 범위입니다 — AWS Application Load…

AI Tech Connect에서 전체 기사 읽기 →