새로운 Tessl 리뷰: 이제 무엇이 '좋은' 것인지 직접 결정하세요

새로운 Tessl 리뷰: 이제 무엇이 "좋은" 것인지 직접 결정하세요:

한동안 Tessl은 별도의 설정 없이도 여러분의 기술(skills) 품질을 즉시 리뷰할 수 있었습니다. 단순히 tessl skill review를 실행하기만 하면, Anthropic의 베스트 프랙티스(best practices)를 기준으로 점수를 받을 수 있습니다. 이는 합리적인 기본값(default)이며 대부분의 사람들에게 유용하게 작용해 왔지만, 기본값은 여전히 타인의 의견일 뿐이며, 귀하나 귀하의 조직이 이를 검토하고 동의하지 않을 수도 있습니다.

오늘 우리는 Tessl 리뷰 기능의 새로운 버전을 출시합니다. 이 버전은 세 가지 새로운 기능을 제공합니다: 여러분의 기술을 더욱 정확하게 **에이전트 방식(agentically)**으로 리뷰하며, 여러분의 기술에 있어 **'좋음(good)'**이 실제로 무엇을 의미하는지 정의할 수 있게 해주고, 기술 리뷰 실행에 대한 공유 가능한 **이력(history)**을 유지합니다.

하나의 '좋음'에 대한 정의가 가진 문제점

저의 기술 중 하나에 대해 현재 리뷰는 82%의 품질 점수를 제공합니다. 설명(description) 리뷰는 완벽한 100%를 기록하지만, 콘텐츠(content) 섹션은 55%로 떨어지며, 간결성(conciseness)은 3점 만점에 1점, 점진적 공개(progressive disclosure)는 3점 만점에 1점을 기록합니다.

어떤 사람들의 관점에서는 이 기술에 아무런 문제가 없지만, 심사관은 기술을 다섯 개의 파일로 나누는 대신 하나의 긴밀하고 독립된 기술로 유지했다는 이유로 점수를 깎고 있습니다. 이는 합리적인 입장이며 Anthropic의 입장입니다. 하지만 만약 귀하의 조직이 더 크고 통합된 기술을 선호한다면, 82점이라는 점수는 우리가 원하는 바를 정확히 수행한 저에게 벌을 주는 격이 됩니다. 어쩌면 제 기술에서 놓치고 있는 추가적인 제약 사항이 있을 수도 있지만, 리뷰가 이를 완전히 간과하여 저에게 잘못된 품질 인식을 심어줄 수도 있습니다.

다음은 작동 중인 새로운 Tessl 리뷰의 영상입니다:

Watch on YouTube

더 정확한 리뷰 제공

새로운 Tessl 리뷰는 CLI에서 tessl review run을 사용하거나 에이전트(agent)를 통해 호출할 수 있습니다(단, 반드시 새로운 버전을 호출하고 있는지 확인하세요!). 또한 리뷰 결과가 저장될 워크스페이스(workspace) 이름을 전달해야 합니다.

가장 큰 변화 중 하나는 내부 구조(under the hood)에 있습니다. 이전 리뷰가 단일 패스(single pass)로 LLM을 심판(judge)으로 사용했다면, 새로운 버전은 에이전트(agent)를 사용합니다. 에이전트는 더 많은 턴(turns)을 수행하고, 기술(skill) 및 관련 파일에 대한 더 많은 정보를 수집하여 더 나은, 더 근거 있는(grounded) 판결을 내립니다. LLM 심판은 본질적으로 비결정론적(non-deterministic)이기 때문에 실행 시마다 약간의 변동이 있을 수 있지만, 결과는 더 정확합니다.

조직을 위한 '좋은 기술'의 정의

이것이 리뷰가 무엇이 옳은지를 결정하는 방식을 바꾸는 흥미로운 부분입니다. 새로운 리뷰를 통해 여러분만의 루브릭(rubric)을 플러그인(plugin) 형태로 전달하고, 이를 기준으로 리뷰를 수행할 수 있기 때문입니다.

저희는 커스텀 리뷰 플러그인 구축 과정을 안내하는 review-plugin-creator라는 플러그인을 만들었습니다. 이를 통해 Anthropic의 베스트 프랙티스(best practices)를 포크(fork)하여, 몇 가지만 변경하고 싶을 때 합리적인 모든 설정은 기본적으로 유지하면서 동의하지 않는 부분만 수정할 수 있습니다. 저의 경우, 통합된 기술(consolidated skills)에 불이익을 주는 단 하나의 규칙만 뒤집었습니다.

크리에이터(creator)는 여러분의 가이드라인과 루브릭을 담은 플러그인을 생성합니다. tessl review run에서 이를 참조하려면, 파일 시스템에 로컬로 참조하거나 Tessl Registry에 있는 프라이빗(private) 또는 퍼블릭(public) 플러그인으로 연결할 수 있습니다.

동일한 기술을 이번에는 여러분의 규칙과 함께 다시 실행하면 업데이트된 점수를 확인할 수 있습니다. 저의 경우, 통합된 기술은 이제 간결성(conciseness)과 점진적 공개(progressive disclosure) 항목에서 만점을 받으며, 콘텐츠 섹션은 일반적인 기본값이 가정하는 것이 아니라 제 조직이 실제로 가치 있게 여기는 것을 반영합니다.

리뷰 확인하기

CLI에서 보는 모든 내용은 Tessl Registry에도 표시됩니다. 워크스페이스(workspace)로 이동하면 리뷰 실행의 전체 기록과 함께 리뷰 플러그인을 찾을 수 있습니다. 각 실행은 터미널에서 얻는 것과 동일한 세부 내역을 보여주며, 여기에 해당 결과를 생성한 플러그인도 함께 표시되므로 어떤 '좋음'의 정의를 기준으로 점수가 측정되었는지 항상 알 수 있습니다.

워크스페이스 설정(workspace settings)에서 기본 리뷰 플러그인(review plugin)을 설정할 수 있습니다. 설정 이후에는 해당 워크스페이스에서 실행되는 모든 리뷰 실행(review run) 시 자동으로 해당 플러그인이 사용됩니다. 필요할 때마다 --review-plugin 플래그를 사용하여 실행 시마다 이를 재정의(override)할 수도 있습니다.

나머지 툴킷 (The rest of the toolkit)

알아두면 유용한 몇 가지 명령어가 더 있습니다:

• tessl review list --workspace <workspace-name>: 워크스페이스에 대한 모든 리뷰 실행(review run) 목록을 나열합니다.
• tessl review view <review-id>: 단일 실행을 열고 전체 출력 결과(full output)를 보여줍니다.
• tessl review fix: 이전 리뷰에서 이미 알고 계셨던 --optimize 동작의 새로운 홈입니다. 리뷰 결과(review outcome)를 기반으로 스킬(skill)에 수정 사항을 에이전트 방식(agentically)으로 적용하며, SKILL.md를 직접 업데이트할 수 있습니다.

기존 명령어는 어떻게 되나요?

tessl skill review는 아직 사라지지 않습니다. 현재 이를 사용 중인 누구에게도 문제가 생기지 않도록 의도적으로 그대로 유지하고 있지만, 지원 중단(deprecation) 메시지가 표시될 수 있습니다. 그럼에도 불구하고, 앞으로 모든 작업은 tessl review run으로 옮겨갈 예정이므로, 기존 리뷰 기능이 종료되었을 때 당황하지 않도록 미리 전환하여 사용해 주시기 바랍니다. 또한, 새로운 tessl review 기능을 활용할 수 있도록 GitHub Actions에 대한 업데이트도 곧 출시할 예정입니다.

지금 바로 시도해 보세요

새로운 Tessl review가 출시되었으며 지금 바로 사용하실 수 있습니다. 다만, Tessl review 명령어를 사용하려면 무료 계정이 필요하다는 점을 유의해 주세요 (전체 문서는 여기에서 확인하실 수 있습니다). 앞으로 더 많은 기능이 추가될 예정이며, 새로운 기능이 출시되는 대로 계속해서 소식을 전해드리겠습니다. 지금은 여러분의 기술(skills)에 대해 실행해 보고, 팀이 실제로 품질에 대해 생각하는 방식과 일치하는 루브릭 (rubric)을 작성한 다음, 여러분의 환경에서 어떻게 작동하는지 저희에게 알려주세요. 여러분의 피드백이 저희가 다음에 구축할 것을 결정합니다.

Tessl review 커스텀하기: https://tessl.io/registry/tessl/review-plugin-creator

Tessl에 대해 더 알아보기: https://tessl.io