
ChatGPT에 긴 코드를 전달하기 전에 압축하는 「TokenTrim」을 만들었습니다
요약
ChatGPT에 긴 코드나 파일을 전달할 때 토큰을 절약할 수 있도록 데이터를 전처리하는 도구인 TokenTrim을 소개합니다. 공백 제거, 주석 삭제, JSON 압축 등을 통해 코드의 의미는 유지하면서 기계적으로 데이터를 압축하여 효율적인 AI 해석을 돕습니다.
핵심 포인트
- 공백, 주석, 빈 줄 등을 제거하여 토큰 사용량 최적화
- 여러 파일 통합 및 이미지를 WebP/Base64로 변환 지원
- 코드 수정 목적이 아닌 코드 해석 및 구조 파악 전처리용
- 브라우저 기반 동작 및 로컬 HTML 실행 권장 (API 키 불필요)
ChatGPT에 HTML이나 JavaScript 등의 코드를 해석하게 할 때,
- 코드가 너무 길다
- 불필요한 공백이나 주석이 많다
- 여러 파일을 한꺼번에 전달하고 싶다
- 가능한 한 토큰 (Token)을 절약하고 싶다
라는 상황이 있었기에, ChatGPT로 보내기 전의 데이터를 정리하는 도구인 TokenTrim을 만들었습니다.
아래에서 바로 사용할 수 있습니다.
코드는 여기 있습니다.
문장이나 코드를 붙여넣으면, ChatGPT에 전달하기 쉬운 형태로 기계적으로 압축합니다.
주로,
- 행頭·행말의 공백 삭제
- 불필요한 빈 줄이나 연속된 스페이스 정리
- JSON을 한 줄로 변환
- HTML / CSS의 주석 삭제
- HTML 태그 사이의 불필요한 공백 삭제
- 여러 개의 텍스트·코드 파일을 하나의 문장으로 통합
- 이미지를 WebP로 변환·압축
과 같은 처리를 수행합니다.
개략적인 수치이지만, 변환 전후의 토큰 (Token) 수와 절감률도 표시합니다.
이 도구는 코드의 공백 등이 trim(제거)되기 때문에, 코드 수정을 의뢰하는 것을 목적으로 하고 있지 않습니다.
주로,
"이 코드의 처리 내용을 해석해 주세요"
"이 HTML의 구조를 설명해 주세요"
"이 JavaScript에서 문제가 될 만한 부분을 찾아 주세요"
"이 결혼용 프로필 사진을 채점해 주세요"
와 같이, ChatGPT에 코드 해석을 의뢰할 때의 전처리로서 사용하는 것을 상정하고 있습니다.
압축에 의해 개행이나 주석 등이 삭제되므로, 코드를 수정해서 그대로 돌려받는 용도로는 그리 적합하지 않습니다.
이미지 압축은 WebP로 압축한 후, Base64 형식으로 변환하며, 출력 문자열이 38,000자 이내가 되도록 조정합니다.
28,000자 정도라도 보기에는 나쁘지 않은 수준이므로, 38,000자 이내라면 압축률은 상식적인 범위 내라고 생각해도 무방합니다.
상한 글자 수에 따라 이미지가 어느 정도의 외관을 유지하는지는 아래 사이트에서 확인해 주시면 감사하겠습니다.
- 코드나 문장을 붙여넣는다
- 필요하다면 파일을 드래그 앤 드롭한다
- 「압축하여 문장화하기」를 누른다
- 출력된 내용을 복사한다
- ChatGPT에 붙여넣어 해석을 의뢰한다
이것뿐입니다.
처리는 브라우저 내에서 이루어집니다.
GitHub Pages 버전에서 바로 이용할 수 있지만, 개인적으로는 HTML 파일을 다운로드하여 로컬 환경에서 사용하는 것을 권장합니다.
단일 HTML로 동작하므로, index90.html을 저장하고 브라우저로 여는 것만으로 사용할 수 있습니다.
API 키 등도 필요하지 않습니다.
거대한 코드를 ChatGPT에 그대로 붙여넣으면, 코드 자체보다 공백이나 주석 등에 토큰을 사용하게 되는 경우가 있습니다.
TokenTrim은 코드의 의미를 AI로 요약하는 것이 아니라, 기계적으로 깎을 수 있는 부분만 깎아서 ChatGPT에 전달하기 위한 심플한 도구입니다.
긴 HTML이나 JavaScript를 ChatGPT에 해석시킬 때 등에, 괜찮으시다면 사용해 보세요.
👇 접속만으로 사용할 수 있는 공개 사이트
👇 GitHub
GitHub URL은 악의적인 코드가 포함되어 있지 않은지 직접 눈으로 확인하고 싶은 분들을 위해 공개하고 있습니다.
GitHub Pages 버전에서 바로 이용할 수 있지만, 개인적으로는 HTML 파일을 다운로드하여 로컬 환경에서 사용하는 것을 권장합니다.
망라적인 확인은 불가능하지만, ChatGPT에 코드를 첨부하여 악의적인 코드가 포함되어 있지 않은지 확인하게 하는 방법도 유효합니다.
본인이 사용하기 편하도록 ChatGPT 등을 활용해 튜닝하여 이용하는 것도 권장합니다.
더 사용하기 편한 사이트를 제작하게 된다면, 저도 사용하고 싶으니 공개해 주시면 기쁘겠습니다.
또한, 전면적으로 다시 만든 것이 아니라 본 리포지토리를 개조하여 작성한 것을 공개할 경우에는 MIT 라이선스 조건에 따라 공개해 주세요. (저작권 표시와 MIT 라이선스 문구를 포함해 주세요)
AI 자동 생성 콘텐츠
본 콘텐츠는 Qiita AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기