TensorSharp Jev 요청으로 문서, 이미지, 비디오, 오디오 결합 가능

import base64
import json
from pathlib import Path
from urllib.request import Request, urlopen
def encode_bytes(data: bytes) -> str:	return base64.b64encode(data).decode("ascii")
def encode_file(path: str) -> dict:	file = Path(path)	return {"name": file.name, "data": encode_bytes(file.read_bytes())}
# 메모리에 이미 존재하는 데이터를 이름이 지정된 텍스트 첨부 파일로 인코딩합니다.
notes = "Customers report HTTP 503 errors and cannot sign in."
text_attachment = { "name": "incident.txt", "data": encode_bytes(notes.encode("utf-8")),	}
body = { "model": "jev-latest", "state": "Assess the incident using the attached evidence.", "files": [
 text_attachment,
 encode_file("dashboard.png"),
 encode_file("screen-recording.mp4"),
 encode_file("caller.wav"),
 ], "questions": { "active_outage": { "type": "noul", "instructions": "Does the evidence indicate an active service outage?", }, "team": { "type": "choice", "instructions": "Which team should investigate first?", "criteria": { "technical": "Service errors or an unavailable application", "billing": "Charges or subscription problems", "other": "Neither of the above", }, }, }, "samples": 1, "seed": 42, }
request = Request(" http://127.0.0.1:5000/v1/systemone ", data=json.dumps(body).encode("utf-8"), headers={\

인라인 첨부 파일은 이름이 필요하며, 위에서 설명한 바와 같이 순수 Base64 또는 Base64 데이터: URL을 허용합니다. 이것이 어떻게 작동하는지에 대한 상세 내용은 다음과 같습니다. 비디오는 비전 타워(vision tower)를 위해 프레임으로 샘플링되고; 오디오는 별도로 구성된 음성 인식 서비스에 의해 전사됩니다. DiffusionGemma는 오디오 파형을 직접 처리하지 않습니다. 이미지와 비디오 입력에는 비전 타워가 필요하며, 오디오 입력에는 TS_JEV_TRANSCRIPTION_URL이 구성되어야 합니다. 인라인 Base64는 Jev 요청 본문 제한(기본값 8 MiB)에 포함되므로, 더 큰 미디어의 경우 업로드 API와 파일 참조를 사용하십시오. 해당 레포지토리에는 바로 전송할 수 있는 혼합 미디어 요청도 있습니다. TensorSharp: https://github.com/zhongkaifu/TensorSharp 저는 단일 요청에서 여러 미디어 유형으로부터 어떤 종류의 결정을 내리고 싶으신지 궁금합니다. /u/fuzhongkai가 r/LocalLLaMA에 제출함 [링크] [댓글]