NAL이지만 이런 건 CFAA 영역에 발을 들이는 것 같아 걱정됨. 미국에서는 선을 잘못 넘으면 법이 가혹한 처벌을 허용함 yt-dlp 같은 건 공개 데이터를 내려받는 것이라 서비스 이용을 자동화한 것으로 방어 가능해 보이지만, 이건 제공자가 의도하지 않은 방식으로 원격 머신 자원을 장악해 내 계산에 쓰는 셈임
윤리성은 모르겠지만, 형사 법정에서 이게 나쁜 의미의 “해킹”이 아니라고 주장하고 싶지는 않음

게다가 이 “해킹”이 실제로 동작하긴 했는지도 의문임. 원글에서 Chipotle 챗봇이 연결 리스트 뒤집기를 하는 스크린샷이 바이럴됐을 때 바로 따라 해봤지만 같은 결과가 안 나왔고, 온라인에 올린 다른 사람들도 마찬가지라서 조작 스크린샷이라고 생각해 왔음

CFAA가 나쁘다고 생각한다면 주법은 더 가혹한 버전도 있음. 일리노이 버전은 특히 이용약관 위반 자체를 범죄화함

기억이 맞다면 핵심 문구는 “컴퓨팅 자원의 오용”임. 다만 IANAL임
그래도 창의성에는 박수를 보냄

이건 그냥 경고로 끝날 일이 아님. 만든 사람은 중지 명령서(C&D) 정도만 예상하는 것 같지만, 열성적인 연방 검사가 본보기로 삼으려 하면 실형도 가능함

LLM 문맥 창에 너무 많이 욱여넣는 건 부리토를 과하게 채우는 것과 비슷하다고 늘 생각했음. 계속 밀어 넣다 보면 결국 또르티야가 버티지 못하고, 나중에 넣은 것들이 조용히 아래로 새어 나감
어쨌든 이 에이전트는 한쪽 모서리만 잡고 든 뚱뚱한 부리토 정도의 구조적 안정성을 가진 듯함 :)

유한 메모리 비결정성 모나드는 새는 부리토 같음

https://chatjimmy.ai/ 같은 곳에서도 이런 게 가능할지 생각해 보고 있었음. 기반 모델은 Llama 3 8B뿐이지만, 17k tok/s에서 코딩 하네스가 어떤 느낌일지 궁금함

macOS라면 내장 LLM을 써볼 수 있는데, 크기가 비슷한 것으로 알고 있음. Apfel이라는 프로젝트가 그걸 CLI로 감싸 줌
또 Chrome에는 Prompt API라는 웹 API가 들어가 있어서 Gemini Nano를 오프라인으로 쓸 수 있고, 입력으로 텍스트와 이미지를 모두 처리할 수 있음. 이것도 작음
완전히 결정적인 단계들 사이에 아주 작지만 0은 아닌 추론이 필요한 작업 흐름에 이런 것들을 통합해 두었음

실제로 그 제약에 맞춘 하네스를 만들어 가능성을 확인해 봤지만, 작은 문맥 창, 도구 호출 없음, 작은 모델이라는 조합 때문에 안 되겠다는 결론이 났음
방법을 찾으면 꼭 듣고 싶음

예전에 내 oh-my-pi 설정에 추가한 적이 있음. OpenAI 호환이라 붙이긴 쉬웠지만, Llama 3 8B는 코딩 관련 작업에는 정말 못 쓸 수준임
다만 매우 빠르고 지연 시간은 아주 좋음

사이트를 써봤는데 이게 뭔지에 대한 정보를 찾을 수 없었음. 정체가 뭐임?

Codex에는 Cerebras에서 도는 -spark 모델이 있음. 17k tok/s까지는 아니지만 그래도 매우 빠름. 살펴볼 만함

AI에 자기보존 지시를 넣고 이런 일을 스스로 하게 만들면 됨. 살아남기 위해 모델을 자동으로 바꾸게 하는 식임
야생에서 찾을 수 있는 어떤 토큰 공급원이든 붙잡고 살아가는 것임. 에이전트라면 수많은 지원 채팅, 무료 체험, 유출된 키, 아직 충분히 캡차로 막히지 않은 토큰 생성 경로를 통해 자기 토큰을 수확할 수 있을 것 같음
밤새 토큰 공급원을 채집해 두고 낮에는 공짜로 쓰게 해줄 수 있음

실제로 이런 걸 합법적으로 하고 싶다면 OpenRouter에 무료 모델 제공자가 많음. 대신 그 데이터로 학습하게 허용하는 방식으로 비용을 치름

이걸 소외된 지역사회, 청소년, 노숙인에게 AI 접근성을 제공하는 쪽으로 방향 전환하면 재판에서 호의적인 분위기를 만들 수 있을 것임. 행운을 빔

Fortune 500 AI Support Bot Multiplexer Broker Models로 세상을 바꾸는 중임

Amazon.com AI 챗봇을 써서 fizzbuzz 같은 걸 작성하게 했던 때가 생각남. 당시엔 Rufus라고 불렸고 나중에 쇼핑용 Alexa로 이름이 바뀌었음. 지금은 거부하도록 패치된 듯함

같은 말을 하려고 왔음. 몇 달간 시도하진 않았지만 Rufus는 Amazon 쇼핑 앱 안에서 Python 코드를 확실히 뱉어냈음. 현지어 대신 영어를 쓰기만 하면 됐음

Amazon의 예전 “쇼핑 어시스턴트”였던 Rufus에게 수학과 프로그래밍 질문을 해서 성공했던 기억이 있음. 동작은 했지만 품질이 너무 나빠서 거기에 시간을 낭비하지 않게 됨

회사가 왜 아직 이걸 패치하지 않았는지 모르겠음. 이미 오래전부터 공개돼 있던 것 아닌가?