업데이트: Yandex/AliceAI 80B-A3B 미세 조정 진행 상황

손실 곡선 (각 단계의 마지막 마이크로에서 가져온 것으로, 변화를 설명하기 위함) gemini 3.8 flash의 약간의 도움을 받았습니다. 초기 미세 조정은 약 40% 정도 완료되었습니다. 손실이 매우 들쭉날쭉한 이유는 각 단계의 평균 대신 실수로 각 마이크로의 마지막 손실 값을 사용했기 때문입니다. 학습 라이브 스트림은 다음 주소에서 확인할 수 있습니다: https://figure-bios-expect-cio.trycloudflare.com/ - 관심이 있다면, 제가 사용하는 모든 훈련 데이터를 검사할 수 있게 해줍니다. 또한, 약 3.5k개의 예시를 데이터셋으로 제공해 드릴 수도 있습니다. 이 데이터는 sftmill에서 생성되었습니다. 원본 스레드: https://www.reddit.com/r/LocalLLaMA/comments/1wslgkw/watch_me_posttrain_aliceaifoundation80ba3b_from/ /u/jjusko20 님이 제출함 [링크] [댓글]