b11612: 유니그램 토크나이저에 선택적 NFC 정규화 추가 (#30390)

다른 탭이나 창에서 로그인했습니다. 세션을 새로 고치려면 다시 로드하십시오. 다른 탭이나 창에서 로그아웃했습니다. 세션을 새로 고치려면 다시 로드하십시오. 다른 탭이나 창에서 계정을 전환했습니다. 세션을 새로 고치려면 다시 로드하십시오. 알림 해제

• 유니코드 (unicode): Unigram 토크나이저(tokenizers)에 대한 선택적 NFC 정규화 추가. 참고: Codex의 도움을 받아 Sol 6.1 미디엄 사용
• 초기 봇 주석 및 linter 오류 수정 (print 대신 기존 out 사용)
• test_nfc_tokenizer 제거