양자화(llama.cpp) gguf 변환 관련 질문 드립니다
#5
by
YoungDeuk
- opened
7.8B 모델에서 q4_k_m으로 gguf 변환 후 서빙엔 아무 문제가 없었지만
2.4B 모델에서 q4_k_m으로 gguf 변환 후 서빙엔
llama_model_load: error loading model: missing tensor 'output.weight'
에러와 같이 output.weight가 없다고 나옵니다.
혹시 이름이 변경되었는지 알고 싶습니다
감사합니다
안녕하세요, YoungDeuk님.
EXAONE 3.5 Technical Report 또는 EXONAE 3.5 모델 config.json을 보면 아시겠지만
2.4B 모델은 7.8B 모델과 달리 Tied Word Embedding (tie_word_embeddings=true)을 사용합니다.
따라서, 2.4B 모델 weight에는 output.weight가 존재하지 않습니다.
이점 유념하면서 변환을 수행하면 될 것 같습니다.
감사합니다.
아 "tie_word_embeddings": true, 설정을 확인 못했었네요.
transformer.wte.weight 를 output.weight로 변경복사 해주면 되겠군요.
많은 도움이 되었습니다
빠른 답변 정말 감사드립니다!