admin管理员组

文章数量:1663034

llama_cpp_python版本不支持qwen2导致，可以更新到新版

#卸载原有
pip uninstall llama-cpp-python
#安装新版，cuda-version为cu121、cu122、cu123、cu124，python版本仅支持3.10、3.11、3.12
CMAKE_ARGS="-DLLAMA_CUDA=on -DLLAMA_CUBLAS=on" pip install llama-cpp-python \
  --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/<cuda-version>

#假设为cuda 12.1

CMAKE_ARGS="-DLLAMA_CUDA=on -DLLAMA_CUBLAS=on" pip install llama-cpp-python \
  --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cu121

本文标签： 提示ErrorllamacpppythonloadingArchitecture

版权声明：本文标题：llama_cpp_python运行Qwen2提示error loading model: unknown model architecture: ‘qwen2‘ 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dianzi/1729977945a1218251.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。