llama.cpp

开源C++实现的LLM推理，在CPU和消费级硬件上高性能运行大型语言模型。