量子化 速度 比較

ベンチマーク

量子化レベル別の速度と精度を実測【Q4/Q5/Q8/FP16】

「どの量子化レベルを選べばいいの?」は、Ollama でローカル LLM を動かし始めたときに誰もがぶつかる疑問です。Q4_K_M・Q5_K_M・Q8_0・FP16――名前はよく見かけるのに、実際に速度がどれだけ変わるのか、はっきりした一次…