cuda out of memory

トラブル解決

ローカルLLMの「CUDA out of memory」エラーの解決法

ローカルLLMをGPUで動かしていると、突然こんなエラーが出て止まることがあります。「CUDA error: out of memory」。直訳すれば「メモリ不足」ですが、このメモリはパソコンのRAMではなく、GPU上のVRAMのことです。