ローカルLLM

ローカルLLM マルチGPUの生成速度への影響を評価する

概要 以下の記事にて、GPU2枚で40GBのVRAMを搭載したPCを構築しましたが、GPU1枚から2枚に分散することによってどれほど速度が落ちるのかを評価してみました。結論としては許容範囲内の速度低下だったので一安心。詳細は下をご確認ください。 モデル一つでの…