BF8・BF16・蒸留・量子化、「精度とサイズのトレードオフ」

BF8・BF16・蒸留・量子化は、全部「精度とサイズのトレードオフ」を別の角度から攻める技術です。 1. モデルサイズを小さくする4つの軸 2. BF16(bfloat16)でサイズを小さくする BF16のフォーマットと … 続きを読む BF8・BF16・蒸留・量子化、「精度とサイズのトレードオフ」