add fp8 as dst (#1830)

This commit is contained in:
carlushuang
2025-01-22 17:34:27 +08:00
committed by GitHub
parent 1fe2c35291
commit 052a72655c
30 changed files with 300 additions and 194 deletions

View File

@@ -2,29 +2,31 @@
EXE=build/bin/tile_example_moe_smoothquant
for pr_i in "fp16" "bf16" ; do
$EXE -prec=$pr_i -t=99 -h=13
$EXE -prec=$pr_i -t=17 -h=16
$EXE -prec=$pr_i -t=1 -h=100
$EXE -prec=$pr_i -t=4 -h=128
$EXE -prec=$pr_i -t=80 -h=127
$EXE -prec=$pr_i -t=22 -h=255 -stride=256
$EXE -prec=$pr_i -t=7 -h=599
$EXE -prec=$pr_i -t=19 -h=512
$EXE -prec=$pr_i -t=33 -h=313 -stride=1000
$EXE -prec=$pr_i -t=11 -h=510
$EXE -prec=$pr_i -t=171 -h=676 -stride=818
$EXE -prec=$pr_i -t=91 -h=636
$EXE -prec=$pr_i -t=12 -h=768 -stride=800
$EXE -prec=$pr_i -t=100 -h=766 -stride=812
$EXE -prec=$pr_i -t=31 -h=1024
$EXE -prec=$pr_i -t=64 -h=1000 -stride=1004
$EXE -prec=$pr_i -t=8 -h=1501
$EXE -prec=$pr_i -t=3 -h=1826
$EXE -prec=$pr_i -t=5 -h=2040
$EXE -prec=$pr_i -t=7 -h=2734
$EXE -prec=$pr_i -t=1 -h=3182
$EXE -prec=$pr_i -t=9 -h=4096
$EXE -prec=$pr_i -t=3 -h=8192
$EXE -prec=$pr_i -t=1 -h=10547
$EXE -prec=$pr_i -t=3 -h=17134
for pr_o in "int8" "fp8" ; do
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=99 -h=13
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=17 -h=16
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=1 -h=100
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=4 -h=128
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=80 -h=127
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=22 -h=255 -stride=256
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=7 -h=599
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=19 -h=512
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=33 -h=313 -stride=1000
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=11 -h=510
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=171 -h=676 -stride=818
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=91 -h=636
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=12 -h=768 -stride=800
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=100 -h=766 -stride=812
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=31 -h=1024
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=64 -h=1000 -stride=1004
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=8 -h=1501
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=3 -h=1826
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=5 -h=2040
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=7 -h=2734
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=1 -h=3182
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=9 -h=4096
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=3 -h=8192
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=1 -h=10547
$EXE -prec_i=$pr_i -prec_o=$pr_o -t=3 -h=17134
done
done