ROCm/composable_kernel
1
0
Fork 0
mirror of https://github.com/ROCm/composable_kernel.git synced 2026-04-19 22:39:03 +00:00
Code Issues Packages Projects Releases Wiki Activity

[CK_TILE]Moe update index (#1672)

Browse Source 
* update MOCK_ID for moe-sorting

* add moe-smoothquant

* update a comment

* fix format

* hot fix

* update topk in overflow case

* update comments

* update bf16 cvt

---------

Co-authored-by: valarLip <340077269@qq.com>
This commit is contained in:
carlushuang
2024-11-25 13:12:35 +08:00
committed by GitHub
parent ce2bdf42a9
commit 36c7ce4e0e
36 changed files with 1321 additions and 11 deletions
Download Patch File Download Diff File Expand all files Collapse all files

37
example/ck_tile/14_moe_smoothquant/script/perf_test.sh Executable file
View File

@@ -0,0 +1,37 @@
EXE=build/bin/tile_example_moe_smoothquant
$EXE -t=1 -h=1 -v=1 -prec=bf16 -repeat=1000
$EXE -t=700 -h=80 -v=1 -prec=bf16 -repeat=1000
$EXE -t=700 -h=128 -v=1 -prec=bf16 -repeat=1000
$EXE -t=700 -h=144 -v=1 -prec=bf16 -repeat=1000
$EXE -t=700 -h=168 -v=1 -prec=bf16 -repeat=1000
$EXE -t=700 -h=184 -v=1 -prec=bf16 -repeat=1000
$EXE -t=700 -h=256 -v=1 -prec=bf16 -repeat=1000
$EXE -t=700 -h=288 -v=1 -prec=bf16 -repeat=1000
$EXE -t=700 -h=344 -v=1 -prec=bf16 -repeat=1000
$EXE -t=700 -h=376 -v=1 -prec=bf16 -repeat=1000
$EXE -t=700 -h=448 -v=1 -prec=bf16 -repeat=1000
$EXE -t=700 -h=512 -v=1 -prec=bf16 -repeat=1000
$EXE -t=700 -h=924 -v=1 -prec=bf16 -repeat=1000
$EXE -t=700 -h=1024 -v=1 -prec=bf16 -repeat=1000
$EXE -t=700 -h=1078 -v=1 -prec=bf16 -repeat=1000
$EXE -t=700 -h=1996 -v=1 -prec=bf16 -repeat=1000
$EXE -t=700 -h=4080 -v=1 -prec=bf16 -repeat=1000
$EXE -t=700 -h=80 -v=1 -prec=fp16 -repeat=1000
$EXE -t=700 -h=128 -v=1 -prec=fp16 -repeat=1000
$EXE -t=700 -h=144 -v=1 -prec=fp16 -repeat=1000
$EXE -t=700 -h=168 -v=1 -prec=fp16 -repeat=1000
$EXE -t=700 -h=184 -v=1 -prec=fp16 -repeat=1000
$EXE -t=700 -h=256 -v=1 -prec=fp16 -repeat=1000
$EXE -t=700 -h=288 -v=1 -prec=fp16 -repeat=1000
$EXE -t=700 -h=344 -v=1 -prec=fp16 -repeat=1000
$EXE -t=700 -h=376 -v=1 -prec=fp16 -repeat=1000
$EXE -t=700 -h=448 -v=1 -prec=fp16 -repeat=1000
$EXE -t=700 -h=512 -v=1 -prec=fp16 -repeat=1000
$EXE -t=700 -h=924 -v=1 -prec=fp16 -repeat=1000
$EXE -t=700 -h=1024 -v=1 -prec=fp16 -repeat=1000
$EXE -t=700 -h=1078 -v=1 -prec=fp16 -repeat=1000
$EXE -t=700 -h=1996 -v=1 -prec=fp16 -repeat=1000
$EXE -t=700 -h=4080 -v=1 -prec=fp16 -repeat=1000

30
example/ck_tile/14_moe_smoothquant/script/smoke_test.sh Executable file
View File

@@ -0,0 +1,30 @@
#!/bin/sh
EXE=build/bin/tile_example_moe_smoothquant
for pr_i in "fp16" "bf16" ; do
$EXE -prec=$pr_i -t=99 -h=13
$EXE -prec=$pr_i -t=17 -h=16
$EXE -prec=$pr_i -t=1 -h=100
$EXE -prec=$pr_i -t=4 -h=128
$EXE -prec=$pr_i -t=80 -h=127
$EXE -prec=$pr_i -t=22 -h=255 -stride=256
$EXE -prec=$pr_i -t=7 -h=599
$EXE -prec=$pr_i -t=19 -h=512
$EXE -prec=$pr_i -t=33 -h=313 -stride=1000
$EXE -prec=$pr_i -t=11 -h=510
$EXE -prec=$pr_i -t=171 -h=676 -stride=818
$EXE -prec=$pr_i -t=91 -h=636
$EXE -prec=$pr_i -t=12 -h=768 -stride=800
$EXE -prec=$pr_i -t=100 -h=766 -stride=812
$EXE -prec=$pr_i -t=31 -h=1024
$EXE -prec=$pr_i -t=64 -h=1000 -stride=1004
$EXE -prec=$pr_i -t=8 -h=1501
$EXE -prec=$pr_i -t=3 -h=1826
$EXE -prec=$pr_i -t=5 -h=2040
$EXE -prec=$pr_i -t=7 -h=2734
$EXE -prec=$pr_i -t=1 -h=3182
$EXE -prec=$pr_i -t=9 -h=4096
$EXE -prec=$pr_i -t=3 -h=8192
$EXE -prec=$pr_i -t=1 -h=10547
$EXE -prec=$pr_i -t=3 -h=17134
done