mirror of
https://github.com/kvcache-ai/ktransformers.git
synced 2026-05-05 21:52:50 +00:00
933 B
933 B
KVC2
Build
运行以下命令编译kvc2,注意可能需要 sudo 权限安装一些依赖
git clone https://github.com/kvcache-ai/kvc2
cd kvc2
./install_deps.sh
mkdir build
cd build
cmake ..
make -j && make install
编译完成后会生成build/output,包含kvc2_ext.cpython-312-x86_64-linux-gnu.so和kvc2_utils.py方便调用。
Troubleshooting
在 Python 环境运行时,可以需要在 conda 中安装相关的依赖。
conda install -c conda-forge gcc_linux-64 gxx_linux-64
也可以尝试设置一下环境变量,然后再运行。
export LD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH
export LD_PRELOAD=/usr/lib/x86_64-linux-gnu/libffi.so.7