ktransformers編譯成功之後運行卡在sched_rpc started with PID: xxxx不動了

這裡說的是ktransformers 0.3.2版本, 這個版本的亮點是引入了0.2.4版本有的多線程對話功能，還有緩存機制，但是因為緩存機制似乎設計方面有點趕時間，所以會有一些人反饋報錯。

故障現象

控制台列印了以下兩行運行信息後, 停在原地不動了:

Getting inference context from sched_client.

sched_rpc started with PID: xxxx

在github上有相關的討論帖子

https://github.com/kvcache-ai/ktransformers/issues/1430

與rpc關鍵詞有關的故障, 可以通過~/.ktransformers/logs/rpc.log根據具體問題進行debug, 但是這個有點不太一樣。

解決方法

你需要在以下兩個地方的配置文档是否有錯誤

1. ~/.ktransformers/config.yaml

2. 你的ktransformers安裝路徑/ktransformers/configs/config.yaml

把這兩個文档裡的kvc緩存路徑, 改成一樣的路徑就可以了。

之後再檢查一下緩存目錄是否滿了, 或者權限不足, 為了保險起見, 直接設置為0777即可

例如

chmod -R 777 你的緩存目錄位置

如果你一台機子編譯過若干個ktransformers版本, 注意遷移~/.ktransformers目錄到別的地方備份, 不然可能會導致意外的運行錯誤。