1. 先說我耍笨了,野口兄說的對,該用ROCM版本,但官網的HIP版本不能用在780M上,但總有其他好心人會去build,所以這裡的可以:
https://github.com/lemonade-sdk/llamacpp-rocm/releases
2. 現在測試結果沒比先前用的Vulkan版快多少(已把-t 8改為-t 4),大概受頻寬限制,快不起來。
3. 另外我把模型改為Q5_K_M,翻譯一篇英文文章大概是每秒12.48 token。我想我這7840U搭配780M的組合大概就是這樣,對我來說這速度當然比不上各雲端AI,但這兩三年前買的機器還能跑大模型的AI已經讓我相當滿意了,就先收工,有機會再試AnythingLLM。