|
||
|
Major Member
 加入日期: Dec 2015
文章: 211
|
引用:
突然想到一件事情，如果我這個UI前端改用C++實現，你會接受嗎？ |
||||||||
2026-04-10, 03:41 PM
#31
|
|
|
Senior Member
加入日期: Sep 2001 您的住址: 淡水
文章: 1,354
|
引用:
不是用哪種語言實作的問題。 Agent 有很多地方可以優化。 看看之前 claude agent source code 洩漏，多少人去挖寶。 不用真的閉門造車。 |
|||
|
2026-04-10, 03:46 PM
#32
|
|
|
Master Member
  加入日期: Sep 2001 您的住址: K
文章: 1,510
|
感謝建議，是否使用ROCM的問題我也問過Gemini。
它給的建議是Vulkan足矣，它也建議我使用GPU + GPU混合的模式， 所以才會有-ngl 99 -t8 的組合。 Gemini也說我的環境不需要--fit on --fit-target 128，原因在我的VRAM為32G。 全部的東西載入後應該只會佔用22G的空間，剩下10G應該足夠給windows繪製畫面使用。 另外我用的作業系統是windows，除非我打開WSL，否則我也只有Vulkan這個版本可以選。 引用:
|
|
|
2026-04-10, 04:16 PM
#33
|
|
|
Elite Member
加入日期: Mar 2001 您的住址: Rivia
文章: 7,071
|
引用:
你有時間的話可以自己去試 我已經直接告訴你 ai 可以寫出能動的東西 但他不知道什麼叫做"簡潔高效" 現在 ai 寫不出跟人類一樣高性能的解析器 你可以去寫看看，然後發 PR 到 llama.cpp 看他們接不接受 我只是一個網路上的路人 沒有什麼接不接受的問題 重點是 llama.cpp 他們接不接受你的代碼
__________________
Folding@home with GPGPU集中討論串 Unix Review: ArchLinux●Sabayon●OpenSolaris 2008.5●Ubuntu 8.10 AVs Review: GDTC●AntiVir SS●ESS●KIS 09●NIS 09●Norton 360 V3  I Always Get What I Want. |
|
|
2026-04-10, 04:19 PM
#34
|
|
|
Elite Member
加入日期: Mar 2001 您的住址: Rivia
文章: 7,071
|
引用:
ROCM 跟 Vulkan 性能差很多 你可以裝個 opencode，讓 agent 在你的環境下編譯 llama.cpp AMD GPU 會選擇 Vulkan 做後端 那已經是去年的事情，ROCM 目前在 RDNA 3/3.5/4 都支援的很好 沒有選擇的時候才會用 Vulkan
__________________
Folding@home with GPGPU集中討論串 Unix Review: ArchLinux●Sabayon●OpenSolaris 2008.5●Ubuntu 8.10 AVs Review: GDTC●AntiVir SS●ESS●KIS 09●NIS 09●Norton 360 V3 I Always Get What I Want. |
|
|
2026-04-10, 04:29 PM
#35
|
|
|
Regular Member
 加入日期: Feb 2015
文章: 65
|
燒點錢，claude code直接用opus不好嗎?
自己維護模型簡直是個大坑 |
|
2026-04-10, 09:09 PM
#36
|
|
|
Master Member
加入日期: Sep 2001 您的住址: K
文章: 1,510
|
1. 先說我耍笨了，野口兄說的對，該用ROCM版本，但官網的HIP版本不能用在780M上，但總有其他好心人會去build，所以這裡的可以：
https://github.com/lemonade-sdk/llamacpp-rocm/releases 2. 現在測試結果沒比先前用的Vulkan版快多少(已把-t 8改為-t 4)，大概受頻寬限制，快不起來。 3. 另外我把模型改為Q5_K_M，翻譯一篇英文文章大概是每秒12.48 token。我想我這7840U搭配780M的組合大概就是這樣，對我來說這速度當然比不上各雲端AI，但這兩三年前買的機器還能跑大模型的AI已經讓我相當滿意了，就先收工，有機會再試AnythingLLM。 此文章於 2026-04-12 02:00 PM 被 substar999 編輯. |
|
2026-04-11, 08:37 PM
#37
|
|
|
Senior Member
加入日期: Sep 2001 您的住址: 淡水
文章: 1,354
|
|
|
2026-04-20, 10:37 PM
#38
|
|
