chatglm吧 关注:286贴子:453
  • 5回复贴,共1
为什么我的4060 8g显存。16g内存。显卡占有率满了跑glm3量化4还是很慢啊。十秒一个字的样子


IP属地:北京来自Android客户端1楼2024-05-16 01:26回复
    我懂了。我量化没成功。共享gpu和专用gpu一共16g,所以没量化就没报错。改好之后就是占用5g显存了。这下一秒七八个字的速度真舒服


    IP属地:北京来自Android客户端2楼2024-05-16 11:32
    收起回复


      IP属地:北京来自Android客户端3楼2024-05-31 11:20
      回复