单4060ti16G运行qwq-32b-gptq-int4

让眼泪放纵 · 发表于 4 天前

生成质量确实好，但耗时不能忍。

媚颜如花 · 发表于 4 天前

只截了部分图，中间多个部分没截省了。

单4060ti16G运行qwq-32b-gptq-int4-1.jpg

温存记忆﹌ · 发表于 4 天前

是4096截断token

那回忆很美 · 发表于 4 天前

我的主板较老，AMD20年的CPU和微星主板，不支持PCIE4.0，显存内存间传输会较慢，用内存暂存显存内容时，数据页交换会很吃亏，而内存也只是DDR4。

共眠 · 发表于 4 天前

期盼国产算力突破，早日万元出头能买到接近4090的卡，添5千48G显存。

时间让我迷茫 · 发表于昨天 13:22

楼主，我这人不太会说话，如果有什么冒犯的地方，你他妈来打我啊！

[聊技术] 单4060ti16G运行qwq-32b-gptq-int4