4060ti16G使用deepseekr1千问7Bint8

追忆杏花村 · 发表于 4 天前

pip安装了vllm，再从modelscope下载了模型权重等，没用github的模型使用程序，直接参考的VLLM的用法。问了重庆市旅游好玩的地方及字符串某字母计数，虽然是7B且Int8量化，效果还真不错。下面先上图。

风情不只万种。 · 发表于 4 天前

冷漠的回应 · 发表于 4 天前

上面问题都是断了网问的，确定不可能远程服务器作弊。

亡鱼深海花夕拾 · 发表于 4 天前

膜拜神贴，后面的请保持队形~