通义千问2.5一0.5B一instruct下载使用
今天把通义千问2.5一0.5B一instruct下载后在Anaconda中试了下，质量确实远不如7B，表现是普通问题同一问一字不变有时会正确，有时完全乱来，信息抽取难以命中意图，优点仅九百多兆存储，估计边缘计算要用的话狭窄领域微调后可用。我主要是看中它硬件要求极低，没独显一般电脑也能用，教室大屏一体机也能本地安装后学生初步学习AI大模型实践。 windows和linux中它本身可以不用安装，从modelscope下载模型即权重、结构多个文件到硬盘上自建空文件夹中就行，使用时要先有transformers和pytorch等，建议装anaconda，自带或方便装transformers、jupyter等，之后就可直接通过transformers的两大子模块使用此AI了。 无独显的机器不需要cuda，只需要在创建模型时指定cpu即可，当然，后面将字符串转成tokens时，tokenizer要用to('cpu')指定算力设备。无独显运算会比较慢，会等分钟级时间才会出较短生成文本。 锄禾日当午，发帖真辛苦。谁知坛中餐，帖帖皆辛苦！
页:
[1]