llama.cpp运行qwen0.5B

news/2024/4/17 8:41:54

编译llama.cp

参考

下载模型

05b模型下载

转化模型

创建虚拟环境

conda create --prefix=D:\miniconda3\envs\llamacpp python=3.10
conda activate D:\miniconda3\envs\llamacpp

安装所需要的包

在这里插入图片描述

cd G:\Cpp\llama.cpp-master
pip install -r requirements.txt
python convert.py -h

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
执行转换命令

python convert.py G:\Python\Qwen1.5-0.5B-Chat --outfile G:\Cpp\qwenchat0.5b.gguf --outtype q8_0
python convert-hf-to-gguf.py G:\Python\Qwen1.5-0.5B-Chat  --outfile G:\Cpp\qwenchat0.5b.gguf
# 解释
# python 
# convert.py # convert.py路径
# /content/finetuned-2_merged # 模型路径
# --outfile finetuned-2.gguf # 要分配的gguf模型名称
# --outtype q8_0 #以8 Bit量化

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

将模型量化为5Bit(使用q5_k-m方法)

quantize.exe G:\Cpp\qwenchat0.5b.gguf qwenchat0.5b-q5_k_m.gguf q5_k_m

在这里插入图片描述
在这里插入图片描述
运行

# 注意Qwen模型要使用chatml prompt 模版
main.exe -m qwenchat0.5b-q5_k_m.gguf -n 512 --chatml

在这里插入图片描述

尝鲜通义千问1.8B
参考
hf2gguf


https://www.xjx100.cn/news/3366205.html

相关文章

软件赋能新型工业化,数智培育新质生产力——第二届软件创新发展大会蓄势待发

我国正在加快培育新质生产力,赋能新型工业化,软件作为新质生产力的基石与引擎,发展机遇空前。武汉是中国软件产业的重要一极,以其独特的地理优势和坚实的产业基础,正逐渐成为国内外瞩目的软件产业集聚发展高地。 武汉发…

从零到一:基于 K3s 快速搭建本地化 kubeflow AI 机器学习平台

背景 Kubeflow 是一种开源的 Kubernetes 原生框架,可用于开发、管理和运行机器学习工作负载,支持诸如 PyTorch、TensorFlow 等众多优秀的机器学习框架,本文介绍如何在 Mac 上搭建本地化的 kubeflow 机器学习平台。 注意:本文以 …

即将截稿 CCF-A多媒体顶会ACM MM‘24 北京时间4月9日提交摘要

会议之眼 快讯 第32届ACM MM (ACM MULTIMEDIA)即国际多媒体会议将于 2024 年 10月28 -日11月1日在澳大利亚墨尔本隆重举行!MM是由ACM(Association for Computing Machinery,计算机协会)主办的国际性学术会议,是计算机…

统筹学问题

七桥问题 凡是由偶点组成的连通图,一定可以一笔画成。画时可以把任一偶点为起点,最后一定能以这个点为终点画完此图。凡是只有两个奇点的连通图(其余都为偶点),一定可以一笔画成。画时必须把一个奇点为起点,另一个奇点为终点。其…

一维数组内存分析+多维数组

一维数组内存分析 Java虚拟机的内存划分内容主要结构举例1:基本使用举例2:两个变量指向一个一维数组 多维数组使用多维数组概述二维数组的定义二维数组的声明和初始化声明初始化 二维数组元素调用二维数组元素的长度二维数组元素的遍历二维数组的默认初始…

实战篇:商品API接口在跨平台销售中的有效运用与案例解析

引言 随着电子商务的蓬勃发展,企业为了扩大市场覆盖面,经常需要在多个在线平台上展示和销售产品。然而,手工管理多个平台的库存、价格、商品描述等信息既耗时又容易出错。商品API接口在这一背景下显得尤为重要,它能够帮助企业在不…

HarmonyOS 应用开发之自定义组件冻结功能

自定义组件处于非激活状态时,状态变量将不响应更新,即Watch不会调用,状态变量关联的节点不会刷新。通过freezeWhenInactive属性来决定是否使用冻结功能,不传参数时默认不使用。支持的场景有:页面路由,TabCo…

Java小课堂 第六章 封装(上)

6.1、软件编程发展的历史【了解】 第一代语言:机器语言 机器语言由机器指令集构成,能够直接被机器执行。 机器语言写的程序存在不便于阅读、难以记忆的问题。 机器语言具有灵活、直接执行和速度快等特点。 不同型号的计算机其机器语言是不相通的。 …