在Redhat 7 Linux上安装llama.cpp

news/2024/4/17 7:53:31

正常安装的错误信息

安装 gcc 和gcc-c++ 之后,你运行Make 命令编译llama.cpp的时候,你会发现下面问题。

yum -y install gcc --nogpgcheckyum -y install gcc-c++ --nogpgcheck

错误信息, 因为gcc 的版本是4.8

cc  -I. -Icommon -D_XOPEN_SOURCE=600 -D_GNU_SOURCE -DNDEBUG  -std=c11   -fPIC -O3 -Wall -Wextra -Wpedantic -Wcast-qual -Wno-unused-function -Wshadow -Wstrict-prototypes -Wpointer-arith -Wmissing-prototypes -Werror=implicit-int -Werror=implicit-function-declaration -pthread -march=native -mtune=native -Wdouble-promotion    -c ggml.c -o ggml.oggml.c:92:23: fatal error: stdatomic.h: No such file or directory#include <stdatomic.h>^compilation terminated.make: *** [ggml.o] Error 1

解决方法

1. 从下面连接下载 gcc-12.2.0 

Index of /gnu/gcc/releases/gcc-12.2.0

2. 解压下载的gcc-12.2.0.tar.gz

tar xvf gcc-12.2.0.tar.gz

3. 用root权限运行下面命令

yum -y install gmp-devel mpfr-devel libmpc-devel --nogpgcheck

4. 运行下面命令安装gcc 12.2.0 版本

cd gcc-12.2.0./configure --disable-multilib --enable-languages=c,c++# change -j <cores_num> if you have more cpu cores for building be fastermake -j 4make installgcc --versionexport CC=gccexport LD_LIBRARY_PATH=/usr/local/lib:/usr/lib:/usr/local/lib64:/usr/lib64

5. 下载和编译llama.cpp

​
git clone https://github.com/ggerganov/llama.cpp.gitcd llama.cppmake

或者直接下载后运行make命令

GitHub - ggerganov/llama.cpp at llama_server_completions

6. 运行llama.cpp

./main -m ./models/llama-2-7b-chat.Q4_0.gguf --color --ctx_size 2048 -n -1 -ins -b 256 --top_k 10000 --temp 0.2 --repeat_penalty 1.1 -t 8

其它

在redhat8 上直接安装gcc, gcc-c++ ,  然后编译llama.cpp就可以了

yum -y install make --nogpgcheck
yum -y install gcc --nogpgcheck
yum -y install gcc-c++ --nogpgcheck


https://www.xjx100.cn/news/3293515.html

相关文章

Groovy(第九节) Groovy 之单元测试

JUnit 利用 Java 对 Song 类进行单元测试 默认情况下 Groovy 编译的类属性是私有的,所以不能直接在 Java 中访问它们,必须像下面这样使用 setter: 编写这个测试用例余下的代码就是小菜一碟了。测试用例很好地演示了这样一点:用 Groovy 所做的一切都可以轻易地在 Java 程序…

unity 场景烘焙中植物叶片(单面网络)出现的白面

Unity版本 2021.3.3 平台 Windows 在场景烘焙中烘焙植物的模型的时候发现植物的叶面一面是合理的&#xff0c;背面是全白的&#xff0c;在材质球上勾选了双面烘焙&#xff0c;情况如下 这个问题可能是由于植物叶片的单面网格导致的。在场景烘焙中&#xff0c;单面网格只会在一…

【Linux】协议定制序列化反序列化

文章目录 1. TCP协议的通信流程2. 应用层协议定制3. 通过“网络计算器”的实现来实现应用层协议定制和序列化3.1 protocol3.2 序列化和反序列化3.2.1 手写序列化和反序列化3.2.2 使用Json库 3.3 数据包读取3.4 服务端设计3.5 最后的源代码和运行结果 1. TCP协议的通信流程 在之…

Java Spring Boot面试题解析

1. 什么是 Spring Boot&#xff1f;【重点】 多年来&#xff0c;随着新功能的增加&#xff0c;Spring变得越来越复杂&#xff1b;一个Spring项目&#xff0c;我们必须做添加构建路径或添加Maven依赖关系&#xff0c;配置应用程序服务器&#xff0c;添加Spring配置等工作&#…

C++多线程学习06

参考 参考资料:恋恋风辰官方博客 测试异步执行std::async #include <iostream> #include <future> #include <chrono> #include <string>// 模拟一个从数据库查询的操作 std::string fetchDataFromDB(std::string query) {// 模拟一个耗时操作std::…

高防服务器托管应注意什么

选择高防服务器托管主要考虑的因素&#xff1a;1.服务商的服务器大小。2.服务器的防御值大小。3.服务器机房的位置以及机房的资质。 具体内容如下&#xff1a; 1&#xff0e;服务器大小是按照U来定的&#xff0c;U是一种表示服务器外部尺寸的单位(计量单位&#xff1a;高度或厚…

ARM系列 -- 虚拟化(三)

为了实现虚拟化&#xff0c;虚拟机需要控制系统资源。但是实际的系统资源是在hypervisor直接控制之下&#xff0c;为了实现隔离和安全等方面的考虑&#xff0c;不可能让虚拟机直接控制这些系统资源。 比如&#xff0c;虚拟机想根据具体情况去做电源管理。一个解决办法就是利用…

Docker部署Portainer图形化管理工具

文章目录 前言1. 部署Portainer2. 本地访问Portainer3. Linux 安装cpolar4. 配置Portainer 公网访问地址5. 公网远程访问Portainer6. 固定Portainer公网地址 前言 Portainer 是一个轻量级的容器管理工具&#xff0c;可以通过 Web 界面对 Docker 容器进行管理和监控。它提供了可…