本地化部署AI语言模型RWKV指南,ChatGPT顿时感觉不香了。

news/2023/11/29 22:26:02

之前由于ChatGpt处处受限,又没法注册的同学们有福了,我们可以在自己电脑上本地化部署一套AI语言模型,且对于电脑配置要求也不是非常高,对它就是RWKV

关于RWKV

RWKV是一个开源且允许商用的大语言模型,灵活性很高且极具发展潜力,它是一种纯 RNN 的架构,能够进行语言建模,目前最大参数规模已经做到了 14B,该模型训练由Stability赞助。本文发布时RWKV在GitHub上已获得7.8k stars,还在迅速增长中。

RWKV官方仓库:https://github.com/BlinkDL/RWKV-LM

RWKV-Runner

开源仓库地址:https://github.com/josStorer/RWKV-Runner
下载地址(RWKV目录):https://pan.baidu.com/s/1wchIUHgne3gncIiLIeKBEQ?pwd=1111

RWKV-Runner是RWKV的管理和启动工具,由大神 国服第一海豹 制作并开源,它旨在降低大语言模型的使用门槛,做到人人可用,提供了全自动化的依赖和模型管理,你只需要直接点击运行,跟随引导,即可完成本地大语言模型的部署,工具本身体积极小,只需要一个exe即可完成一键部署。

此外,RWKV也提供了与OpenAI API完全兼容的接口,这意味着你可以把任意ChatGPT客户端用作RWKV的客户端,实现能力拓展,而不局限于聊天。

项目介绍

部署RWKV

访问 RWKV开源仓库地址

进入 Release 找到最新版1.1.0

在这里插入图片描述
下载 RWKV-Runner_windows_x64.exe 文件
在这里插入图片描述
将执行程序存放到单独目录中,此目录将作为系统根目录,执行启动器后所有的依赖将安装至此
在这里插入图片描述

启动程序,根据自己的PC显卡配置选择语言模型,并点击启动

在这里插入图片描述

程序启动后自动安装Python、Pytouch等依赖,以及所选择的模型语言库,等所所有需要的内容都下载完毕后就可以开始体验了,部署就是如此简单。

主页

在这里插入图片描述

聊天

补全

在这里插入图片描述

配置

在这里插入图片描述

模型管理

在这里插入图片描述

下载管理

在这里插入图片描述

设置

在这里插入图片描述

聊天实例

启动中文模型,由于我的笔记本电脑配置并不是很高,只能启用 GPU-4G-7B-CN 这个模型,当看到 模型状态:运行中 变绿时就可以开始提问了。

我简单提了两个问题,计算机在收到问题后开始疯狂的运算,文字输出并不快,移动鼠标会感觉到电脑卡顿,在经过几分钟的等待后,RWKV给出了完整的回答。

在这里插入图片描述

介绍一下 linux

Linux是一种开源的操作系统,它具有高度的可定制性和灵活性。Linux可以在多种硬件上运行,包括服务器、个人电脑、移动设备等。Linux被广泛用于Web服务器、嵌入式系统、桌面应用程序等领域。

如何学习Linux

学习Linux的最佳方法是通过阅读相关的书籍和文档,以及参加在线课程和培训。此外,还可以参加Linux社区的活动和讨论,与其他Linux用户交 学习Linux的最佳方法是通过实践和经验积累。以下是一些学习Linux的建议:

阅读文档和手册:Linux的用户手册和官方文档非常详细,它们可以帮助你了解Linux的基本概念、系统组件和命令行工具。
安装Linux操作系统:在学习Linux之前,你需要先安装一个Linux操作系统。你可以选择使用Ubuntu、Debian或Fedora等流行的发行版。
编写Shell脚本:Shell脚本是用于自动化任务的脚本文件,它们可以帮助你更高效地管理服务器和网络设置。
参加社区活动:参加Linux社区活动可以帮助你与其他开发人员交流并学习新技能。
持续学习: Linux是一个不断发展的领域,因此保持对新技术和趋势的关注非常重要。通过阅读技术博客、参加线上课程或与其他开发人员交流来保持对最新技术的了解。
总之,学习Linux需要耐心和时间,但通过不断实践和探索,你将获得更深入的了解和更广泛的应用场景。


https://www.xjx100.cn/news/444371.html

相关文章

网络协议 -- UDP协议(3)广播

UDP的广播和单播的不同在于发送端(接收端的实现和单播方式没有区别)的实现上: 1. 发送端将套接字配置为发送广播消息,使用setsockopt函数。 2. 发送地址更改为受限的广播地址255.255.255.255。 需要说明的是广播地址不仅仅只有255.255.255.255一个。广播地址分为受限的广…

udp 广播与组播

UDP组播是采用的无连接,数据报的连接方式,所以是不可靠的.也就是数据能不能到达接受端和数据到达的顺序都是不能保证的.但是由于UDP不用保证数据的可靠性,所有数据的传送速度是很快的. 1. 组播的“根” 组播从概念上来讲分为两部分:控制部分和数据部分。控制部分决…

UDP 收/发 广播包

网络通信基础 如果网络中两个主机上的应用程序要相互通信,其一要知道彼此的IP,其二要知道程序可监听的端口。因为同一主机上的程序使用网络是通过端口号来区分的。 UDP Socket的使用过程: 1. 初始化网络库 2. 创建SOCK_DGRAM类型的Socket…

UDP广播:一对多数据发送

一、怎么样进行UDP一对多数据发送? 1.很容易想到的一种方法是:如果一个client 要向其他其他100个server发送数据,那应该怎么办?如果我知道其他100个 server的ip地址 和 端口号就可以了,那么我们在一对一的进行发送就可…

UDP广播与多播

一、UDP广播 1、广播的概念 使用UDP协议进行信息的传输之前不需要建议连接。换句话说就是客户端向服务器发送信息,客户端只需要给出服务器的ip地址和端口号,然后将信息封装到一个待发送的报文中并且发送出去。至于服务器端是否存在,或者能否…

基于 UDP 的 组播、广播详解

背景 有些时候我们在网络通信中也需要用到 组播(多播)、广播。现在我们来介绍如何实现。 建议:在此之前,关闭防火墙。 ubuntu: service ufw stop windows: 控制面板关闭 有关知识 基本概念 单播:两个主机间单对单的…

广播 UDP 发送与接收

发送方&#xff1a; /* * 文件名称&#xff1a;sendto.c * 创 建 者&#xff1a; * 创建日期&#xff1a;2022年09月08日 * 描 述&#xff1a; */ #include <stdio.h> #include <sys/types.h> /* See NOTES */ #include <arpa/…

UDP 单播、广播和多播

阅读目录(Content) 目录 一、UDP广播 二、UDP多播 1、多播&#xff08;组播&#xff09;的概念 2、广域网的多播 3、多播程序设计的框架 4、多播实现代码 三、UDP广播与单播 广播与单播的比较 使用UDP协议进行信息的传输之前不需要建议连接。换句话说就是客户端向服务器…