本地快速部署谷歌开放模型Gemma教程(基于LMStudio)

news/2024/4/17 7:13:39

本地快速部署谷歌开放模型Gemma教程(基于LMStudio)

  • 一、介绍 Gemma
  • 二、部署 Gemma
    • 2.1 部署工具
    • 2.1 部署步骤
  • 三、总结

一、介绍 Gemma

在这里插入图片描述
Gemma是一系列轻量级、最先进的开放式模型,采用与创建Gemini模型相同的研究和技术而构建。可以直接运行在本地的电脑上,无GPU也可以运行,只用CPU即可,只不过速度慢点。

二、部署 Gemma

2.1 部署工具

使用 Windows 环境 + LM Studio + Mix Copilot 二个工具部署Gemma,LM Studio 用来运行模型,Mix Copilot 用于可视化操作使用。

LM Studio:https://lmstudio.ai/

LM Studio 是一个发现、下载和运行本地LLMs的软件

通过 LM Studio,您可以…
🤖 - 在您的笔记本电脑上运行LLMs,完全离线
👾 - 通过应用内聊天 UI 或 OpenAI 兼容的本地服务器使用模型
📂 - 从 HuggingFace 🤗 存储库下载任何兼容的模型文件
🔭 - 在应用程序主页中发现新的、值得注意的LLMs

在这里插入图片描述

Mix Copilot:https://www.mix-copilot.com/

在这里插入图片描述

MiX Copilot支持任何符合OpenAI接口规范的LLM接入,您开启本地LLM应用后,只要将端口在设置页填写就可以使用。

重点功能介绍

  1. 从网上爬取数据并保存本地
  2. 允许通过Workflow Combo生成知识
  3. 允许通过关键词搜索自己的知识库
  4. 可以通过编辑器低成本构建自己的工作流
  5. 允许通过多Tab方式发起多个LLM对话
  6. 阅读文章时召唤“专家”解答问题

2.1 部署步骤

  1. 下载模型:地址为https://huggingface.co/lmstudio-ai/gemma-2b-it-GGUF/tree/main,得到名为gemma-2b-it-q8_0.gguf的模型文件

在这里插入图片描述

  1. 下载并安装工具 LM Studio 和 MiX Copilot
  2. LM Studio 配置

设置模型路径:在models目录下新建目录Publisher\Repository,将模型文件移动到Repository中,重启LM Studio即可。(不新建目录会出现提示You have 1 uncategorized model files
在这里插入图片描述

启动模型服务

在这里插入图片描述

设置端口

开启成功
在这里插入图片描述

你也可以直接使用加载的模型在 LMStudio 中的 AI Chat

在这里插入图片描述

  1. MiX Copilot 配置

大语言模型设置,API URL地址
在这里插入图片描述

5.开始使用

在这里插入图片描述

三、总结

此教程用于基于Windows系统的部署,可根据自身需求定制部署环境,灵活调整配置参数,满足个性化需求。对模型和数据拥有完全控制权,可自由进行二次开发和扩展。


https://www.xjx100.cn/news/3293464.html

相关文章

前端使用类和方法封装的区别

在前端开发中,使用类和方法封装都是常见的方式来组织和管理代码。它们之间的主要区别在于: 类封装: 面向对象:类是面向对象编程的核心概念,通过类可以创建对象,对象可以包含属性和方法。封装性:…

uniapp 如何嵌套H5 页面?

如何在 uniapp项目中 嵌套h5页面 在UniApp中可以通过使用 web-view 组件来嵌入H5页面。 首先需要安装uni-app的依赖包,然后创建一个新的页面(比如名为"WebPage.vue")作为容器页面,并将其放置于pages目录下。 接下来&…

【前端入门】设计模式+单多页+React

设计模式是一种解决特定问题的经验总结,它提供了经过验证的解决方案,可以在软件开发过程中使用。设计模式可以帮助前端开发人员更有效地组织和管理代码,并提供一种共享的语言和框架,以便与其他开发人员进行交流。 以下是一些常见…

Langchain-Chatchat:离线运行的大模型知识库 | 开源日报 No.182

chatchat-space/Langchain-Chatchat Stars: 22k License: Apache-2.0 基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现的开源、可离线部署的检索增强生成 (RAG) 大模型知识库项目。该项目是一个可以实现完全本地化推理的知识库增强方案,重点解决数据安全保护…

django-admin登录窗口添加验证码功能-(替换原有的login.html)captcha插件

需求: 1:更改django框架的admin登录窗口标题 2:在admin登录窗口中添加验证码功能 3:验证码允许点击更换 步骤如下: 1:安装插件以及在安装列表中添加插件 2:自定义表单forms.py 3:创建login.html文件(复制django内置的l…

深度学习-Pytorch同时使用Numpy和Tensors各自特效

深度学习-Pytorch同时使用Numpy和Tensors各自特效 用pytorch构建模型,并训练模型,得到一个优化的模型,那么模型构造的数据类型怎样的? 数据分析 数据分析-Pandas如何转换产生新列 数据分析-Pandas如何统计数据概况 数据分析-…

笔记:GO1.19 带来的优化(重新编译juicefs)

## 背景 go编写的应用程序(juicefs)在k8s(docker)中运行,时不时出现 OOM Killed。 ## 分析 发现某些应用使用juicefs会导致内存使用飙升; k8s的pod给的内存资源:request 2G,limit…

括号生成(力扣题目22)

题目描述: 数字 n 代表生成括号的对数,请你设计一个函数,用于能够生成所有可能的并且 有效的 括号组合。 示例 1: 输入:n 3 输出:["((()))","(()())","(())()&q…