自学内容网 自学内容网

AI大模型(一)基于DeepSeek的本地大模型部署保姆级教程

AI大模型(一)基于DeepSeek的本地大模型部署保姆级教程

DeepSeek开源大模型在榜单上以黑马之姿横扫多项评测,其社区热度指数暴涨、一跃成为近期内影响力最高的话题,这个来自中国团队的模型向世界证明:让每个普通人都能拥有媲美GPT-4o的智能体,不再是硅谷巨头的专利。随着DeepSeek的爆火和出圈、以及社区的完善和上手门槛的降低,AI大模型与普通人的距离也越来越近,对AI大模型的使用在未来很可能会成为一项主流的工作技能。基于此,本系列文章将以DeepSeek为例,从本地大模型部署、可视化服务UI、本地知识库搭建、大模型部署调优、破除大模型限制以及角色定制、酒馆使用等方面进行保姆级教学(前两篇免费公开,后续文章请移步付费专栏或知识星球观看,陆续更新中…),让你轻松玩转大模型,享受大模型带来的便利与乐趣。

在这里插入图片描述

一. 安装Ollama工具

Ollama 下载地址: https://ollama.com/download

Ollama 模型仓库: https://ollama.com/search

Ollama Github: https://github.com/ollama/ollama

随着大语言模型(Large Language Model,LLM)的飞速发展,手动方式下的源大模型文件在本地的部署和配置过程都十分复杂,极大提高了大模型使用的门槛和管理难度。基于此,Ollama是一个开源的、主要基于Go开发的专注于大语言模型(LLM)运行与管理的服务框架,其定位类似于Docker、Node.js等工具,支持通过简单命令行的方式轻松实现大模型的安装、部署与使用。

在这里插入图片描述

在官网选择对应的系统(以Windows为例),点击下载完成后双击打开安装文件(下载较慢的可以复制下载链接后丢给迅雷),然后点击Install等待安装完成即可(Ollama默认不支持修改安装路径,只能安装在C盘):

在这里插入图片描述

Ollama安装完成后,发现桌面上是没有Ollama快捷方式的,我们需要在cmd命令行中与Ollama进行交互,输入ollama -v可以看到输出Ollama的安装版本,则说明安装成功:

在这里插入图片描述

除此之外,Ollama安装完成并运行后,会自动监听本地11434端口即localhost:11434,在浏览器中访问该地址可以看到Ollama的运行状态,后期可以用于对接外部服务。

在这里插入图片描述

1. 修改模型存储位置

Windows系统下,Ollama默认安装到C盘,博主本地的安装路径为C:\Users\用户名\AppData\Local\Ollama;同时,Ollama中管理的模型会默认下载到C:\Users\用户名\.ollama\models下。一般来说,我们下载的模型都是很大的,而C盘的大小一般都比较重要,因此我们需要将模型的存储位置进行修改。

假设我在本地新建文件夹D:\Ollama\models,然后在环境变量中修改系统变量新建一个名为OLLAMA_MODELS的变量,变量值设置为刚刚用于保存模型的文件夹路径并确定保存,保存完成后重启电脑或Ollama服务则变量即可生效,此时重新下载模型就会安装到我们指定的存储位置。

在这里插入图片描述

2. 设置全局地址访问

Ollama运行过程中会默认监听本地11434端口,当我们访问localhost:11434127.0.0.11434地址时都可以正常访问本地Ollama服务;但是如果我们通过本地局域网地址访问时则会出现无法访问此网站的现象。

在这里插入图片描述

在这里插入图片描述

为了后续可以使用本机搭建对外服务,需要将Ollama设置为全局地址监听访问。该过程同修改模型存储路径一样,首先需要在环境变量中修改系统变量新建一个名为OLLAMA_HOST的变量,变量值设置为0.0.0.0:11434并确定保存(这里也可以同时修改监听端口号),保存完成后重启电脑或Ollama服务即可生效,可以正常访问局域网地址。

在这里插入图片描述

在这里插入图片描述

二. 下载DeepSeek-R1模型

Ollama下载并安装完成后,我们接下来需要到Ollama的官方仓库中搜索deepseek-r1的模型及其安装命令,可以看到deepseel-r1模型具有多个参数量的版本可以选择:参数越大的版本所需内存、显存及显卡能力越高,模型表现效果当然也越好。

在这里插入图片描述

由于博主电脑能力有限(16G内存+RTX3050 4G显卡),所以这里就先选择7B参数版本(1.5b的太智障了)进行部署,其命令为 ollama run deepseek-r1:7b,拷贝该命令在本地cmd命令窗口运行安装即可:

在这里插入图片描述

等待安装完成后(这里下载可能较慢,大家耐心等待或者可以选择1.5b的版本尝试),就已经可以在命令行中直接使用模型对话服务了,这里给大家提供一些可供判断大模型效果的逻辑性问题:

  • 简单数学定理: 1117117是否是素数?(是)
  • 简单逻辑推理: 如果3个人3天能喝3桶水,9个人9天能喝多少桶水?(27桶)
  • 复杂陷阱推理: 青蛙从10米深的井底往上跳,白天跳3米,晚上下滑2米,几天能跳出井口?(8天)
  • 脑筋急转弯: 树上有10只鸟,猎人开枪打死1只,还剩几只?(0只)

在这里插入图片描述

经实际测试,7b参数的模型已经可以解决一定程度的复杂问题,效果还算可以。不过博主的硬件资源比较受限,在7b模型思考与回答时内存和显存几乎全部吃满,且思考与回答速度较慢,有条件的同学可以尝试下参数更大的模型。除此之外,Ollama的其他常用命令如下:

  • /bye: 退出当前模型对话
  • ollama list: 列出所有已管理模型
  • ollama run <model_name>: 加载并运行模型<model_name>
  • ollama rm <model_name>: 删除模型<model_name>
  • ollama -v: 查看Ollama版本

原文地址:https://blog.csdn.net/qq_40772692/article/details/145429384

免责声明:本站文章内容转载自网络资源,如侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!