本地电脑部署自己的DeepSeek 大模型AI

本地电脑部署自己的DeepSeek 大模型AI

准备工具

  • Ollama:用于简化大型语言模型(LLM)的本地部署和使用,可以同时支持多个大模型,开发者能够方便地在本地环境中运行和测试不同的语言模型,简单的说就是相当于一个容器。
  • ChatBox AI:一款用于接入各种大模型的客户端,可以在使用大模型AI时更方便、美观。就是一个UI客户端,用起来更方便快捷。

下载安装Ollama

  1. 首先先下载Ollama,进入官网,官网地址:https://ollama.com/,点击Downloa

    d2b5ca33bd20250204221130

  2. 这里选择自己电脑或者服务器的系统,我的是Windows系统就选择了Windows端下载

    d2b5ca33bd20250204221200

  3. 这里有些朋友可能会遇到无法下载的问题,我刚开始用IDM下载也卡在90%就一直下不下来,这里提供我下载好的软件包给大家(百度网盘链接:https://pan.baidu.com/s/1YuuD2t8R2WpAmcbLRWBoIA 提取码:d86m
  4.  下载好了就是安装了,注意Ollama默认安装是在C盘的,以及下载的大模型数据包也是默认在C盘,所以一定要注意自己C盘的存储空间够用当然我们也有方式改变他的安装路径的(https://ym9.top/57.html),如果不想折腾的可以直接点击安装就可以了。
  5. 然后Ollama就会进入安装,点击Install后,Ollama安装好了就会自动启动。

    d2b5ca33bd20250204221221

  6. 安装好Ollama后Windows+R,输入CMD进入命令窗口

    d2b5ca33bd20250204221231

  7.  输入:ollama -v  有版本号就说明安装好了,在任务栏右下角有个羊驼的图标。

    d2b5ca33bd20250204221237

    d2b5ca33bd20250204221244

下载DeepSeek R1模型

  1. 在Ollama官网(https://ollama.com/)点击Models,选择deepseek-r

    d2b5ca33bd20250204221256

  2. 这里是选择DeepSeek蒸馏后的密集模型,注意这里的模型要根据自己的电脑性能来下载,如果资源不足,下载了也会跑不起来,我这里我选择的是第一个最小的模型。数字越大,代表参数越多,所需资源也越多,1.5b=15亿参数,其他自己换算下,对应的资源和模型我放个图,大家自己对应下

    d2b5ca33bd20250204221430

    d2b5ca33bd20250204221452

  3. 如图所示,复制Ollama选中模型对应的下载命令。

    d2b5ca33bd20250204221548

  4. 然后回车开始下载,这里略过下载过程,这里是下载完成后的截图。

    d2b5ca33bd20250204221607

    d2b5ca33bd20250204221620

  5. 但是这样在CMD窗口使用很不方便和美观,接下来我们就会用到ChatBox接入大模型了

 安装ChatBox AI并接入DeepSeek

  1. 下载ChatBox AI,https://chatboxai.app/zh,也可以使用网页版的,这里我下载了客户端,安装过程略过。

    d2b5ca33bd20250204221641

  2. 选择Ollama API后,然后选择我们下载好的DeepSeek模型,这里如果大家还有其他模型也可以选择对应的模型。

    d2b5ca33bd20250204221648

    d2b5ca33bd20250204221704

© 版权声明
THE END
喜欢就支持一下吧
点赞0 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容