ChatGLM3-6B零基础部署与使用指南
输入“/”快速插入内容
ChatGLM3-6B零基础部署与使用指南
ChatGLM3-6B零基础部署与使用指南
ChatGLM3
零基础部署与使用指南
ChatGLM3新模型性能和功能层面均有重大突破！性能层面， ChatGLM3-6B号称在10B范围内性能 最强，推理能力直逼GPT-3.5；功能层面， ChatGLM3-6B重磅更新多模态功能、代码解释器功能、联网 功能以及Agent优化功能四项核心功能，全线逼近GPT-4！更多模型功能及性能介绍，视频讲解详见售
同时，围绕ChatGLM3-6B全新API调用方法、全新多角色对话Messages参数编写方法、模型性能评测、
全新Function calling外部工具调用方法，以及基于Function calling的Agent开发流程，详见 《 ChatGLM3高效入门》系列教学视频（点击蓝色链接即可观看）：
尽管智谱AI官方已经提供了ChatGLM3的模型部署流程，但由于大模型部署本身会涉及非常多依赖 库的安装于更新，同时也有一定的硬件要求，总的来说还是拥有一定的部署和使用门槛。因此，为了能 够让更多的新人用户能够顺利使用这一不可多得的中文大模型，我们特地详细整理了一份ChatGLM3-6B 模型的部署流程教程，供新人用户参考和学习。
一、ChatGLM3-6B运行模式与硬件要求
由于模型本身运算的复杂性，目前任何开源大模型的运行都有一定的硬件要求。当然，相比之下， ChatGLM系列模型的硬件门槛相对更低，而且支持多种不同的运行模式。
根据官方介绍， ChatGLM目前支持GPU运行（需要英伟达显卡）、 CPU运行以及Apple M系列芯片 运行。其中GPU运行需要至少6GB以上显存（4Bit精度运行模式下），而CPU运行则需要至少32G的内 存。而由于Apple M系列芯片是统一内存架构，因此最少需要13G内存即可运行。
考虑到CPU运行模式下内存占用过大且运行效率较低，因此这里我们将重点介绍更为通用的GPU模 式部署方法。
当然，如果不想通过本地部署而直接体验ChatGLM系列模型的对话功能，也推荐大家直接使用智谱 AI推出的大模型对话应用——智谱清言。链接售智谱清言
二、ChatGLM3-6B GPU模式部署流程
接下来我们首先介绍ChatGLM3-6B GPU模式的部署方法。这里我们重点介绍Windows系统下单显 卡部署流程，而更加专业的Linux多卡部署模式，我们将在付费课程《大模型与AIGC实战课》进行重点介 绍。
1.GPU环境确认
在正式安装之前，需要先确认当前电脑的硬件环境。正如此前所说，部署和运行ChatGLM3-6B最低 需要6GB显存。这里我们可以在Windows操作系统下的设备管理器中查看当前电脑的显卡型号，并根据 显卡型号搜索得到显卡显存规格。
一般来说，台式机显卡需要2060（ 6G显存显卡）及以上显卡，笔记本则需要3060（ 8G显存显卡）及以 上显卡。这里需要注意，同型号的显卡，移动端显卡（笔记本显卡）要比主机显卡（台式机显卡）性能 要弱、显存也会更少。
2.Anaconda或Python环境准备
而在正式下载ChatGLM3相关模型文件之前，还需要提前准备好本地的Python环境。若此前没有安 装过Python，则可以考虑通过Anaconda安装Python。Anaconda是目前最为通用的科学计算平台，借 助Anaconda，我们可以一次性安装各科学计算相关组件，以及Jupyter等流行代码编辑器。