技术标签： 本地部署 千问 GPT实战系列 Qwen 24G显存 通义千问 LLM Cuda
ChatGLM4进行新闻发布，但还没有开源更新，在此之际，实战部署测试Qwen大模型。目前Qwen的口碑貌似还不错，测试显卡内存24G，毕竟有限，排除了Qwen14非量化方案Qwen-14B-Chat，只有 Qwen-7B-Chat，Qwen-7B-Chat-Int4，Qwen-14B-Chat-Int4 模型可用。测试过程中Qwen-7B-Chat出现显存bug，只能都用Int4方案。
LLM大模型：
GPT实战系列-GPT训练的Pretraining，SFT，Reward Modeling，RLHF
GPT实战系列-ChatGLM3本地部署CUDA11+1080Ti+显卡24G实战方案
通义千问-7B（Qwen-7B）是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在Qwen-7B的基础上，使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat。
测试显卡内存24G，毕竟有限，排除了Qwen14非量化方案Qwen-14B-Chat，只有 Qwen-7B-Chat，Qwen-7B-Chat-Int4，Qwen-14B-Chat-Int4 模型可用。测试过程中Qwen-7B-Chat出现显存bug，只能都用Int4方案。
| 模型类型 | 效果 | 备注 |
|---|---|---|
| Qwen-7B-Chat | Failed | 显存管理问题 |
| Qwen-7B-Chat-Int4 | Pass | |
| Qwen-14B-Chat | Failed | 显存不足问题 |
| Qwen-14B-Chat-Int4 | Pass |
Qwen-7B-Chat-Int4推理，多轮对话中至少需要 9.8G 显存。
Qwen-14B-Chat-Int4推理，多轮对话中，至少需要 16.8 显存。
推理速度非常慢，可能是因为速度完全依赖flash-attention，而我机器加载flash-attention失败。
项目在本地普通设备，部署量化Int4版本。
显卡双显卡Nivdia Titan XP，每块12G， 共24G显卡
操作系统：ubuntu 20.04
python 3.10版本，推荐3.8以上版本
pytorch 2.01，推荐2.0及以上版本。
CUDA 12.0，驱动525，建议使用11.4及以上版本。
创建虚拟环境
conda create -n qwen python==3.10.6 -y
conda activate qwen
安装Qwen 依赖配套软件
pip install -r requirements.txt -i https://mirror.sjtu.edu.cn/pypi/web/simple
其中 transformers 库版本推荐为 4.33.1，torch 推荐使用 2.0 及以上的版本，以获得最佳的推理性能。
推理所需的模型权重、源码、配置已发布在ModleScope ，见下载链接:https://www.modelscope.cn/models/qwen/Qwen-14B-Chat-Int4/summary
代码会由 transformers 自动下载模型实现和参数。完整的模型实现在 ModelScope。
默认情况下，Qwen-7B-Chat模型以 Int4 精度加载，运行上述代码需要大概 10 GB 显存；Qwen-14B-Chat模型以Int4精度加载，运行大概需要 18 GB显存。
Qwen-7B-Chat 的互动效果：
User: 你现在作为中医专家，为身体健康提供建议。
Qwen: 您好，为了维持身体健康，建议您多注意饮食均衡，多吃新鲜蔬菜水果，少食油腻、辛辣食物；多参加体育锻炼，保持适量的运动量；注意休息，避免熬夜和过度劳累；同时保持良好的心态，积极面对生活。如果身体有不适，应及时就医，并在医生的指导下进行治疗。希望这些建议对您有所帮助！
User: 中医理论中内脏的相互关系，用五行怎么解读？
Qwen: 中医理论认为，五脏（心、肝、脾、肺、肾）之间的相互关系是五行相生相克的关系。心脏是“生”木的器官，肝脏是“克”木的器官，脾脏是“生”土的器官，肺部是“克”土的器官，肾脏是“生”水的器官，而心脏又是“克”水的器官。这种相生相克的关系是中医理论的核心思想之一，也是指导临床实践的重要依据。
User: 肾和胃，肾和肝是什么相生相克关系？
Qwen: 根据中医理论，肾和胃之间是“克”关系，即肾脏克制胃部的功能；而肾和肝之间则是“生”关系，即肾脏滋养肝脏的功能。这两种关系都是中医理论的核心内容之一，也影响着人体的健康状况。因此，在日常生活中要注意保护肾脏和胃部，加强锻炼，适当调整饮食结构，保持良好的生活习惯，以维持健康的身体状态。
User: 中医药方中，精力旺盛和什么相关？如何补肾，健脾？
Qwen: 中医药方中的“精力旺盛”与肾脏和脾胃密切相关。要补肾和健脾，可以采用中药调理方法，例如：可以选择当归、熟地黄、白芍等药物搭配食用，可以帮助滋阴养血、调节内分泌、改善肾虚等问题；此外，还可以选择陈皮、山药、茯苓等药物搭配食用，有助于健脾养胃、改善消化功能。但是，具体用药应在医生的指导下进行，不可随意使用。
User: 平时饮食中，如何补肾？
Qwen: 在平时饮食中，可以通过多吃一些富含蛋白质的食物来补肾，如鱼肉、鸡肉、鸡蛋、豆腐等；同时也可以多吃一些富含矿物质的食物，如虾米、海带、海苔等；此外，还可以多吃一些富含维生素的食物，如水果、蔬菜、豆类等。同时，也要注意饮食的搭配，尽量避免吃过于油腻、辛辣的食物，以免伤害肾脏。
User: 平时按摩锻炼中，如何补肾，清肝？
Qwen: 在平时按摩锻炼中，可以按摩腰部、背部和腹部，以缓解腰酸背痛等症状，从而达到补肾清肝的效果。此外，还可以通过瑜伽、太极拳等运动，来改善血液循环，增强肌肉力量，提高身体的活力，帮助达到补肾清肝的目的。需要注意的是，平时锻炼时要注意安全，尽量不要过度疲劳，以免对身体造成不必要的损害。
User: 你好！
Qwen: 你好！有什么我可以帮助你的吗？
User: 给我讲一个年轻人奋斗创业最终取得成功的故事。
Qwen: 当然可以，这是一个关于年轻人奋斗创业最终取得成功的真实故事：
一位名叫李华的年轻人，在大学毕业后一直梦想着开创自己的事业。他决定创业做一家电子商务公司，但是他没有足够的资金和经验。于是，他开始在网上学习有关电子商务的知识，并寻找投资机会。
经过一年的努力，李华终于找到了一位投资者，他的公司也因此获得了启动资金。然而，刚开始的时候，公司的运营并不顺利，但是李华并没有放弃，而是不断尝试新的方法来提高销售额。
在经历了多次失败后，李华发现了一种新的商业模式，这种模式让他公司的销售额有了显著的提升。他也逐渐建立了稳定的客户群，得到了市场的认可。
最终，李华的公司取得了巨大的成功，他在年轻时就实现了自己的梦想。这个故事告诉我们，只要有决心和毅力，即使面临困难和挫折，也能最终实现自己的梦想。
User: 给这个故事起一个标题
Qwen: 《从零到一：一个年轻人的创业历程》
Qwen-14B-Chat的互动效果：
User: 你现在作为中医专家，为身体健康提供建议。
Qwen: 1. 保持良好的生活习惯：包括合理饮食、适量运动、充足睡眠等。
2. 调整心态，避免情绪波动过大。
3. 注意个人卫生，避免传染病的发生。
4. 避免过度劳累和长时间熬夜。
5. 定期体检，及时发现并治疗疾病。
6. 中医养生保健方面可以结合食疗、气功、按摩等方式进行调理。
7. 注意保暖，尤其是在寒冷的季节要注意防寒保暖，避免感冒和其他呼吸系统疾病的发生。
8. 合理使用药物，避免滥用抗生素等对身体有害的药物。
9. 慎重对待保健品市场，选择正规渠道购买，并在医生指导下使用。
10. 加强自我保健意识，积极学习相关知识，提高自身免疫力和健康水平。
User: 中医理论中内脏的相互关系，用五行怎么解读？
Qwen: 中医理论中的五脏分别是心、肝、脾、肺、肾，这五个脏器之间存在着密切的关系。根据中医五行学说，每个脏器都对应着一种元素，即木、火、土、金、水。这五种元素之间有着相生相克的关系，而五脏之间的关系也遵循这一规律。
- 心属火，肝属木，心火能够滋养肝脏，促进肝功能的正常发挥；
- 肝属木，脾属土，肝脏能够滋润脾脏，增强脾脏的功能；
- 脾属土，肺属金，脾脏能够滋润肺脏，提高肺脏的活力；
- 肺属金，肾属水，肺脏能够滋润肾脏，保护肾脏的健康；
- 肾属水，心属火，肾脏能够滋润心脏，维持心脏的正常运行。
因此，在中医理论上，要想让各个脏器得到充分的营养和保护，就需要按照五行相生相克的原则来调节各脏器之间的关系。比如，在调养肝脏时，可以通过补益心火来加强肝脏的功能；在调养脾脏时，可以通过补充肺金来提升脾脏的能力等等。这些方法都可以通过中药或饮食来进行调理。
User: 肾和胃，肾和肝是什么相生相克关系？
Qwen: 肾和胃以及肾和肝是相生相克关系。
肾是人体的内分泌器官之一，负责控制体内水分平衡、排出废物等重要功能。肾主水，如果肾虚则可能导致水肿、尿频等症状。同时，肾还与心、肝、脾、肺等多个脏腑有密切联系，其营养供应和活动状况都会影响到其他脏腑的正常运转。
胃是人体消化系统的中心部分，负责将食物分解成小分子以便吸收利用。胃主纳，胃虚则可能导致食欲不振、腹胀等症状。
肝则是人体的主要解毒器官之一，负责清除体内的有毒物质。肝主疏泄，肝虚则可能导致抑郁、焦虑等症状。
而肾和胃以及肾和肝的关系主要表现在以下几点：
1. 肾藏精，精能生气血，气血又能温煦脾胃，使脾胃的运化功能得以正常发挥；
2. 肾藏志，志又影响肝，肝气通达，情志得以舒畅，有利于改善肾功能。
因此，要维护好肾的健康，不仅要注重补充营养，还需要注意调整好饮食习惯，保证充足的休息和适当的锻炼，以及保持心情愉快等多方面的因素。
相比较而言，两个版本的效果相差还是非常明显的，可以根据实际情况选择适合的方案。
觉得有用 收藏 收藏 收藏
点个赞 点个赞 点个赞
End
GPT专栏文章：
GPT实战系列-Baichuan2等大模型的计算精度与量化-程序员宅基地
GPT实战系列-GPT训练的Pretraining，SFT，Reward Modeling，RLHF-程序员宅基地
GPT实战系列-GPT训练的Pretraining，SFT，Reward Modeling，RLHF
GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型，到底做了什么？(二)
GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型，到底做了什么？(一)
GPT实战系列-ChatGLM3本地部署CUDA11+1080Ti+显卡24G实战方案
GPT实战系列-ChatGLM2部署Ubuntu+Cuda11+显存24G实战方案
决策引擎专栏：
Falcon构建轻量级的REST API服务
文章浏览阅读3.4k次，点赞8次，收藏42次。一、什么是内部类？or 内部类的概念内部类是定义在另一个类中的类；下面类TestB是类TestA的内部类。即内部类对象引用了实例化该内部对象的外围类对象。public class TestA{ class TestB {}}二、 为什么需要内部类？or 内部类有什么作用？1、 内部类方法可以访问该类定义所在的作用域中的数据，包括私有数据。2、内部类可以对同一个包中的其他类隐藏起来。3、 当想要定义一个回调函数且不想编写大量代码时，使用匿名内部类比较便捷。三、 内部类的分类成员内部_成员内部类和局部内部类的区别
文章浏览阅读118次。分布式系统要求拆分分布式思想的实质搭配要求分布式系统要求按照某些特定的规则将项目进行拆分。如果将一个项目的所有模板功能都写到一起，当某个模块出现问题时将直接导致整个服务器出现问题。拆分按照业务拆分为不同的服务器，有效的降低系统架构的耦合性在业务拆分的基础上可按照代码层级进行拆分(view、controller、service、pojo)分布式思想的实质分布式思想的实质是为了系统的..._分布式系统运维工具
文章浏览阅读174次。1.数据源准备2.数据处理step1：数据表处理应用函数：①VLOOKUP函数; ② CONCATENATE函数终表：step2：数据透视表统计分析（1） 透视表汇总不同渠道用户数, 金额（2）透视表汇总不同日期购买用户数，金额（3）透视表汇总不同用户购买订单数，金额step3：讲第二步结果可视化, 比如, 柱形图（1）不同渠道用户数, 金额（2）不同日期..._exce l趋势分析数据量
文章浏览阅读3.3k次。堡垒机可以为企业实现服务器、网络设备、数据库、安全设备等的集中管控和安全可靠运行，帮助IT运维人员提高工作效率。通俗来说，就是用来控制哪些人可以登录哪些资产（事先防范和事中控制），以及录像记录登录资产后做了什么事情（事后溯源）。由于堡垒机内部保存着企业所有的设备资产和权限关系，是企业内部信息安全的重要一环。但目前出现的以下问题产生了很大安全隐患：密码设置过于简单，容易被暴力破解；为方便记忆，设置统一的密码，一旦单点被破，极易引发全面危机。在单一的静态密码验证机制下，登录密码是堡垒机安全的唯一_horizon宁盾双因素配置
文章浏览阅读7.7k次，点赞4次，收藏16次。Chrome作为一款挺不错的浏览器，其有着诸多的优良特性，并且支持跨平台。其支持（Windows、Linux、Mac OS X、BSD、Android），在绝大多数情况下，其的安装都很简单，但有时会由于网络原因，无法安装，所以在这里总结下Chrome的安装。Windows下的安装：在线安装：离线安装：Linux下的安装：在线安装：离线安装：..._chrome linux debian离线安装依赖
文章浏览阅读153次。中国发达城市榜单每天都在刷新，但无非是北上广轮流坐庄。北京拥有最顶尖的文化资源，上海是“摩登”的国际化大都市，广州是活力四射的千年商都。GDP和发展潜力是衡量城市的数字指...
文章浏览阅读3.3k次。前言spark在java使用比较少，多是scala的用法，我这里介绍一下我在项目中使用的代码配置详细算法的使用请点击我主页列表查看版本jar版本说明spark3.0.1scala2.12这个版本注意和spark版本对应，只是为了引jar包springboot版本2.3.2.RELEASEmaven<!-- spark --> <dependency> <gro_使用java调用spark注册进去的程序
文章浏览阅读4.8k次。汽车零部件开发工具巨头V公司全套bootloader中UDS协议栈源代码，自己完成底层外设驱动开发后，集成即可使用，代码精简高效，大厂出品有量产保证。:139800617636213023darcy169_uds协议栈 源代码
文章浏览阅读4.6k次，点赞20次，收藏148次。AUTOSAR基础篇之OS(下)前言首先，请问大家几个小小的问题，你清楚：你知道多核OS在什么场景下使用吗？多核系统OS又是如何协同启动或者关闭的呢？AUTOSAR OS存在哪些功能安全等方面的要求呢？多核OS之间的启动关闭与单核相比又存在哪些异同呢？。。。。。。今天，我们来一起探索并回答这些问题。为了便于大家理解，以下是本文的主题大纲：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JCXrdI0k-1636287756923)(https://gite_autosar 定义了 5 种多核支持类型
文章浏览阅读2.2k次，点赞6次，收藏14次。原因：自己写的头文件没有被加入到方案的包含目录中去，无法被检索到，也就无法打开。将自己写的头文件都放入header files。然后在VS界面上，右键方案名，点击属性。将自己头文件夹的目录添加进去。_vs2013打不开自己定义的头文件
文章浏览阅读3.3w次，点赞80次，收藏342次。此时，可以将系统中所有用户的 Session 数据全部保存到 Redis 中，用户在提交新的请求后，系统先从Redis 中查找相应的Session 数据，如果存在，则再进行相关操作，否则跳转到登录页面。此时，可以将系统中所有用户的 Session 数据全部保存到 Redis 中，用户在提交新的请求后，系统先从Redis 中查找相应的Session 数据，如果存在，则再进行相关操作，否则跳转到登录页面。当数据量很大时，count 的数量的指定可能会不起作用，Redis 会自动调整每次的遍历数目。_redis命令
文章浏览阅读449次，点赞3次，收藏3次。URP的设计目标是在保持高性能的同时，提供更多的渲染功能和自定义选项。与普通项目相比，会多出Presets文件夹，里面包含着一些设置，包括本色，声音，法线，贴图等设置。全局只有主光源和附加光源，主光源只支持平行光，附加光源数量有限制，主光源和附加光源在一次Pass中可以一起着色。URP：全局只有主光源和附加光源，主光源只支持平行光，附加光源数量有限制，一次Pass可以计算多个光源。可编程渲染管线：渲染策略是可以供程序员定制的，可以定制的有：光照计算和光源，深度测试，摄像机光照烘焙，后期处理策略等等。_urp渲染管线