会员登录 立即注册

搜索

好用且简单的本地大模型聊天工具LM Studio

[复制链接]
崎山小鹿 发表于 2024-3-1 20:32:27 | 显示全部楼层 |阅读模式
崎山小鹿
2024-3-1 20:32:27 386 0 看全部
先看效果:

LM聊天

LM聊天


主界面:

效果

效果


LM Studio是我目前见到最好用,也是最简单的本地测试AI模型的工具,不需要安装python环境以及众多的组件,加载模型、启用GPU、聊天都非常简单。而且可以切换很多不同类型的大语言模型,同时支持在Windows和MAC上的PC端部署。使用LM Studio不需要深厚的技术背景或复杂的安装过程。传统上,本地部署大型语言模型如Lama CPP或GPT-4ALL往往伴随着繁琐的安装步骤和环境配置,这对技术要求极高。然而,LM Studio的出现彻底改变了这一局面。它提供了一个简单的安装程序,用户只需几个简单的步骤就可以轻松安装和运行。


安装
官网,选择下载windows版本或MAC版本

官网下载

官网下载


下载完成安装之后主界面,

主界面

主界面




下载模型
选择Mistral 7B Instruct v0.2  点击 download
mistral.png
Mistral AI是一家来自法国的人工智能创业公司,由前Meta和DeepMind的研究员创立,主要开发基于自然语言处理、机器视觉和深度学习的人工智能技术,其中自然语言生成技术是他们的主打业务。他们于今年6月份获得了113亿美元的种子轮融资,公司的愿景是创建一个开放、可靠、高效、可扩展、可解释和可审计的人工智能平台。

公司的团队由一群拥有丰富研发和项目经验的精英组成。他们推出了一款只有73亿参数的语言模型Mistral7B,并且在众多基准测试中,包括在所有基准测试中均优于Llama213B,成为了目前最强的开源大语言模型。而且,他们的技术和模型设计独树一帜,已经拥有了一系列核心专利和技术成果。近期,他们还发布了Mixtral8x7B,这是一个基于Apache20许可证的高质量模型,显示出了他们在模型开发和优化方面的实力和潜力。Mistral AI的目标市场主要包括全球客户,其致力于为全球客户提供最优质的人工智能解决方案,以推进人工智能技术的研究和开发,并有望在未来成为欧洲甚至全球高端人工智能公司的领军者之一。同时,中国市场对其也尤为重要。

装载本地模型
有时候LM Studio内的模型无法下载,我们可以加载本地模型,新建models\Publisher\Repository 文件夹,将模型文件放入Repository 内,选择my models,改变模型加载目录为models即可。

使用模型聊天
选择AI Chat,选择已经装载了的模型,就可以开始聊天了。

聊天

聊天


启用GPU
选中GPU Offload,选择"max"
LMgpu.png
聊天的速度变快了很多


使用中文
在System Prompt中输入“请说中文”。然后窗口底部会出现一个重新加载模型的按钮,点一下。
模型加载完成之后,就是纯中文了。


回复

使用道具 举报

  • 您可能感兴趣
您需要登录后才可以回帖 登录 | 立即注册 |

本版积分规则 返回列表

查看:386 | 回复:0

金双石科技,软件开发20年,技术行业领先,您的满意,就是我们的目标,认真负责,开拓进取,让成品物超所值
关于我们
公司简介
发展历程
联系我们
本站站务
友情链接
新手指南
内容审核
商家合作
广告合作
商家入驻
新闻合作

手机APP

官方微博

官方微信

联系电话:15876572365 地址:深圳市宝安区西乡街道宝民二路宝民花园5巷6栋405 ( 粤ICP备2021100124号-1 ) 邮箱:qishanxiaolu@qq.com
QQ|Powered by Discuz! X3.5 © 2001-2024 Discuz! Team.
快速回复 返回顶部 返回列表