会员登录 立即注册

搜索

本地私人GPT CHAT WITH RTX

[复制链接]
崎山小鹿 发表于 2024-2-17 19:43:05 | 显示全部楼层 |阅读模式
崎山小鹿
2024-2-17 19:43:05 11548 0 看全部
英伟达推出了自家版本的ChatGPT

Chat With RTX 是一款演示应用程序,可让您个性化连接到您自己的内容(文档、笔记、视频或其他数据)的 GPT 大语言模型 (LLM)。利用检索增强生成 (RAG)、TensorRT-LLM和 RTX 加速,您可以查询自定义聊天机器人以快速获得上下文相关的答案。由于它全部在您的 Windows RTX PC 或工作站上本地运行,因此您将获得快速、安全的结果

Chat with RTX是一个技术演示,现已免费>>>下载<<<,可让用户使用自己的内容个性化聊天机器人,并由本地NVIDIA GeForce RTX 30 系列 GPU或更高版本(具有至少 8GB 视频随机存取存储器或 VRAM)加速

Chat with RTX 使用检索增强生成(RAG)、NVIDIA TensorRT-LLM软件和 NVIDIA RTX 加速,为本地 GeForce 支持的 Windows PC 带来生成式 AI 功能。用户可以快速、轻松地将 PC 上的本地文件作为数据集连接到 Mistral 或 Llama 2 等开源大型语言模型,从而能够快速查询上下文相关的答案。

用户只需键入查询即可,而无需搜索笔记或保存的内容。例如,人们可以问:“我的伴侣在拉斯维加斯时推荐的餐厅是什么?” Chat with RTX 将扫描用户指向的本地文件并提供带有上下文的答案。

该工具支持各种文件格式,包括.txt、.pdf、.doc/.docx 和.xml。将应用程序指向包含这些文件的文件夹,该工具将在几秒钟内将它们加载到其库中。

用户还可以包含来自 YouTube 视频和播放列表的信息。将视频 URL 添加到 Chat with RTX 允许用户将这些知识集成到他们的聊天机器人中以进行上下文查询。例如,根据最喜欢的影响者视频的内容询问旅行建议,或根据顶级教育资源获取快速教程和操作方法。


系统要求
平台        视窗
图形处理器        NVIDIA GeForce™ RTX 30 或 40 系列 GPU 或 NVIDIA RTX™ Ampere 或 Ada Generation GPU,具有至少 8GB VRAM
内存        16GB 或更大
操作系统        视窗11
司机        535.11 或更高版本
微信截图_20240218094107.png

下载解压文件:

文件

文件


运行setup.exe

setup

setup


默认选择主程序chat with RTX 和 mistral 7B INT4,点击下一步,需要科学上网

setup2

setup2


安装完成

setup3

setup3


启动

启动

启动


启动成功
启动成功.png

会自动打开网页
http://127.0.0.1:28781/?__theme=dark

RTX

RTX


不愧是英伟达的产品,显卡的性能发挥得比较充分,8G显存用了6G多,CPU的内存的负担不重。
性能.png

后面将对他进行更详细的测试,关注我
天不生墨翟,万古如长夜!以墨运商,以商助墨。金双石科技长期招聘科技研发人才!微信:qishanxiaolu   电话:15876572365   公司:深圳市金双石科技有限公司
回复

使用道具 举报

  • 您可能感兴趣
  • 阳光乳液T0回测
    阳光乳液T0回测
    AI解读:策略收益直接飙升到了 13.58%(年化 71.53%),胜率高达 82.9%,夏普比率 3
    11-17
  • 使用notebook写python代码
    使用notebook写python代码
    Jupyter Notebook 的核心特点是将代码、说明文字、运行结果和可视化图表整合在同一个
    11-15
  • win10、win11激活
    win10、win11激活
    您是否遇到系统提示: 网上提供了很多激活方法都无效,最终终于找到一个工具 还有
    11-15
  • vue之下拉框
    vue之下拉框
    下拉框能极大的提高使用体验 如何增加下拉框,看下面代码: const dialogFormItems
    11-04
  • 服务器被入侵了?
    服务器被入侵了?
    为什么什么都没有运行,系统CPU和资源占用一直100% 使用 TOP命令: 1905401 root
    11-03
您需要登录后才可以回帖 登录 | 立即注册 |

本版积分规则 返回列表

管理员给TA私信
以墨运商,以商助墨。

查看:11548 | 回复:0

  • 阳光乳液T0回测

    AI解读:策略收益直接飙升到了 13.58%(年化 71.53%),胜率高达 82.9%,夏普比率 3

    阅读:52|2026-11-17
  • 使用notebook写python代码

    Jupyter Notebook 的核心特点是将代码、说明文字、运行结果和可视化图表整合在同一个

    阅读:109|2026-11-15
  • win10、win11激活

    您是否遇到系统提示: 网上提供了很多激活方法都无效,最终终于找到一个工具 还有

    阅读:106|2026-11-15
  • vue之下拉框

    下拉框能极大的提高使用体验 如何增加下拉框,看下面代码: const dialogFormItems

    阅读:2|2026-11-04
  • 服务器被入侵了?

    为什么什么都没有运行,系统CPU和资源占用一直100% 使用 TOP命令: 1905401 root

    阅读:9|2026-11-03
  • FASTAPI的菜单管理之新增菜单

    点击编辑按钮: 点击新增: 父级菜单 菜单名称 最后收益详情 菜单标题 最后收益详

    阅读:353|2026-10-22
  • 分析验证双耳节拍的存在

    验证方法是: 读取 piano_binaural_10hz.wav 截取中间一段,例如 10 秒附近的 2 秒

    阅读:1914|2026-08-26
  • 不同的乐器他们的频谱有什么不同mp3

    使用 FFmpeg 1. 安装 Python 库 pip install numpy soundfile matplotlib 同时电脑需

    阅读:1453|2026-08-26
  • USBTreeView

    Windows的设备管理器中可以查看USB设备的信息: 驱动程序供应商:FTDI, 数字签名者:

    阅读:3137|2026-05-23
  • 电子电路仿真网站

    https://velxio.dev/ Arduino、ESP32 和 Raspberry Pi。 直接在您的浏览器中即可使

    阅读:3373|2026-05-19
金双石科技,软件开发20年,技术行业领先,您的满意,就是我们的目标,认真负责,开拓进取,让成品物超所值
关于我们
公司简介
发展历程
联系我们
本站站务
友情链接
新手指南
内容审核
商家合作
广告合作
商家入驻
新闻合作

手机APP

官方微博

官方微信

联系电话:15876572365 地址:深圳市宝安区西乡街道宝民二路宝民花园 ( 粤ICP备2021100124号-1 ) 邮箱:qishanxiaolu@qq.com
QQ|Powered by Discuz! X3.5 © 2001-2026 Discuz! Team.
快速回复 返回顶部 返回列表