admin管理员组文章数量:1649152
LARS:本地LLM与高级引用解决方案
在人工智能和自然语言处理领域,大型语言模型(LLM)的应用日益广泛。然而,如何在保护隐私的同时充分利用LLM的强大能力,一直是一个挑战。LARS(LLM & Advanced Referencing Solution)应运而生,为这一问题提供了一个优雅的解决方案。本文将深入探讨LARS的特性、安装过程和使用指南,帮助读者全面了解这一创新工具。
LARS简介
LARS是一款允许用户在本地设备上运行LLM的应用程序。它的独特之处在于,用户可以上传自己的文档,并在与LLM对话时利用这些文档内容来增强AI生成的响应准确性。这种技术被称为"检索增强生成"(Retrieval Augmented Generation, RAG),可以有效减少AI生成的不准确信息或"幻觉"。
LARS的目标是成为最终的开源RAG中心LLM应用程序。为此,LARS将RAG的概念进一步发展,为每个响应添加详细的引用。这些引用包括特定的文档名称、页码、文本高亮显示,以及与问题相关的图像。更令人印象深刻的是,LARS还在响应窗口内直接呈现文档阅读器。虽然并非每个响应都会包含所有这些引用元素,但LARS的设计理念是为每个RAG响应提供至少某种组合的引用,这一目标在实践中通常都能实现。
LARS的主要特性
-
高级引用: LARS的核心特性是为LLM生成的响应添加详细引用。这包括文档名称、页码、文本高亮和图像提取。用户可以直接在响应窗口中浏览文档,并下载高亮显示的PDF。
-
支持多种文件格式: LARS支持广泛的文件格式,包括PDF、Word文档、Excel表格、PowerPoint演示文稿、图像文件、RTF和HTML文件等。
-
对话记忆: 用户可以提出后续问题,包括之前对话的内容。
-
完整的聊天历史: 用户可以回顾并恢复之前的对话。
-
灵活的RAG控制: 用户可以随时通过设置强制启用或禁用RAG。
-
可自定义的系统提示: 用户可以随时通过设置更改系统提示。
-
拖放式LLM更换: 用户可以随时通过设置更换LLM。
-
内置提示模板: LARS为最流行的LLM提供内置提示模板,包括Llama3、Llama2、ChatML、Phi3、Command-R、Deepseek Coder、Vicuna和OpenChat-3.5。
-
纯llama.cpp后端: LARS使用纯llama.cpp后端,无需框架、Python绑定或抽象层。用户可以独立于LARS升级到更新版本的llama.cpp。
-
GPU加速推理: LARS支持Nvidia CUDA加速推理。
-
高级LLM设置: 用户可以调整LLM温度、top-k、top-p、min-p、n-keep等参数,设置要卸载到GPU的模型层数,并随时启用或禁用GPU使用。
-
多种嵌入模型: LARS提供四种嵌入模型:sentence-transformers/all-mpnet-base-v2、BGE-Base、BGE-Large和OpenAI Text-Ada。
-
源UI: LARS为选定的嵌入模型显示一个表格,详细列出已上传到LARS的文档,包括矢量化详情如chunk_size和chunk_overlap。
-
重置功能: LARS提供一个重置按钮,用于清空和重置矢量数据库。
-
多种文本提取方法: LARS提供三种文本提取方法:纯本地文本提取选项和两种通过Azure进行的OCR选项,以提高准确性并支持扫描文档。Azure ComputerVision OCR有一个永久免费层。
-
自定义Azure AI文档智能OCR解析器: LARS为Azure AI文档智能OCR服务提供自定义解析器,通过考虑提取文本的空间坐标来增强表格数据提取并防止文本重复。
LARS的安装过程
安装LARS需要一些准备工作和依赖项。以下是详细的安装步骤:
-
安装依赖项:
- Python v3.10.x或更高版本
- PyTorch (如果计划使用GPU运行LLM,请确保先安装GPU驱动程序和CUDA/ROCm工具包)
-
克隆LARS仓库:
git clone https://github/abgulati/LARS cd LARS -
安装Python依赖:
- Windows:
pip install -r .\requirements.txt - Linux:
pip3 install -r ./requirements.txt - MacOS:
pip3 install -r ./requirements_mac.txt
- Windows:
-
可选依赖项:
- llama.cpp (用于本地LLM推理)
- Nvidia CUDA (如果有支持的Nvidia GPU)
- LibreOffice (用于支持更多文档格式)
- Poppler (用于PDF处理)
- PyTesseract (可选,用于OCR)
安装过程可能会遇到一些问题,LARS的文档提供了详细的故障排除指南。例如,如果遇到Python相关问题,可以尝试创建虚拟环境或移除requirements.txt文件中的版本限制。对于其他问题,如CMake nmake失败,文档提供了具体的解决步骤。
LARS的使用指南
-
首次运行:
- 运行LARS:
cd web_app && python app.py - 导航到
http://localhost:5000/ - 首次运行时,LARS会自动下载一个LLM (Microsoft Phi-3-Mini-Instruct-44)和一个嵌入模型(all-mpnet-base-v2)
- 运行LARS:
-
文档上传:
- LARS支持多种文档格式,包括PDF、Word、Excel、PowerPoint等
- 提供三种文本提取方法:本地提取、Azure ComputerVision OCR和Azure AI文档智能OCR
-
LLM选择和配置:
- 通过设置菜单选择和配置LLM
- 选择适当的提示模板格式
- 调整核心配置设置,如GPU层数、上下文大小、最大生成令牌数等
-
嵌入模型和向量数据库:
- 提供四种嵌入模型选择
- 可以随时切换嵌入模型
- 提供文档加载表和向量数据库重置功能
-
系统提示编辑:
- 通过设置菜单自定义系统提示
- 更改系统提示将开始新的对话
-
RAG控制:
- 可以强制启用或禁用RAG
- 默认设置使用NLP确定何时应该执行RAG
-
聊天历史:
- 使用左上角的聊天历史菜单浏览和恢复之前的对话
- 注意在恢复之前的对话时要注意提示模板的匹配
-
用户评分:
- 每个响应都可以进行5分制评分
- 评分数据存储在chat-history.db SQLite3数据库中
LARS的Docker部署
LARS还提供了Docker容器部署选项,包括CPU推理容器和Nvidia-CUDA GPU启用容器。这为用户提供了更灵活的部署选择,特别是对于那些希望在服务器环境中运行LARS的用户。
-
安装Docker:
- 确保CPU支持虚拟化并在BIOS/UEFI中启用
- 安装Docker Desktop
- 如果使用Windows,可能需要安装Windows Subsystem for Linux
-
创建Docker存储卷:
docker volume create lars_storage_volume -
构建和运行CPU推理容器:
cd LARS/dockerized docker build -t lars-no-gpu . docker run -p 5000:5000 -p 8080:8080 -v lars_storage:/app/storage lars-no-gpu -
构建和运行Nvidia-CUDA GPU启用容器:
- 需要额外安装Nvidia Container Toolkit
- 构建和运行步骤类似于CPU容器,但使用不同的Dockerfile
使用Docker部署LARS可以简化安装过程,并提供更好的环境隔离。这对于在不同机器上保持一致的LARS环境特别有用。
LARS的未来发展
LARS的开发团队有一个明确的路线图,计划在未来版本中添加更多功能:
- 支持多用户和身份验证
- 添加更多嵌入模型选项
- 改进文档处理和OCR功能
- 优化性能和资源使用
- 增加对更多LLM格式的支持
- 改进用户界面和体验
这些计划的功能将进一步增强LARS的功能,使其成为更强大和灵活的本地LLM解决方案。
结论
LARS代表了本地LLM应用的一个重要进步。通过将强大的语言模型能力与用户自己的文档相结合,LARS为个性化和准确的AI辅助提供了一个独特的平台。它的高级引用功能、灵活的配置选项和广泛的文件格式支持使其成为研究人员、开发者和企业用户的理想选择。
随着AI技术的不断发展,像LARS这样的工具将在保护隐私和提高AI响应质量方面发挥越来越重要的作用。无论是用于个人研究、企业知识管理还是教育目的,LARS都提供了一个强大而灵活的解决方案。
文章链接：www.dongaigc/a/lars-local-llm-advanced-citation
https://www.dongaigc/a/lars-local-llm-advanced-citation
www.dongaigc/p/abgulati/LARS
https://www.dongaigc/p/abgulati/LARS
版权声明：本文标题：LARS: 本地LLM与高级引用解决方案 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dongtai/1729509339a1203856.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论