服务热线：
发布时间： 2024-06-06 02:59:59 来源：电竞比分投注-电磁灶
用过大模型的都知道，我们不怕它不回答，就怕它乱回答，特别是一眼还看不出来的那种。即便是最先进的AI模型也会说谎，防不胜防。对企业来说，幻觉，慢慢的变成了阻碍大模型应用的严重缺陷性问题。
除了幻觉，通用大模型不足以满足企业实际业务需求还涉及到知识局限性、信息安全等问题，企业显然不能将私域数据上传到第三方平台训练。在这种情况下，如何将本地知识库和大模型连接起来，构建一个专属的AI知识库，成为了关键问题。
从原理上看，构建专属知识库可分为三个部分，一是通过LLM处理自然语言；二是嵌入模型把复杂的数据简化，转化成易于处理的格式；三是向量数据库专门存储和管理那些转化后的数据。
那么步入正题，AnythingLLM到底是什么？AnythingLLM是由Mintplex Labs Inc.开发的一个全栈应用程序，是一款高效、可定制、开源的企业级文档聊天机器人解决方案。它能够将任何文档、资源或内容片段转化为大语言模型在聊天中可通过的相关上下文。
AnythingLLM支持几乎所有的主流大模型和多种文档类型，可定制化，而且安装和设置简单。目前适用于MacOS、Linux和Windows操作系统，也能够正常的使用Docker安装。官方已经做好了各个版本的应用，直接下载对应版本，像正常软件一样安装启动即可。
AnythingLLM有几种规格，具体取决于用例。AnythingLLM Desktop是用户在计算机上安装应用程序最简单的方法；AnythingLLM for Docker旨在使用最少的研发人员配置设置一个完整的多用户实例；AnythingLLM托管则是官方的SaaS产品。
不管用哪种方式使用AnythingLLM，用户的文档和信息都存储在运行AnythingLLM的机器上，用户数据与实例相隔离，以确保数据不会暴露或与别的客户共享存储。
AnythingLLM使用户可以完全控制与任何LLM和向量数据库的访问、权限和数据共享，能够完全离线运行，仅由本地运行的服务提供支持。使用AnythingLLM不用担心第三方隐私问题，并能访问全球的开源和闭源LLM、任何向量数据库解决方案。
AnythingLLM默认通过Ollama来使用LLama2 7B、Mistral 7B、Gemma 2B等模型，也可以调用OpenAI、Gemini、Mistral等大模型的API服务。因此在使用前，需要启动Ollama服务，如果没安装Ollama，需要自行下载安装，这里使用后端服务器模式，具体操作本文不再赘述。
打开安装好的AnythingLLM进行配置。先设置LLM Preference，选择想用的大模型；再设置Embedding Preference，Embedding Preference可以把本地资料向量化，这样就能够准确的通过问题匹配对应的资料片段；设置Vector Database，选择默认的LanceDB即可，这是一款无服务器向量数据库，可嵌入到应用程序中，支持向量搜索、全文搜索和SQL。
新建工作区（workspace），每个工作区能选用不同的模型，也可以修改向量数据库和代理配置。关于工作区的概念，官方是这么解释的：工作区的功能类似于线程，同时增加了文档的容器化。工作区可以共享文档，但工作区之间的内容不会互相干扰或污染，因此您能保持每个工作区的上下文清晰。简单理解，工作区就是管理各种文件的。
以上设置完成后就会出现对话界面，这时你就拥有了自己本地的大语言模型。接下来上传资料到工作区，可以上传本地文档，也可以粘贴网址，将其更新到工作区就能开始使用了。
AnythingLLM很酷的一点是支持多用户模式，有3种角色的权限管理，这一点对企业应用很重要。系统会默认创建一个管理员（Admin）账号，拥有全部的管理权限。第二种角色是Manager账号，可管理所有工作区和文档，但是不能管理大模型、嵌入模型和向量数据库。普通用户账号，则只能基于已授权的工作区与大模型对话，不能对工作区和系统配置做任何更改。
AnythingLLM具有多用户管理、丰富文档支持、高效成本优化及云部署友好等优势。但从使用体验上看，一些用户反馈目前它给出的回答还不够准确，相信这套系统未来可以在文本召回和重排等方面，进一步调优和完善。
本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。
