MaxKB通过ollama运行llama2开发智能问答应用并实现远程对话功能

文章结构概览

• • 引言
    • 1. 获取并运行Ollama软件
    • 2. 部署大型语言模型
    • 3. 安装Cpolar工具程序
    • 4. 设置公共网络访问地址
    • 5. 确保公网地址稳定不变
    • 6. 在MaxKB中集成Ollama功能
    • 7. 构建问答类应用程序

前言

本文重点阐述在Windows系统环境下，如何本地部署大语言模型框架Ollama，并在其中获取llama2模型，随后将该运行于Windows平台的本地大语言模型集成至MaxKB系统中，从而构建专属的智能问答应用，实现无需公网IP及域名即可完成部署的目标！

MaxKB是一款依托LLM大语言模型构建的知识库问答平台，具备即开即用的特性。然而，在其接入本地大语言模型时存在限制，仅允许通过域名方式进行连接，无法直接使用本地或局域网IP地址完成配置与添加。本文将结合cpolar内网穿透工具的应用，实现MaxKB成功接入本地大语言模型的功能！

cpolar是一项安全可靠的内网穿透服务，其核心功能是通过建立安全隧道的方式将处于内网中的本地服务器映射至公网环境，从而使得公网用户能够正常访问内网中的各类服务。该工具兼容多种操作系统平台，包括Windows、Mac以及Linux，并支持TCP、UDP和HTTP等多种通信协议。这种广泛的支