Go Llm:一个用于多提供者 LLM 集成的 Go 库
Go Llm,由Mutablelogic开发,是一个基于Go的库和工具集,帮助将大型语言模型嵌入Go应用程序。它提供了一个统一的API,以连接云提供商和本地运行时,以及一个MCP服务器用于工具和上下文共享、流式响应和函数调用。该项目面向需要原型代理、将模型输出集成到服务中以及在现有工作流程中实验本地模型的Go开发人员和AI工程师。
查看广告以免费下载
Softonic 评论
Go Llm,由Mutablelogic开发,是一个基于Go的库和工具集,帮助将大型语言模型嵌入Go应用程序。它提供了一个统一的API,以连接云提供商和本地运行时,以及一个MCP服务器用于工具和上下文共享、流式响应和函数调用。该项目面向需要原型代理、将模型输出集成到服务中以及在现有工作流程中实验本地模型的Go开发人员和AI工程师。
该库作为一个单一的集成层,在 Go 程序和语言模型之间,让代码和工具调用外部或本地模型,并暴露模型驱动的服务。主要的接入方式包括:
该工具将请求转发给所选的提供者或本地运行时,因此生成的内容反映所选模型的行为。对流响应和函数/工具调用的支持有助于以编程方式格式化和消费输出,但事实准确性取决于基础模型和提示设计。将生成的文本视为起点,并在将其用于生产工作流程之前验证关键结果。
该项目期望一个 Go 开发环境进行构建,或者用户可以在 Windows、macOS 和 Linux 上运行提供的预编译二进制文件。它与 Ollama 集成以进行设备上的模型运行,并通过其 API 连接到云提供商。命令行工具接受交互式提示并支持流式模型输出,而本地模型使用需要运行主机运行时以接受请求。
代码库暴露了一个干净的 API 和一个可扩展的架构,以添加自定义提供者和工具钩子,这有助于集中集成工作。CLI 工具让工程师在不立即嵌入代码的情况下进行原型设计。该项目正在积极维护,这降低了长期位腐烂的风险。不熟悉 Go 的团队应该预期与 Go 工具和构建过程相关的学习曲线。
因为它是用 Go 编写并编译为单个二进制文件,团队可以将代理和工具打包为独立的可执行文件进行部署。这是一个务实的选择,适合接受管理提供商变异性和本地运行时的开发人员。实用建议:集中适配器代码,为模型输出添加回归测试,并在将生成的内容推送给最终用户之前要求验证步骤。
免费
v0.4.3
MCP
英语
查看广告以免费下载
您是否尝试过 Go Llm?成为第一个离开您的意见!
添加评论