【0111】离线运行免安装，本地大模型

简单说，它就像一个“模型管家”，把本地部署AI模型的复杂流程简化成了“下载—启动—使用”三步。‌‌

• ‌核心定位‌：基于Go语言构建的AI模型全生命周期管理工具，支持模型下载、安装、版本控制、运行和对外提供API。
• ‌免安装体验‌：有版本支持点开即用，不用配环境，适合不想折腾的新手。
• ‌多模态支持‌：不止聊天，还支持向量化（Embedding）、重排序（Reranker）、语音识别（ASR）和图像生成（Stable Diffusion）。‌‌

✨ 主要能力

1. ‌一键部署模型‌：在模型中心直接下载Qwen、GLM、DeepSeek、Mistral等主流大模型，自动完成校验、解压和安装，不用手动配Python、CUDA那些环境。
2. ‌硬件自动适配‌：自动检测你的CPU/GPU，支持NVIDIA、AMD、Intel等多种平台，自动选好最佳运行配置。
3. ‌OpenAI兼容API‌：提供标准的Chat、Embeddings、Images接口，可无缝接入Cherry Studio、Claude Code、Codex、WorkBuddy等工具。
4. ‌可视化面板‌：提供Web管理界面，可管理模型、直接对话、生成图片，也能切换模型和调节上下文长度。
5. ‌Agent一键接入‌：通过“网关连接”页面，可一键把本地模型配给主流Agent工具，让模型帮你完成编程、数据分析、文件处理等实际工作。‌‌

🔧 实际怎么用

• ‌本地对话‌：下载模型后直接启动，在对话界面就能用，支持设置上下文大小、生成质量、思考模式等。
• ‌接入Cherry Studio‌：在Herdsman开启API局域网访问，Cherry Studio里以OpenAI类型接入，API地址填http://localhost:8080/v1，密钥随便填（本地无验证），模型ID从模型管理里复制。
• ‌接入Codex/ChatGPT‌：配合Token Router可以免填API Key，直接在ChatGPT（原Codex）里用本地模型，减少云端Token消耗。
• ‌端云混合‌：支持智能模式（本地云端自动切换）、端侧模式（全本地）和云端模式（用FlowyAIPC云端模型）。‌‌