2026/9/18 6:32:11
FEATURED · 精选文章 
Flower 模型企业级支持指南Endeavor 1.0 与 Lizzy 7B 的评估、部署与集成全攻略【免费下载链接】flowerFlower: A Friendly Federated AI Framework项目地址: https://gitcode.com/GitHub_Trending/flo/flower本文是一份面向组织的技术指南围绕 Flower 模型项目enterprise.rst 所定义的企业支持服务体系展开详细说明如何借助 Flower Labs 的企业服务评估、部署、适配与集成 Endeavor 1.0 和 Lizzy 7B 两款模型。读完本文你将掌握企业合作的完整工作范围、四类典型合作场景的交付内容以及从硬件规划、运行时选择到接入 ChatGPT/Codex、OpenCode 的落地路径。一、Flower 模型项目与企业支持面向组织的合作入口Flower Labs 的模型项目目前包含两款模型Endeavor 1.0定位为 frontier-class前沿级通用模型面向高级推理、编码辅助与长周期 Agent 任务当前处于预览阶段采用请求制开放访问不提供公开开源权重详见 endeavor.rst。Lizzy 7B面向英国用户场景的开源权重助手模型同时提供 BF16 Safetensors 检查点与 GGUF 量化文件详见 lizzy-7b.rst。enterprise.rst 明确指出Flower Labs 与希望在内部**评估evaluate、部署deploy、适配adapt或集成integrate**这些模型的组织合作。也就是说企业支持并不仅仅是一个销售入口它实际上界定了围绕模型生命周期的一整套技术服务边界——从拿到模型之前的能力验证到生产环境运行再到针对特定领域与既有系统的深度定制。二、两款模型的基本形态企业合作的技术前提在进入企业服务细节之前先明确两款模型的可交付形态这决定了后续评估与部署方案的选择属性Endeavor 1.0Lizzy 7B定位Frontier-class 通用模型推理、编码、长周期 Agent7B 级开源助手模型通用对话、推理、编码、英国导向知识访问方式预览期内按请求制开放Flower-managed API 或私有部署公开权重Hugging Face 直接下载模型产物预览期不公布公开检查点私有部署时在入驻流程中确认格式BF16 Safetensors GGUFQ4_K_M / Q5_K_M / Q6_K / Q8_0 / f16上下文长度需在入驻时确认模型目录记录 128,000 token 上下文窗口最高 65,536 token视运行时与 serving 配置授权部署时确认基础模型 Apache-2.0其中 Lizzy 7B 的 GGUF 发布件在架构上报告32 层 post-norm 架构、hidden size 4096、滑动窗口注意力窗口 4096 全注意力、YaRN RoPE 缩放factor 8.0、原始上下文 8192、100,278 token 词表、65,536 token 上下文详见 lizzy-gguf.rst。从仓库文档结构看Flower 模型文档把模型介绍endeavor、lizzy-7b与How-to 指南enterprise、how-to-run-lizzy分层组织企业支持被明确归类为 How-to Guides说明它面向的是组织用户要做什么的实操场景而非单纯的模型宣传页见 index.rst 的 toctree 结构。三、企业级工作范围六大服务方向根据 enterprise.rst企业合作可以覆盖以下六类工作领域特定保密评估针对特定领域的提示词、策略与工作流进行保密评估confidential evaluations on domain-specific prompts, policies, and workflows。访问规划、集成与部署指导为 Flower-managed 与私有 Endeavor 部署提供访问规划、集成与部署指导access planning, integration, and deployment guidance。GPU 服务、本地推理与量化部署指导为发布了兼容产物的模型提供 GPU serving、本地推理与量化部署指导。模型领域适配针对语气tone、术语terminology、检索retrieval与任务表现task performance进行模型适配。安全、监控与质量审查面向生产用途的安全、监控与质量审查。既有系统集成与现有应用、数据系统与治理流程的集成。这六个方向实际上覆盖了模型从能不能用到怎么用好再到怎么长期稳定运行的完整链条。下面结合模型文档逐项拆解其技术内涵。四、四类典型合作场景从评估到生产的完整交付enterprise.rst 用一张表格定义了四类典型的合作场景及其支持内容这是企业服务的核心骨架需求Need支持Support为内部用例评估一个 Flower 模型基准设计benchmark design、测试提示词test prompts、风险审查risk review与部署建议deployment recommendations在生产环境部署 Lizzy或规划受支持的 Endeavor 1.0 部署运行时选择runtime selection、服务架构serving architecture、性能调优performance tuning与运维审查operational review将模型适配到某个领域数据审查data review、评估设计evaluation design、偏好调优preference tuning与发布验证release validation运行本地或保密推理GGUF、vLLM 与 Transformers 部署指导配合适当的监控与访问控制下面逐一展开并给出仓库内的配套技术资料。场景一内部用例评估 —— 基准设计、测试提示词与风险审查评估一个模型是否适合内部用例是几乎所有企业合作的第一步。这项服务交付的是基准设计为你的领域任务设计可复现的评测集、测试提示词构造能暴露模型能力边界的提示词集合、风险审查针对输出风险与领域红线做评估与部署建议。仓库中的评估素材可以参考Lizzy 7B 的评估体系lizzy-7b.rst文档同时报告了英国导向基准Britishness MCQ / CoT / Domains与通用基准MATH、MMLU、GPQA、HumanEvalPlus、MBPP、LiveCodeBench v3、AIME、GSM8K对比对象为 EuroLLM 9B 与 Apertus 8B。这为在哪个维度上衡量一个英国导向模型提供了可直接复用的评测维度。Endeavor 1.0 的安全评估表lizzy-7b.rst 中的 safety-evaluation summary覆盖 WildGuardTest、HarmBench、ToxiGen、XSTest、StrongReject、BBQ、WMDP 七个安全基准文档明确提示这些数字是评估信号而非保证——企业风险审查环节应结合这些信号建立自己的策略检查与人工监督。FlowerBench 机制endeavor.rstEndeavor 1.0 的训练信号来自 FlowerBench——它允许在不移动企业专有数据的前提下在组织自有环境内对真实、高价值的企业工作流做可重复评估。任务由加入 Flower Enterprise Evaluation Network 的组织贡献并在各自环境内运行。这一数据不出域即可评估的模式正是保密评估服务的技术底座。场景二生产部署 —— 运行时选择、服务架构与性能调优这是最硬核的场景交付内容包括运行时选择、服务架构设计、性能调优与运维审查。仓库中 how-to-run-lizzy.rst 给出了运行时选择的决策表运行时适用场景Transformers需要 Python 集成、全精度、自定义模型代码或微调工作流vLLM需要 GPU serving、OpenAI 兼容 API、批处理或张量并行llama.cpp使用支持 Lizzy GGUF 架构的构建需要本地推理、CPU 支持、灵活 GPU 卸载或小部署体积Ollama、LM Studio、Jan进行中work in progress仅在确认后端支持 Lizzy GGUF 后使用硬件与内存规划hardware-requirements.rst给出了各形态的起点建议Transformers BF16短提示词 24 GB GPU 显存起步长上下文建议 40 GB 以上vLLM serving24 GB 及以上单卡 A40/H100 冒烟测试通过GGUF Q4_K_M8 GB 统一内存/RAM 起步、16 GB 推荐Q5_K_M 或 Q6_K 推荐 16 GBQ8_0 推荐 24 GBf16 推荐 32 GB磁盘至少预留所选模型文件大小 2 倍的空间覆盖 Hugging Face 缓存、部分下载与运行时元数据KV cacheLizzy 以 BF16/FP16 KV cache 计算约 0.5 MB/tokenbatch size 14,096 token 约 2 GB、8,192 token 约 4 GB、32,768 token 约 16 GB、65,536 token 约 32 GB批处理与并发请求会成倍放大。性能调优参考vLLM 路径在vllm0.21.0、gpu_memory_utilization0.72下单卡 H100 冒烟测试支持max_model_len最高 32768张量并行方面tensor_parallel_size22×H100与tensor_parallel_size44×A40的进程内生成已通过验证而tensor_parallel_size8与带张量并行的 OpenAI 兼容 serving 尚未完成测试——文档明确要求在生产前单独验证见 how-to-run-lizzy.rst 与 troubleshooting.rst。这正是性能调优与运维审查服务要解决的实际问题。Endeavor 1.0 部署的特殊性endeavor.rst它提供两种运行模式——Flower-managed 服务通过熟悉的模型 API 与响应格式从现有应用和 Agent 框架调用与私有部署在自有环境中自托管由 Flower 团队对数据、基础设施与系统提供支持。私有部署是受支持的合作形态且 Endeavor 1.0 目前不提供公开开源权重。场景三领域适配 —— 数据审查、评估设计与偏好调优把模型适配到某个领域对应的技术管线可以从 Lizzy 7B 的训练方法中直接借鉴lizzy-training-and-evaluation.rst预训练Pre-training大规模公开文本、文档、代码、数学与百科语料监督微调SFT指令遵循、对话、推理与工具使用样本直接偏好优化DPO用偏好对提升 helpfulness、风格与回答质量可验证奖励强化学习RLVR用可验证的奖励信号做定向行为精炼。企业领域适配服务的数据审查data review对应语料质量与领域覆盖评估评估设计evaluation design对应领域评测集构建偏好调优preference tuning则对应 DPO/RLVR 阶段的偏好信号构建发布验证release validation则要在发布前跑完安全与质量审查。Lizzy 的训练数据混合了英国特定示例与偏好信号——这正是语气、术语、检索、任务表现适配的落地证据面向英国场景的领域适配在训练数据层面是真实发生过且可复制的。场景四本地或保密推理 —— GGUF、vLLM 与 Transformers 部署指导运行本地或保密推理是数据敏感型组织最常见的诉求。企业服务提供 GGUF、vLLM 与 Transformers 三类部署指导并配套监控与访问控制建议。GGUF 量化形态选择lizzy-gguf.rst变体文件大小质量保留推荐用途Q4_K_M4.2 GB92%资源受限环境Q5_K_M4.8 GB95%质量与体积的最佳平衡Q6_K5.6 GB97%Q5 与 Q8 之间Q8_07.2 GB99%近无损压缩f1613.6 GB100%最高质量与基准测试GGUF 推荐默认选 Q5_K_M质量优先且体积可控内存/磁盘紧张时选 Q4_K_M质量敏感型基准测试选 Q8_0 或 f16。保密推理场景通常意味着无法依赖云上 vLLM 服务此时本地 GGUF llama.cpp 路径是主选用llama-server暴露 OpenAI 兼容本地 API模型文件完全留在自有设备内。本地推理的关键约束所有 GGUF 文件都要求运行时支持general.architecture lizzy。当前经过冒烟测试的兼容构建是relogu/llama.cpp的lorenzo-dev分支commit991a41b若运行时报告unknown model architecture: lizzy则需要更换兼容构建或改用 Transformers 加载 BF16 检查点详见 troubleshooting.rst。Ollama 与桌面 GGUF 应用LM Studio、Jan的 Lizzy 支持目前处于进行中状态生产使用前必须先确认后端版本。五、从企业接入到实际运行Endeavor 1.0 的接入路径Endeavor 1.0 预览期采用请求制开放。获得访问权后企业会拿到 Flower API key随后可以接入两大主流编码 Agent 客户端。仓库内有两份完整的分步指南endeavor-chatgpt-codex.rst 与 endeavor-opencode.rst。接入 ChatGPT/Codex下载模型目录 flower-models.json 到Downloads复制到~/.codex/并在终端打印model_catalog_json配置行编辑~/.codex/config.tomlCLI 与桌面应用共享写入model flower-endeavor model_provider flower model_reasoning_effort low model_catalog_json /Users/YOUR_USERNAME/.codex/flower-models.json [model_providers.flower] name Flower Labs base_url https://api.flower.ai/v1 wire_api responses env_key FLOWER_API_KEY在终端用read -rs方式安全设置FLOWER_API_KEY不回显、不进 shell 历史同一终端运行codexEndeavor 默认选中macOS 桌面应用需执行launchctl setenv FLOWER_API_KEY $FLOWER_API_KEY后从 Dock 重新打开应用。模型目录 flower-models.json 还揭示了 Endeavor 的能力面128,000 token 上下文窗口、96,000 token 自动压缩阈值、四级推理强度low/medium/high/xhigh默认 low、支持并行工具调用与多 Agent 模式multi_agent_version v2——这些能力面信息对企业评估模型能否支撑内部 Agent 工作流有直接参考价值。接入 OpenCode创建~/.config/opencode/opencode.json配置flower-labsprovider基于ai-sdk/openai走 Responses API与flower-labs/flower-endeavor模型同样以read -rs方式设置FLOWER_API_KEY运行opencode --model flower-labs/flower-endeavor桌面版同样通过launchctl setenv注入密钥。两份指南都强调新开终端会话或重启 macOS 后需要重新设置 API key退出登录后用launchctl unsetenv FLOWER_API_KEY移除。六、生产化前的安全底线与排障要点企业级使用必须在评估阶段就明确安全边界。两份模型文档的安全章节endeavor.rst、lizzy-7b.rst给出了统一口径模型可能产生错误、过时、不完整或过度自信的回复重要输出必须验证不得作为医疗、法律、金融、安全关键或其他高影响决策的唯一依据高风险工作流需要人工监督、领域审查、访问控制、监控与下游内容审核Lizzy 的英国导向调优会提升本地风格与文化对齐但也可能使语气与假设偏向英国惯例。排障方面troubleshooting.rst 记录了企业部署中最常见的几类问题及已验证的处理路径GGUF 运行时报告unknown model architecture: lizzy运行时缺 Lizzy 架构支持改用relogu/llama.cpp的lorenzo-dev分支或 Transformers BF16 路径macOS Metal 初始化失败ggml_metal_init: error: failed to create command queue虚拟化/沙箱环境常见可用-dev none -ngl 0 --no-op-offload做纯 CPU 冒烟测试llama-cpp-python 解析聊天模板失败Encountered unknown tag generation用文档提供的兼容 shim 剥离 GGUF 元数据中的{% generation %}/{% endgeneration %}块标签Transformers AutoTokenizer 失败Tokenizer class TokenizersBackend does not exist需 Python 3.10 与 Transformers 5.xpip install transformers5,6 jinja2 protobufvLLM 张量并行 reshape 报错shape [1, 16384, 32, 128] is invalid旧模型快照问题清理 HF 缓存或固定到包含本地张量并行头数处理的新 revision。七、参考资料索引enterprise.rst企业支持总览本文核心依据endeavor.rstEndeavor 1.0 模型介绍、训练方法与评估亮点endeavor-chatgpt-codex.rst接入 Codex CLI 与 ChatGPT/Codex 桌面应用endeavor-opencode.rst接入 OpenCode CLI 与桌面应用lizzy-7b.rstLizzy 7B 模型介绍、评估与安全摘要how-to-run-lizzy.rstTransformers / vLLM / llama.cpp 运行指南hardware-requirements.rst硬件、显存、KV cache 与磁盘规划lizzy-gguf.rstGGUF 量化变体选择与架构细节lizzy-training-and-evaluation.rst四阶段训练方法与评估设计troubleshooting.rst各类运行时故障与已验证的解决路径flower-models.jsonEndeavor 模型目录上下文窗口、推理等级、工具能力【免费下载链接】flowerFlower: A Friendly Federated AI Framework项目地址: https://gitcode.com/GitHub_Trending/flo/flower创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Flower 模型企业级支持指南：Endeavor 1.0 与 Lizzy 7B 的评估、部署与集成全攻略
Flower 模型企业级支持指南Endeavor 1.0 与 Lizzy 7B 的评估、部署与集成全攻略【免费下载链接】flowerFlower: A Friendly Federated AI Framework项目地址: https://gitcode.com/GitHub_Trending/flo/flower本文是一份面向组织的技术指南围绕 Flower 模型项目enterprise.rst 所定义的企业支持服务体系展开详细说明如何借助 Flower Labs 的企业服务评估、部署、适配与集成 Endeavor 1.0 和 Lizzy 7B 两款模型。读完本文你将掌握企业合作的完整工作范围、四类典型合作场景的交付内容以及从硬件规划、运行时选择到接入 ChatGPT/Codex、OpenCode 的落地路径。一、Flower 模型项目与企业支持面向组织的合作入口Flower Labs 的模型项目目前包含两款模型Endeavor 1.0定位为 frontier-class前沿级通用模型面向高级推理、编码辅助与长周期 Agent 任务当前处于预览阶段采用请求制开放访问不提供公开开源权重详见 endeavor.rst。Lizzy 7B面向英国用户场景的开源权重助手模型同时提供 BF16 Safetensors 检查点与 GGUF 量化文件详见 lizzy-7b.rst。enterprise.rst 明确指出Flower Labs 与希望在内部**评估evaluate、部署deploy、适配adapt或集成integrate**这些模型的组织合作。也就是说企业支持并不仅仅是一个销售入口它实际上界定了围绕模型生命周期的一整套技术服务边界——从拿到模型之前的能力验证到生产环境运行再到针对特定领域与既有系统的深度定制。二、两款模型的基本形态企业合作的技术前提在进入企业服务细节之前先明确两款模型的可交付形态这决定了后续评估与部署方案的选择属性Endeavor 1.0Lizzy 7B定位Frontier-class 通用模型推理、编码、长周期 Agent7B 级开源助手模型通用对话、推理、编码、英国导向知识访问方式预览期内按请求制开放Flower-managed API 或私有部署公开权重Hugging Face 直接下载模型产物预览期不公布公开检查点私有部署时在入驻流程中确认格式BF16 Safetensors GGUFQ4_K_M / Q5_K_M / Q6_K / Q8_0 / f16上下文长度需在入驻时确认模型目录记录 128,000 token 上下文窗口最高 65,536 token视运行时与 serving 配置授权部署时确认基础模型 Apache-2.0其中 Lizzy 7B 的 GGUF 发布件在架构上报告32 层 post-norm 架构、hidden size 4096、滑动窗口注意力窗口 4096 全注意力、YaRN RoPE 缩放factor 8.0、原始上下文 8192、100,278 token 词表、65,536 token 上下文详见 lizzy-gguf.rst。从仓库文档结构看Flower 模型文档把模型介绍endeavor、lizzy-7b与How-to 指南enterprise、how-to-run-lizzy分层组织企业支持被明确归类为 How-to Guides说明它面向的是组织用户要做什么的实操场景而非单纯的模型宣传页见 index.rst 的 toctree 结构。三、企业级工作范围六大服务方向根据 enterprise.rst企业合作可以覆盖以下六类工作领域特定保密评估针对特定领域的提示词、策略与工作流进行保密评估confidential evaluations on domain-specific prompts, policies, and workflows。访问规划、集成与部署指导为 Flower-managed 与私有 Endeavor 部署提供访问规划、集成与部署指导access planning, integration, and deployment guidance。GPU 服务、本地推理与量化部署指导为发布了兼容产物的模型提供 GPU serving、本地推理与量化部署指导。模型领域适配针对语气tone、术语terminology、检索retrieval与任务表现task performance进行模型适配。安全、监控与质量审查面向生产用途的安全、监控与质量审查。既有系统集成与现有应用、数据系统与治理流程的集成。这六个方向实际上覆盖了模型从能不能用到怎么用好再到怎么长期稳定运行的完整链条。下面结合模型文档逐项拆解其技术内涵。四、四类典型合作场景从评估到生产的完整交付enterprise.rst 用一张表格定义了四类典型的合作场景及其支持内容这是企业服务的核心骨架需求Need支持Support为内部用例评估一个 Flower 模型基准设计benchmark design、测试提示词test prompts、风险审查risk review与部署建议deployment recommendations在生产环境部署 Lizzy或规划受支持的 Endeavor 1.0 部署运行时选择runtime selection、服务架构serving architecture、性能调优performance tuning与运维审查operational review将模型适配到某个领域数据审查data review、评估设计evaluation design、偏好调优preference tuning与发布验证release validation运行本地或保密推理GGUF、vLLM 与 Transformers 部署指导配合适当的监控与访问控制下面逐一展开并给出仓库内的配套技术资料。场景一内部用例评估 —— 基准设计、测试提示词与风险审查评估一个模型是否适合内部用例是几乎所有企业合作的第一步。这项服务交付的是基准设计为你的领域任务设计可复现的评测集、测试提示词构造能暴露模型能力边界的提示词集合、风险审查针对输出风险与领域红线做评估与部署建议。仓库中的评估素材可以参考Lizzy 7B 的评估体系lizzy-7b.rst文档同时报告了英国导向基准Britishness MCQ / CoT / Domains与通用基准MATH、MMLU、GPQA、HumanEvalPlus、MBPP、LiveCodeBench v3、AIME、GSM8K对比对象为 EuroLLM 9B 与 Apertus 8B。这为在哪个维度上衡量一个英国导向模型提供了可直接复用的评测维度。Endeavor 1.0 的安全评估表lizzy-7b.rst 中的 safety-evaluation summary覆盖 WildGuardTest、HarmBench、ToxiGen、XSTest、StrongReject、BBQ、WMDP 七个安全基准文档明确提示这些数字是评估信号而非保证——企业风险审查环节应结合这些信号建立自己的策略检查与人工监督。FlowerBench 机制endeavor.rstEndeavor 1.0 的训练信号来自 FlowerBench——它允许在不移动企业专有数据的前提下在组织自有环境内对真实、高价值的企业工作流做可重复评估。任务由加入 Flower Enterprise Evaluation Network 的组织贡献并在各自环境内运行。这一数据不出域即可评估的模式正是保密评估服务的技术底座。场景二生产部署 —— 运行时选择、服务架构与性能调优这是最硬核的场景交付内容包括运行时选择、服务架构设计、性能调优与运维审查。仓库中 how-to-run-lizzy.rst 给出了运行时选择的决策表运行时适用场景Transformers需要 Python 集成、全精度、自定义模型代码或微调工作流vLLM需要 GPU serving、OpenAI 兼容 API、批处理或张量并行llama.cpp使用支持 Lizzy GGUF 架构的构建需要本地推理、CPU 支持、灵活 GPU 卸载或小部署体积Ollama、LM Studio、Jan进行中work in progress仅在确认后端支持 Lizzy GGUF 后使用硬件与内存规划hardware-requirements.rst给出了各形态的起点建议Transformers BF16短提示词 24 GB GPU 显存起步长上下文建议 40 GB 以上vLLM serving24 GB 及以上单卡 A40/H100 冒烟测试通过GGUF Q4_K_M8 GB 统一内存/RAM 起步、16 GB 推荐Q5_K_M 或 Q6_K 推荐 16 GBQ8_0 推荐 24 GBf16 推荐 32 GB磁盘至少预留所选模型文件大小 2 倍的空间覆盖 Hugging Face 缓存、部分下载与运行时元数据KV cacheLizzy 以 BF16/FP16 KV cache 计算约 0.5 MB/tokenbatch size 14,096 token 约 2 GB、8,192 token 约 4 GB、32,768 token 约 16 GB、65,536 token 约 32 GB批处理与并发请求会成倍放大。性能调优参考vLLM 路径在vllm0.21.0、gpu_memory_utilization0.72下单卡 H100 冒烟测试支持max_model_len最高 32768张量并行方面tensor_parallel_size22×H100与tensor_parallel_size44×A40的进程内生成已通过验证而tensor_parallel_size8与带张量并行的 OpenAI 兼容 serving 尚未完成测试——文档明确要求在生产前单独验证见 how-to-run-lizzy.rst 与 troubleshooting.rst。这正是性能调优与运维审查服务要解决的实际问题。Endeavor 1.0 部署的特殊性endeavor.rst它提供两种运行模式——Flower-managed 服务通过熟悉的模型 API 与响应格式从现有应用和 Agent 框架调用与私有部署在自有环境中自托管由 Flower 团队对数据、基础设施与系统提供支持。私有部署是受支持的合作形态且 Endeavor 1.0 目前不提供公开开源权重。场景三领域适配 —— 数据审查、评估设计与偏好调优把模型适配到某个领域对应的技术管线可以从 Lizzy 7B 的训练方法中直接借鉴lizzy-training-and-evaluation.rst预训练Pre-training大规模公开文本、文档、代码、数学与百科语料监督微调SFT指令遵循、对话、推理与工具使用样本直接偏好优化DPO用偏好对提升 helpfulness、风格与回答质量可验证奖励强化学习RLVR用可验证的奖励信号做定向行为精炼。企业领域适配服务的数据审查data review对应语料质量与领域覆盖评估评估设计evaluation design对应领域评测集构建偏好调优preference tuning则对应 DPO/RLVR 阶段的偏好信号构建发布验证release validation则要在发布前跑完安全与质量审查。Lizzy 的训练数据混合了英国特定示例与偏好信号——这正是语气、术语、检索、任务表现适配的落地证据面向英国场景的领域适配在训练数据层面是真实发生过且可复制的。场景四本地或保密推理 —— GGUF、vLLM 与 Transformers 部署指导运行本地或保密推理是数据敏感型组织最常见的诉求。企业服务提供 GGUF、vLLM 与 Transformers 三类部署指导并配套监控与访问控制建议。GGUF 量化形态选择lizzy-gguf.rst变体文件大小质量保留推荐用途Q4_K_M4.2 GB92%资源受限环境Q5_K_M4.8 GB95%质量与体积的最佳平衡Q6_K5.6 GB97%Q5 与 Q8 之间Q8_07.2 GB99%近无损压缩f1613.6 GB100%最高质量与基准测试GGUF 推荐默认选 Q5_K_M质量优先且体积可控内存/磁盘紧张时选 Q4_K_M质量敏感型基准测试选 Q8_0 或 f16。保密推理场景通常意味着无法依赖云上 vLLM 服务此时本地 GGUF llama.cpp 路径是主选用llama-server暴露 OpenAI 兼容本地 API模型文件完全留在自有设备内。本地推理的关键约束所有 GGUF 文件都要求运行时支持general.architecture lizzy。当前经过冒烟测试的兼容构建是relogu/llama.cpp的lorenzo-dev分支commit991a41b若运行时报告unknown model architecture: lizzy则需要更换兼容构建或改用 Transformers 加载 BF16 检查点详见 troubleshooting.rst。Ollama 与桌面 GGUF 应用LM Studio、Jan的 Lizzy 支持目前处于进行中状态生产使用前必须先确认后端版本。五、从企业接入到实际运行Endeavor 1.0 的接入路径Endeavor 1.0 预览期采用请求制开放。获得访问权后企业会拿到 Flower API key随后可以接入两大主流编码 Agent 客户端。仓库内有两份完整的分步指南endeavor-chatgpt-codex.rst 与 endeavor-opencode.rst。接入 ChatGPT/Codex下载模型目录 flower-models.json 到Downloads复制到~/.codex/并在终端打印model_catalog_json配置行编辑~/.codex/config.tomlCLI 与桌面应用共享写入model flower-endeavor model_provider flower model_reasoning_effort low model_catalog_json /Users/YOUR_USERNAME/.codex/flower-models.json [model_providers.flower] name Flower Labs base_url https://api.flower.ai/v1 wire_api responses env_key FLOWER_API_KEY在终端用read -rs方式安全设置FLOWER_API_KEY不回显、不进 shell 历史同一终端运行codexEndeavor 默认选中macOS 桌面应用需执行launchctl setenv FLOWER_API_KEY $FLOWER_API_KEY后从 Dock 重新打开应用。模型目录 flower-models.json 还揭示了 Endeavor 的能力面128,000 token 上下文窗口、96,000 token 自动压缩阈值、四级推理强度low/medium/high/xhigh默认 low、支持并行工具调用与多 Agent 模式multi_agent_version v2——这些能力面信息对企业评估模型能否支撑内部 Agent 工作流有直接参考价值。接入 OpenCode创建~/.config/opencode/opencode.json配置flower-labsprovider基于ai-sdk/openai走 Responses API与flower-labs/flower-endeavor模型同样以read -rs方式设置FLOWER_API_KEY运行opencode --model flower-labs/flower-endeavor桌面版同样通过launchctl setenv注入密钥。两份指南都强调新开终端会话或重启 macOS 后需要重新设置 API key退出登录后用launchctl unsetenv FLOWER_API_KEY移除。六、生产化前的安全底线与排障要点企业级使用必须在评估阶段就明确安全边界。两份模型文档的安全章节endeavor.rst、lizzy-7b.rst给出了统一口径模型可能产生错误、过时、不完整或过度自信的回复重要输出必须验证不得作为医疗、法律、金融、安全关键或其他高影响决策的唯一依据高风险工作流需要人工监督、领域审查、访问控制、监控与下游内容审核Lizzy 的英国导向调优会提升本地风格与文化对齐但也可能使语气与假设偏向英国惯例。排障方面troubleshooting.rst 记录了企业部署中最常见的几类问题及已验证的处理路径GGUF 运行时报告unknown model architecture: lizzy运行时缺 Lizzy 架构支持改用relogu/llama.cpp的lorenzo-dev分支或 Transformers BF16 路径macOS Metal 初始化失败ggml_metal_init: error: failed to create command queue虚拟化/沙箱环境常见可用-dev none -ngl 0 --no-op-offload做纯 CPU 冒烟测试llama-cpp-python 解析聊天模板失败Encountered unknown tag generation用文档提供的兼容 shim 剥离 GGUF 元数据中的{% generation %}/{% endgeneration %}块标签Transformers AutoTokenizer 失败Tokenizer class TokenizersBackend does not exist需 Python 3.10 与 Transformers 5.xpip install transformers5,6 jinja2 protobufvLLM 张量并行 reshape 报错shape [1, 16384, 32, 128] is invalid旧模型快照问题清理 HF 缓存或固定到包含本地张量并行头数处理的新 revision。七、参考资料索引enterprise.rst企业支持总览本文核心依据endeavor.rstEndeavor 1.0 模型介绍、训练方法与评估亮点endeavor-chatgpt-codex.rst接入 Codex CLI 与 ChatGPT/Codex 桌面应用endeavor-opencode.rst接入 OpenCode CLI 与桌面应用lizzy-7b.rstLizzy 7B 模型介绍、评估与安全摘要how-to-run-lizzy.rstTransformers / vLLM / llama.cpp 运行指南hardware-requirements.rst硬件、显存、KV cache 与磁盘规划lizzy-gguf.rstGGUF 量化变体选择与架构细节lizzy-training-and-evaluation.rst四阶段训练方法与评估设计troubleshooting.rst各类运行时故障与已验证的解决路径flower-models.jsonEndeavor 模型目录上下文窗口、推理等级、工具能力【免费下载链接】flowerFlower: A Friendly Federated AI Framework项目地址: https://gitcode.com/GitHub_Trending/flo/flower创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
