认知与部署工程
关于 AI 部署工程（FDE）、认知素养与工作流重塑的长文思考。深度、有据、面向落地。
5 篇文章
多卡 GPU 整机实测：122B MoE 模型首字 287ms、310/310 零错误
在我们自研的液冷多卡 GPU 整机上，我们对 122B 参数 MoE 模型（10B 激活，Int4 量化）做了完整的推理压测：生产并发点输出 164 tok/s、首字延迟中位数 287ms、310 次请求零错误，五项质量测试全部通过。本文公开完整数据与并发拐点分析。
48 小时完成企业级 RAG 生产升级：cross-encoder 重排、vLLM 迁移与 v1.0.0
2026-07-24 到 07-25 的 48 小时内，我们在一台 DGX Spark 上完成了一次完整的生产 RAG 升级：接入 cross-encoder 重排、将推理引擎迁移到 vLLM、建成 17 道黄金问题集作为 CI 阻断门槛。单流 TTFT 下降 72%，c=2 聚合吞吐翻倍，升级全程主链路零中断。
GB10 推理引擎实测三方对比：llama.cpp -np4 vs vLLM vs NVIDIA 官方 NGC 容器
在同一台 DGX Spark（GB10，128GB 统一内存）上，我们把 GPT-OSS-120B 分别接到 llama.cpp -np4、自建 vLLM 镜像与 NVIDIA 官方 NGC vLLM 容器，用真实聊天管线（而非纯合成 benchmark）做了三方头对头测试。结论先行：自建 vLLM 镜像胜出——但赢的原因和"官方镜像天然更快"的直觉恰好相反。
TEI 在 arm64 上无解：我们如何用 llama.cpp 在 DGX Spark 上跑 bge-reranker-v2-m3
HuggingFace Text Embeddings Inference（TEI）没有 linux/arm64 镜像，这意味着它在 DGX Spark（GB10，ARM64）上无法启动。本文记录我们如何复用同一个 llama.cpp 镜像承载 cross-encoder 重排模型，实现零业务代码改动上线，以及为真实 RAG 分片长度所做的批大小调优。
人工智能前沿部署时代的「基础认知」全景解析与组织流程重塑报告
前沿部署工程师（FDE）在客户真实场景中锻造 AI 商业价值：本文以「10-20-70 法则」揭示成败七成取决于人与流程，并系统构建覆盖技术基石、工作流重塑与组织治理的三层「基础认知」框架。