水平 Pod 自动扩缩器(HPA)依据观测指标和目标值周期性计算期望副本数。扩容后指标回落、随后缩容、继而延迟升高再扩容,常被称作扩缩容震荡。验收不能只检查副本是否“看起来稳定”,还要确认决策窗口符合负载变化速度,且服务在扩缩容期间保持延迟与错误率目标。
HPA 会读取资源或自定义指标,并按目标值与当前值的比例推算期望副本数。控制循环、指标采集、聚合和应用响应都存在时间差。CPU 可能在新副本启动后下降,但队列中的请求尚未处理;若缩容判断过早,就会减少仍然需要的处理能力。采样窗口过短时尖峰和抖动容易直接影响决策;过长则会平滑短暂波动,也可能延迟对真实突发的反应。
稳定窗口与采样窗口并非同一概念。稳定窗口约束控制器在近期建议中如何选择扩缩容结果,避免由单次低值触发快速缩容。另可通过行为策略限制一定时间内的副本增减幅度。配置时需结合控制器版本和集群实际支持的行为字段,不应假设所有环境默认值一致。⚙️
这套方法适合周期性尖峰、突发请求、队列排空较慢、冷启动明显或指标短时噪声较大的工作负载。先核实所用指标是否代表瓶颈:CPU 利用率通常以容器 requests 作为计算基准;requests 配置不合理,会使利用率比例失真。自定义指标还要确认聚合维度、统计时间范围、单位、时间戳和缺样处理。🔍
诊断时将流量、CPU、队列深度、期望副本、实际副本、扩缩容事件、冷启动耗时,以及请求延迟 p95/p99 放在同一时间轴上。延迟分位数比平均值更容易暴露少量慢请求。若副本数变化而高分位延迟、错误率和队列均处于目标范围,可能只是余量正常调整;若缩容后 p99 延迟持续上升并伴随队列积压,说明容量回收过快,或瓶颈来自下游、启动过程等因素。📊
确认测量口径。记录指标来源、目标值、采集与聚合周期、容器 requests、应用启动时间和服务延迟目标,检查指标时间戳是否连续。
建立基线。在常态负载下记录延迟分布、错误率、队列深度及副本数量,明确允许范围和观测周期。
覆盖峰值与回落。使用可重复的阶跃负载,测试短促尖峰、持续高负载、负载回落及冷启动阶段。测试强度应符合团队既定的环境与容量边界,不依赖生产事故触发。
逐项调整。先根据指标噪声与尖峰持续时间评估采样窗口,再根据队列排空和扩容后负载恢复时间评估缩容稳定窗口;如有必要,再限制缩容幅度或速率。每轮只改一项并记录变更,保证结果能归因。🛠️
重复观测。至少覆盖完整的采样窗口、稳定窗口和应用启动/排队恢复过程。把配置、流量曲线、事件、延迟和副本变化一起保存,方便回归比较。
验收项应采用明确的服务目标与测试区间,而不是“伸缩平稳”等主观描述。可以约定:给定流量曲线下,p95/p99 延迟与错误率不超过服务目标;扩容期间实际副本最终达到 HPA 期望范围;负载回落后,在配置的缩容稳定窗口内不发生连续反向动作;缩容完成后队列回落且延迟仍达标。对允许的副本变化幅度、超标持续时间和复测轮数,团队应在测试前写入标准,避免事后挑选有利区间。✅
| 观测信号 | 判读重点 | 验收关联 |
|---|---|---|
| 指标时间戳与缺样 | 采样是否连续、聚合口径是否一致 | 排除错误低值触发缩容 |
| 副本数与事件 | 建议值、实际值及反向动作时间 | 确认动作受窗口与速率约束 |
| p95/p99、错误率、队列 | 扩容与缩容前后是否恢复 | 确认用户体验达标 |
常见误区包括把所有指标统一设成很长窗口、只观察 CPU 平均值、把副本数不变当作成功,或在同一轮同时调整目标值、窗口和速率。窗口过长会掩盖真实突发;稳定窗口过长可能留下闲置容量;过短则可能在请求尚未排空时回收副本。若延迟升高但 CPU 不高,应检查下游限流、锁竞争、网络等待和队列指标,不能单靠扩大 HPA 副本解决。🧩