阿里云文档 2025-12-25

为PD分离推理服务配置弹性伸缩策略

在Prefill-Decode(PD)分离的LLM推理架构中,Prefill和Decode阶段的资源需求差异巨大,传统的CPU/GPU利用率指标无法有效指导弹性伸缩。本方案以Dynamo框架为例,介绍如何利用KEDA,根据NATS消息队列的积压情况,为Prefill角色配置独立的弹性伸缩策略,实现资源按需分配,优化服务成本与性能。

阿里云文档 2025-12-22

DescribePolicyGovernanceInCluster:查询集群策略治理的审计日志与违规情况-容器服务 Kubernetes 版 ACK-阿里云

ACK集群容器安全策略供了种类丰富的内置规则库,包括Compliance、Infra、K8s-general和PSP,旨在确保容器在生产环境中的安全运行。您可以调用DescribePolicyGovernanceInCluster接口,查询目标集群策略治理的详细信息,例如集群当前启用的不同等级策略计数统计、策略治理审计日志、拦截和告警情况等。

阿里云文档 2025-12-22

调用DeletePolicyInstance删除策略规则实例-容器服务 Kubernetes 版 ACK-阿里云

您可以调用DeletePolicyInstance接口,在指定集群中删除策略规则实例。

阿里云文档 2025-12-22

调用DeployPolicyInstance API部署策略规则实例-容器服务 Kubernetes 版 ACK-阿里云

您可以在ACK集群中选择安全策略类型,配置策略实例的治理动作(告警或拦截)、作用的命名空间范围等,以创建并部署一个策略实例。您可以调用DeployPolicyInstance接口,在指定集群的命名空间中部署策略规则实例。

阿里云文档 2025-06-09

使用Gateway with Inference Extension实现生成式AI推理服务灰度发布

通过Gateway with Inference Extension组件,您可以在生成式AI推理服务中实现更换、升级使用的基础模型或者对多个LoRA模型进行灰度更新,将服务中断的时间降至最低。本文介绍如何使用Gateway with Inference Extension组件对生成式AI推理服务进行渐进式灰度发布。

文章 2024-08-20 来自:开发者社区

"Kubernetes的生死抉择:揭秘Pod容器重启策略如何决定应用命运的惊天大戏"

Kubernetes(简称k8s)是一个强大的容器编排平台,它提供了多种机制来确保容器的稳定性和高可用性。在k8s中,Pod是运行容器的最小单元,而Pod的容器重启策略是保障服务连续性的关键。本文将深入探讨k8s中Pod容器的重启策略,以及如何根据业务需求合理配置。 Pod的重启策略概述 在k8s中,...

文章 2024-08-19 来自:开发者社区

在k8S中,Pod的容器重启策略有哪些?

在 Kubernetes (k8S) 中,Pod 的容器重启策略(restartPolicy)定义了当 Pod 中的容器终止运行时 kubelet 应该如何处理。Kubernetes 提供了以下三种重启策略: Always: 默认值,表示无论容器以何种方式退出(包括正常退出、非零退出码或其他故障),kubelet 都会自动重启该容器。 ...

问答 2024-08-02 来自:开发者社区

在Kubernetes(简称K8s)环境中如何实施容器应用的容灾策略?

在Kubernetes(简称K8s)环境中如何实施容器应用的容灾策略?

文章 2024-04-12 来自:开发者社区

Kubernetes容器的重启策略

容器重启策略 Pod 的 spec 中包含一个 restartPolicy 字段,其可能取值包括以下情况: Always:总是重启,也是默认值 OnFailure:容器异常退出状态码非 0 重启 Never:从不重启 restartPolicy 适用于 Pod 中的所有容器。restartPolicy 仅针对同一节点上 kubel...

Kubernetes容器的重启策略
文章 2023-09-23 来自:开发者社区

Kubernetes(k8s)容器编排Pod调度策略

1 节点调度 一般而言pod的调度都是通过RC、Deployment等控制器自动完成,但是仍可以通过手动配置的方式进行调度,目的就是让pod的调度符合我们的预期。 Pod.spec.nodeName用于强制约束将Pod调度到指定的Node节点上,这里说是“调度”,但其实指定了nodeName的Pod会直接跳过Scheduler的调度逻辑,直接写入PodList列表,该匹配规则是强制匹配。1.1 ....

Kubernetes(k8s)容器编排Pod调度策略

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云容器服务 ACK

云端最佳容器应用运行环境,安全、稳定、极致弹性

+关注