在企业IT基础设施建设中，Kubernetes已成为企业部署和管理容器化应用的首选平台。然而，这也使得Kubernetes集群成为攻击者的目标。在今年的RSA大会上，Chipotle的两位应用安全工程师Raunaq Arora和Caleb Schwartz分享了他们在保障Kubernetes安全方面的经验和最佳实践。本文将对该演讲进行深入解读，探讨Kubernetes环境中的安全挑战以及应对策略。
一
背景介绍
Chipotle是一家知名的食品行业公司，Raunaq Arora和Caleb Schwartz是Chipotle的两位应用安全工程师。在保障其IT基础设施和应用安全的过程中，尤其是在Kubernetes环境的安全管理方面，他们积累了丰富的经验。
如图1所示，他们通过对比Burrito（卷饼）的制作过程和Kubernetes环境中的安全威胁，以别具一格的方式分享了Kubernetes环境中的安全挑战以及解决方案，为中小企业在Kubernetes安全管理方面提供了可复制的经验。
图1 对比食品和Kubernetes环境
二
Kubernetes环境中的安全挑战
在现代IT基础设施中，Kubernetes已成为容器编排的标准平台，为企业基础设施建设提供了灵活性和高效性。随着Kubernetes的广泛应用，其安全性也日益受到关注。Redhat于2023年9月发布的《Kubernetes安全状况报告》表明，安全问题已成为Kubernetes部署的主要障碍之一。如图2所示，超过三分之二的受访者因安全问题选择延迟Kubernetes的部署。
图2 因安全问题影响Kubernetes部署情况统计
导致企业减缓部署Kubernetes的安全原因是多方面的，如图3所示，Raunaq和Caleb在演讲中从Kubernetes威胁矩阵的角度列出了Kubernetes环境中的各类威胁，这些威胁主要包括：
初始访问
攻击者可以通过利用云凭证或者其他已泄露的凭证来获取对Kubernetes集群的初始访问权限。这类攻击的常见方式包括钓鱼攻击、社交工程以及漏洞利用等。
执行
一旦获得访问权限，攻击者可以在容器内部执行恶意命令或脚本，以进一步扩展他们的控制。这类攻击可能包括在受感染的容器中运行shell命令，或者通过注入恶意代码来执行远程控制。
持久化
攻击者往往会尝试通过后门或恶意容器在系统中保持持久化的访问。常见的持久化手段包括安装恶意软件、创建新的用户账号或者修改系统配置以在重启后继续保留控制。
特权提升
通过绑定集群管理员角色或其他高权限角色，攻击者可以提升他们在集群中的权限，从而访问和控制更多的资源。常见的特权提升手段包括利用漏洞或错误配置来获得更高的权限。
防御逃避
为了隐藏他们的活动，攻击者可能会尝试清除容器日志或其他痕迹，以避免被检测和发现。这类防御逃避手段通常包括删除日志文件、覆盖敏感数据以及修改监控配置等。
凭证访问
攻击者可能会试图访问Kubernetes API服务器以获取更多的敏感信息，如访问令牌、配置文件和密钥等。这类攻击通常通过暴力破解、钓鱼攻击或者利用未加密的通信渠道进行。
发现
一旦进入Kubernetes环境，攻击者会尝试枚举集群中的资源和服务，以发现潜在的攻击目标。这类发现活动通常包括扫描开放端口、枚举服务和Pod以及收集环境配置信息等。
横向移动
攻击者可以通过网络在集群内部横向移动，从一个受感染的节点扩散到其他节点。常见的横向移动手段包括利用网络漏洞、滥用凭证以及通过共享资源进行传播。
收集
攻击者可能会从受感染的Pod中收集敏感数据，包括用户信息、应用数据以及系统配置等。这类数据收集通常通过访问数据库、读取配置文件以及监视网络流量来实现。
影响
攻击者的最终目标可能是对系统造成影响，如资源劫持、数据破坏、服务中断等。常见的影响手段包括加密勒索、数据泄露、资源耗尽以及服务拒绝攻击等。
图3 Kubernetes威胁矩阵
三
保护Kubernetes环境的关键措施
为了应对上述安全挑战，Kubernetes环境需要全面的安全保障。然而，正如Raunaq和Caleb所说，中小企业真正投入到业务安全的资源往往是非常有限的，怎么用最少的资源、最快的速度、最有效地发现和修复环境中的安全问题成了当下最棘手的问题。
Raunaq和Caleb分享了一种方案：依托丰富的开源工具减少各关键控制点的安全风险。如图4所示，首先需要分析整个软件开发生命周期的关键控制点，然后借助相应的开源工具或技术实施对应的安全策略。这些策略应涵盖容器镜像、配置管理、运行时保护到事件响应的各个方面。接下来笔者将结合他们的观点，就如何保护Kubernetes环境进行简要介绍。
图4 全软件开发生命周期关键控制点
镜像安全
加固基础镜像
使用Rapidfort提供的Community Images工具加固基础镜像，选择可信的基础镜像、移除不必要的组件和依赖项。
镜像扫描
在镜像构建过程中使用如Grype和Xeol等工具扫描镜像中的漏洞，减少镜像引入安全漏洞的风险。
镜像签名和验证
使用Notation对镜像进行签名，可以确保镜像的来源可信，并防止镜像在传输和存储过程中被篡改。
配置管理
扫描错误配置
使用Kubescape扫描集群配置（如YAML文件和Helm），并发现潜在的错误配置。
基准配置核查
遵循CIS基准，采用kube-bench工具对集群进行基准配置核查，确保集群配置的安全性。
网络安全
使用微分段
如图5所示，利用Kubernetes的Network Policy来实现网络分段，限制Pod、服务、命名空间和集群之间的通信，定义严格的网络策略，减少潜在的攻击面。
图5 Kubernetes环境中的微分段
加密通信
使用TLS加密服务以及Pod间的通信，确保集群内部和外部的所有通信均采用加密协议，防止数据被窃听或篡改。如图6所示，在集群中使用Istio加密集群网络流量。
图6 使用服务网格加密集群流量
运行时安全
运行时监控
使用Falco和Tetragon等工具进行运行时监控，检测容器内的异常行为和潜在威胁。
运行时日志
启用Kubernetes的审计日志功能，记录所有的API请求和操作，便于事后分析和追踪。
审计和监控
集中日志管理
将所有日志集中管理和存储，便于分析和审计。如图3-3所示，可以使用Fluentd来实现集中日志管理。
实时监控
部署实时监控工具（如Prometheus、Grafana等），及时发现和响应异常行为。
报警机制
可以使用Prometheus Alertmanager来实现报警通知当检测到异常行为时及时通知安全人员 。
访问控制
最小访问策略
实施RBAC（基于角色的访问控制），确保最小权限原则。通过定义不同角色的权限，限制用户和服务账户的访问范围，减少权限滥用的风险。
权限审计
定期审计和更新权限配置，防止权限滥用。利用Kubernetes内置的审计功能，跟踪和记录权限变更和访问活动。
攻击面管理
资产可视化
使用Cartography等工具发现集群影子资产以及集群潜在威胁。
内部攻击链建模
使用KubeHound等工具可视化和理解集群可能存在的攻击路径和漏洞，及时发现内部安全风险。
外部攻击面发现
使用Project Discovery团队的PDTM工具定期进行扫描，及时发现和修复安全漏洞，减少外部攻击。
四
总结
Kubernetes作为现代企业容器编排的核心平台，面临着多种复杂的安全挑战。Chipotle两位应用安全工程师Raunaq Arora和Caleb Schwartz在本次RSA大会上分享了Kubernetes环境中常见的安全挑战以及应对策略。笔者认为，随着云原生技术的不断演进，构建安全的Kubernetes环境还需要从以下几个方面入手：
第一，构建基于行为的威胁检测能力
攻击技术日新月异，基于签名的传统威胁检测方法往往无法发现新型攻击，而基于行为的威胁检测系统，仅将已知安全行为作为安全白名单，可以提高对未知威胁的检测和响应能力。
第二，构建AI驱动的异常检测和响应能力
AI可以通过分析大量数据，识别复杂的攻击模式和异常行为，自动化地进行威胁检测和响应。例如，AI可以实时分析日志数据，发现潜在的安全威胁并自动触发相应的响应措施，减少对人工干预的依赖，提高响应速度和准确性。
第三，集成DevSecOps能力
随着Kubernetes集群的规模和复杂度不断增加，人工管理安全措施变得难以为继，持续漏洞扫描、配置审核和行为监控等安全能力应该被集成到CI/CD管道中，以确保在开发和运营的每个阶段都能实时发现并修复安全问题。
总体而言，在Kubernetes环境中构建一套全面、智能的安全体系是应对复杂安全挑战的关键。通过多层次的防御措施、零信任模型、自动化和AI技术的应用，以及持续的培训和意识提升，才能更有效地保障Kubernetes环境安全、稳定运行。
参考文献
[1] https://www.redhat.com/zh/resources/state-kubernetes-security-report-2023
[2] https://github.com/rapidfort/community-images
[3] https://github.com/anchore/grype
[4] https://github.com/xeol-io/xeol
[5] https://github.com/notaryproject/notation
[6] https://github.com/kubescape/kubescape
[7] https://github.com/aquasecurity/kube-bench
[8] https://juejin.cn/post/7356772031897632818
[9] https://www.kubernetes.org.cn/9319.html
[10] https://github.com/falcosecurity/falco
[11] https://github.com/cilium/tetragon
[12] https://docs.fluentd.org/v/0.12/articles/kubernetes-fluentd
[13] https://github.com/kayrus/prometheus-kubernetes/blob/master/alertmanager-deployment.yaml
[14] https://github.com/lyft/cartography
