Black Hat USA 2024刚刚结束，大量安全从业者、研究员在此次大会上提出了众多议题。其中，生成式人工智能、智能网联汽车、数据安全等领域被频繁提及。本文提取了Black Hat 2024上的部分分享内容，并从微软人工智能助手Copilot和智能车机两个方面阐述当前的问题和应对措施。
微软Copilot存在安全隐患，可导致敏感数据泄露
微软声称，将任务委托给人工智能助手Copilot，每天可节省数百小时的工作时间。微软Copilot Studio于2023年2月推出，允许各类公司建立自己的人工智能助手，并根据特定的公司数据对其进行训练，从而在微软的应用程序中自动执行任务。Copilot 基于大型语言模型，接受文本、图像和语音提示，可在新的 Windows 11 PC 和 Copilot PC 上运行。
然而，使用人工智能总是有风险的。在关于大型科技公司如何处理用户输入数据的争论白热化之际，微软表示， Copilot 提供了企业级的安全保护 ，防止用户数据被用于微软的人工智能模型训练。
尽管微软如此声称，但网络安全研究员Michael Bargury在拉斯维加斯举办的Black Hat 2024上，演示了Copilot Studio如何绕过现有控制，使企业敏感数据轻松外流。
数据泄漏是大概率事件
据该研究人员称，不安全的默认设置、过度许可的插件以及一厢情愿的设计思想，这些因素的结合使得数据泄露的概率大幅提升。
“绝大多数企业利用Copilot Studio创建的人工智能助手都不安全，而且很容易在网络上被发现，这些都是潜在的数据泄露事件。”Bargury表示：“企业必须将其作为应用安全计划的一部分，以确保不会将数据泄露到组织以外。”
此外，Bargury表示，Copilot 的界面和系统并不能防止错误和恶意攻击。由他创建的开发工具 CopilotHunter 可以扫描公开访问的 Copilot，并使用模糊处理和生成式人工智能来滥用它们，以提取敏感的企业数据。研究结果表明，针对成千上万个可访问的人工智能助手，可以揭示出恶意行为者可以利用的敏感数据和企业凭证。
Bargury表示，攻击者可以远程控制用户与Copilot的互动。他们可以让 Copilot 代表用户做任何他们想做的事，甚至完全控制Copilot的每一个回复。
如何利用微软 Copilot
安全团队头疼的问题始于创建 Copilot 的初始步骤。要创建自己的 Copilot，用户必须选择一个“知识”来源来训练人工智能模型。
用户可以选择各种来源作为人工智能的训练集，如公共网站、上传文件、使用 SharePoint、OneDrive 或云数据库 Dataverse。
不过，即使在这个初始阶段，Bargury也看到了潜在的安全雷区。上传的文件可能包含隐藏的元数据，敏感数据或分隔数据也可能被上传。Copilot分享将打破隔离，使共同拥有者能够下载文件，从而导致多种泄漏情况。
使用微软的内容管理工具 SharePoint 或存储空间 OneDrive 作为输入也可能存在问题，因为这可能导致敏感数据的过度共享。虽然数据存储在公司的云环境中，但用户授权 Copilot 访问所提供链接下的所有子页面。
使用微软的 Dataverse 作为输入也是如此。Dataverse 存储和管理业务应用程序使用的数据。然而，表格中的数据是动态的，可能是其他现有应用程序和自动化的一部分，从而泄露敏感数据。
Copilot 的另一个重要构件是“主题”（Topics），主题可以看作是 Copilot 的能力：它们定义了如何与人工智能进行对话。
一个主题包含一组触发短语－－用户可能使用的与特定问题相关的短语、关键词和问题。触发短语有助于 Copilot 对问题做出适当反应。
Copilot 的高级功能“生成式人工智能”可以帮助用户的数据流向组织之外。要使用该功能，用户必须同意“数据在贵组织的合规性和地理边界之外流动”。对此，研究人员表示，威胁行为者可能会利用“动作”（Actions）功能混淆 Copilot，并在未经授权的情况下访问敏感数据。“动作”功能可让 Copilot 使用生成动作自动响应用户。
警惕硬编码凭证
某些连接和流量可能包含硬编码凭证。硬编码是指将用户名、密码、API 密钥或其他敏感数据等验证数据直接输入到软件或应用程序的源代码中。
虽然这是一种薄弱的网络安全举措，但仍有企业会这么做。如果这些凭证被导入人工智能模型，情况可能会变得更加棘手。该模型可能会分析这些资源并“学习”凭据，从而可能提供硬编码凭据作为Copilot答案的一部分。
另一个不容易出错的薄弱点是通道和身份验证。目前，Copilot的默认身份验证设置为“团队”。然而，“无身份验证”选项在界面中只需点击一下即可完成，这很容易诱使用户误触。
Bargury表示，让人工智能访问数据会让它变得有用，但也会让它变得脆弱。每个组织都需要进行自己的风险评估并找出问题所在。尤其是在使用 Copilot Studio 构建自定义AI的情况下，一定要小心谨慎，不要把决定权交给开发人员甚至是平民开发人员。这个决定需要与安全团队一起做出。安全团队必须密切监控这些交互。
基于Android的头显易造成信息泄露
思科Talos研究人员发现，福特、通用、本田和其他主要汽车品牌使用的基于Android系统的信息娱乐系统可以变成数据窃取设备。
与几乎所有电子设备一样，汽车信息娱乐系统（俗称头显）也可以被设计成窃取用户数据的设备。思科Talos的安全研究工程师兼恶意软件研究员Dan Mazzella成功地利用了自己的车载主机，证明了这种攻击是可能的。
“我能够非常容易地转储进程内存，并访问我的车载主机的精确 GPS 坐标：我的房子在哪里，GPS 经纬度坐标在哪里。这是一个重大的隐私问题。”Mazzella在Black Hat 2024表示。
这项研究的重点是Android汽车操作系统（OS），它是谷歌开发的一款开源软件，由于易于与基于Android系统的设备集成，因此受到汽车制造商的青睐。
通用、雪佛兰、凯迪拉克、别克、福特、本田等主要汽车制造商的汽车都配备了运行Android汽车操作系统的车载主机。这些系统允许用户通过蓝牙连接智能手机、安装第三方应用程序、充当 GPS 天线并提供其他功能。
据Mazzella称，攻击者可能会感染汽车的车载主机，获取主机和智能手机之间传输的数据，如短信、联系人、通过文本存储的照片以及其他用户隐私信息。
由于Mazzella测试的是没有互联网连接的车载主机，因此攻击者必须先采用社会工程学策略部署信息窃取恶意软件。不过，像臭名昭著的 Fin7 这样的著名威胁组织过去曾成功利用过所谓的“bad USB ”攻击。
Mazzella表示：“攻击者可以通过‘蜗牛邮件’发送受感染的 U 盘，让用户相信这是目标汽车的关键更新。他们通常会冒充设备制造商，声称 USB 包含关键软件更新。”
攻击者感染头显的另一种方式是通过“蓝牙入侵”（Bluesnarfing），这是一种恶意行为者通过蓝牙连接潜入配对设备的攻击类型。
据研究人员解释，攻击者可能会声称用户最近的软件更新没有安装必要的软件，建议用户安装一个配套应用程序，该应用程序会直接向目标设备发送恶意有效载荷。
令人担忧的是，受感染的头戴式设备可能成为进一步传播恶意软件的载体，有可能影响连接到头戴式设备的任何其他设备。攻击者可以利用这一攻击途径，将目标锁定在租车上。许多用户将他们的设备连接到租来的汽车上，用户可能会选择允许同步，而不了解对其数据的潜在影响。
Mazzella表示：“我最担心的是租车问题。你并不真正了解你正在插入的是什么。这是一个不受信任的设备。如果一个恶意行为者开始进入租车行或开始租车并对它们进行反向操作，那就是我比较担心的地方了。”
不过，在汽车制造商和头显制造商设计出防范主机攻击的方法之前，思科Talos公司的研究人员建议不要将任何不受信任的总线接入汽车系统。同时，对于租车，建议用户只使用镜像功能，这种功能不传输数据，只重复配对设备屏幕上看到的图像。
原文链接：
https://cybernews.com/security/android-head-units-drivers-data-safety/
https://cybernews.com/security/black-hat-microsoft-copilot-data-leak/
