Lecture 11：数据管理¶
数据管理与质量¶
数据管理（data management）涵盖数据的安全收集、保存和使用。常见工作包括数据管道（data pipeline）、数据准备、提取转换加载（Extract, Transform, Load，ETL）、数据目录、数据仓库、数据治理、数据架构与数据建模。
数据质量（data quality）取决于数据是否适合特定用途，常从六个维度评估：
| 维度 | 含义 |
|---|---|
| 准确性（accuracy） | 与可验证的真实情况一致 |
| 完整性（completeness） | 所需值可用且没有不必要的缺失 |
| 一致性（consistency） | 不同位置或系统中的数据不冲突 |
| 有效性（validity） | 符合业务规则、格式和取值范围 |
| 唯一性（uniqueness） | 不存在不应有的重复记录 |
| 及时性（timeliness） | 在需要时可用且更新足够及时 |
改进过程通常先进行数据剖析（data profiling），了解缺失、分布和异常，再执行清洗、标准化、记录匹配与链接，并持续监控质量。地理编码（geocoding）将地点描述转换为坐标；批处理和实时流程都需要一致的质量规则。
数据安全与隐私¶
数据安全（data security）保护数据免受未授权访问、泄露、损坏和丢失。风险包括意外暴露、内部人员威胁、钓鱼和恶意软件。措施包括访问控制、安全培训、补丁、监控、加密、脱敏、安全擦除和可恢复备份。脱敏不必然可逆，也不等同于加密；擦除方法需考虑介质和备份。
数据隐私（data privacy）关注个人信息如何被收集、使用和分享，以及个人对这些处理的控制。讲义列举欧盟《通用数据保护条例》（General Data Protection Regulation，GDPR）、加州《消费者隐私法》（California Consumer Privacy Act，CCPA）、美国《健康保险流通与责任法案》（Health Insurance Portability and Accountability Act，HIPAA）和香港《个人资料（私隐）条例》（Personal Data (Privacy) Ordinance，PDPO）。适用范围和义务应根据具体情境与现行规定核实。
隐私保护方法¶
- 数据扰动（data perturbation）：向原始值加入随机噪声，降低单条记录的可识别性；噪声通常也会降低分析精度。
- \(k\) 匿名（k-anonymity）：每条记录的准标识符组合至少与另外 \(k-1\) 条记录相同。它不自动防止同质性攻击或所有再识别风险。
- 随机化回答（randomized response）：通过随机机制保护个人回答，同时估计总体比例。例如一半受访者真实回答，另一半随机回答是或否，则观察到的“是”比例为 \(0.5p+0.25\)；若观察值为 0.6，估计真实比例 \(p=0.7\)。
- 联邦学习（federated learning，FL）：多个参与方在本地数据上训练并共享模型更新，以协作训练模型，而不直接集中原始数据。模型更新仍可能泄露信息，需要结合安全聚合等保护措施。
跨设备联邦学习涉及大量、可能离线的设备；跨机构联邦学习通常参与方较少、每方数据较多。两者都需要处理数据分布差异、通信成本、个性化与隐私保护。