Lecture 10：社交网络分析与异常检测¶

社交网络与图¶

图（graph）\(G=(V,E)\) 用节点（vertex）表示实体、边（edge）表示关系。无向边表示双向关系，有向边表示方向，加权边记录关系强度。有向图的入度（in-degree）和出度（out-degree）分别是进入和离开节点的边数。邻接矩阵（adjacency matrix）用矩阵元素表示节点之间是否有边或边的权重。

社交网络分析（social network analysis，SNA）研究人或组织之间的关系结构。网络嵌入（network embedding）将节点映射到向量空间，可基于矩阵分解、随机游走或神经网络学习。

常见分析角度包括：

度分布（degree distribution）：观察节点连接数的分布，例如长尾分布。
中心性（centrality）：度中心性衡量直接连接；接近中心性关注到其他节点的距离；中介中心性关注经过节点的最短路径；PageRank 根据连接来源的重要性衡量节点。
聚类系数（clustering coefficient）：衡量一个节点的邻居之间连接的紧密程度。无向简单图中，它是邻居之间实际边数与可能边数之比。
社区发现（community detection）：寻找内部连接较密集的节点群体，例如按研究主题形成的引文社区。
网络传播（network propagation）：研究信息、趋势或疾病如何沿连接传播。

分析时需处理网络异质性、规模、缺失数据和模型精度问题。

异常检测¶

异常检测（anomaly detection）识别显著偏离正常模式的观测。异常可能来自欺诈或故障，也可能是自然波动、测量或采集错误；异常本身不必然意味着错误。

点异常（point anomaly）：单个观测本身异常。
上下文异常（contextual anomaly）：观测仅在特定时间、地点等背景下异常。
群体异常（collective anomaly）：一组相关观测整体异常，单个成员未必异常。

输出可以是正常／异常标签，也可以是用于排序的异常分数。分数可通过阈值或取最高的若干项来转化为待检查结果。

监督方法使用正常和异常标签，但常遇到类别不平衡；半监督方法可只用正常样本学习正常模式；无监督方法不依赖标签，通常假设异常相对稀少。合成少数类过采样技术（Synthetic Minority Over-sampling Technique，SMOTE）可为少数类生成合成样本，但不能替代独立测试集。

无监督方法常见类型：统计方法根据数据分布识别低概率观测；距离方法根据到第 \(k\) 个近邻的距离评分；密度方法比较局部密度；聚类方法检查观测与簇的距离或归属程度。这些方法对分布假设、距离尺度、邻居数或簇数敏感。

应用包括网络入侵、信用卡欺诈、医疗诊断和工业故障检测。实际系统还需考虑流式数据、异常集中出现、上下文变化，以及漏报和误报的不同成本。