希望计算机专业学生都知道这些宝藏老师

希望计算机专业学生都知道这些宝藏老师

大家好,我是库森,今天给大家分享一些计算机专业的宝藏老师,这些名师授课生动有趣,助你学习事半功倍!

1、C语言方面,翁凯老师和郝斌老师是你的不二之选。翁凯老师的课程细致深入,带你领略代码之美,引导思考,深受学生喜爱。郝斌老师的课程则从基础讲起,讲解深入浅出,适合初学者快速上手。

2、C++领域,侯捷老师是你的理想导师。他讲解清晰,深入浅出,尤其对初学者的指针问题有独到的见解,能让你彻底理解C++的精髓。

3、Python课程,陈斌老师的全面系统讲解绝对值得推荐。课后测试、作业及讲解分析都十分到位,助你巩固知识。

4、Java课程,韩顺平老师的课程友好易懂,他先理论后实践,确保每一个概念都清晰明了。

5、Linux课程,韩顺平老师以图解方式讲解,直观易懂,课程内容丰富,包括基础篇、实操篇、高级篇、Java定制篇、大数据定制篇、Python定制篇及企业面试题讲解篇。

6、数据结构课程,王卓老师和陈越老师都是不错的选择。王卓老师的课程思路清晰,适合零基础学习;陈越老师的课程虽然快,但非常适合复习巩固。

7、操作系统课程,哈工大李治军老师和南大蒋炎岩老师都是值得推荐的导师。李治军老师每节课回顾上一节内容,蒋炎岩老师从状态机视角讲解,课程包含高质量实验和代码抄袭检测工具。

8、计算机网络课程,中科大郑烇老师的讲解流畅深入,小破站上的好评足以证明其教学水平。

9、计算机组成原理课程,哈工大刘宏伟老师的视频配合唐硕飞的教材,对于有考哈工大研究生意向的学生来说是不错的选择。

10、数据库课程,哈工大战德臣老师的课程讲解清晰用心,每节课的标题明确时长,注重培养思维能力。

11、编译原理课程,哈工大陈鄞老师的课程内容丰富,讲解深入,是计算机专业进阶课程的佳选。

12、机器学习课程,吴恩达老师的课程是入门机器学习的理想选择,李宏毅老师的课程内容充实,讲解细致,深入解析DNN和BP,配备大作业及代码注释。

13、深度学习课程,李沐、李飞飞两位老师的课程偏实践,分享心得,答疑环节尤其值得学习。

以上推荐的视频可以在小破站、大学mooc、YouTube等平台搜索老师姓名找到,为你提供丰富优质的计算机专业学习资源。

异常检测笔记总结

what异常检测

异常检测定义

异常检测是数据挖掘的重要任务,近年来成为人工智能领域的研究热点。对于什么是异常,并没有标准答案,通常取决于具体应用场景。一般来说,异常是指与其他观察结果有很大差异的观察结果,足以引起怀疑它是由不同机制产生的。这一定义虽然比较笼统,但实际上包含了认定“异常”的两个标准或假设。

这些异常可能是由于错误、异常事件、变化模式或其他因素引起的。在异常检测中,我们通常称正常数据为“inliers”(内点),而异常数据为“outliers”或Anomalies(离群点)。

异常检测问题的定义

1李宏毅老师定义

给定一组训练数据 {x1, x2, ..., xn},希望找到一个函数,用于判断输入 xi 是否与训练数据类似。不同的方法使用不同的方式来确定相似性,并根据相似性判断异常。

2微软kdd2019-Time-Series Anomaly Detection Service at Microsoft【将谱残差(SR)模型从视觉显著性检测领域借用到时间序列异常检测中】

Given a sequence of real values, i.e., x = x1, x2, ..., xn, the task of time-series anomaly detection is to produce an output sequence, y = y1,y2, ...,yn, where yi ∈ {0, 1} denotes whether xi is an anomaly point.

单变量:给定一个实值序列,即 x = x1, x2, ..., xn,时间序列异常检测的任务是生成一个输出序列 y = y1, y2, ..., yn,其中 yi ∈ {0, 1} 表示 xi 是否是异常点。

3icde2021-DAEMON Unsupervised Anomaly Detection and Interpretation for Multivariate Time Series

In this paper, we aim to detect anomalies for multivariate time series. Given a collection of multivariate time series, X = {x₁, x₂, ··· , xₙ}, where n is the length of X, and an entity xₜ is an M-dimensional vector (metrics) at time t, i.e., xₜ ∈ ℝᴹ, the goals can be described as follows: - Anomaly detection: determining whether the current entity xₜ is anomalous or not. - Anomaly interpretation: given an anomalous entity, identifying the dimensions which most likely cause the anomaly.

多变量:本文旨在检测多变量时间序列中的异常。给定一个多变量时间序列集合,X = {x₁, x₂, ··· , xₙ},其中 n 是 X 的长度,而实体 xₜ 是时间 t 上的 M 维向量(度量),即 xₜ ∈ ℝᴹ,目标可以描述如下:

补充:Ismail Fawaz H, Forestier G, Weber J, et al. Deep learning for time series classification: a review[J]. Data mining and knowledge discovery, 2019, 33(4): 917-963.

用于时间序列分类的统一深度学习框架

在多元时间序列异常检测系统中,必须考虑不同时间序列之间的相关性。

补充:时序数据是一组按照时间顺序排列的数据的集合,与普通数据不同,时序数据不仅蕴含数据内部的语义信息,数据之间也存在着语义依赖关系(即时序数据的“序列性”)。时序数据特征:从统计域(Statistical Domain)、谱域(Spectral Domain)和时域(Temporal Domain)

异常检测类别

根据数据之间是否存在上下文关系, 将异常分为点异常、上下文异常和集群异常:

例子:信用卡平时每天消费0~200

假设数据分布是基于正弦函数,包含三种异常类型的数据

异常的多样性:

图片来自论文:Murray Dunne (2019). Aggregation of Heterogeneous Anomaly Detectors for Cyber-Physical Systems. UWSpace.

噪音和异常的区别:(噪音和异常的区别:异常跟正常数据不一样,引起人民的注意;噪音跟正常数据不一样,可能没有引起人们的注意)

why异常检测

异常数据无用

异常数据有用

数据预处理时,分析异常数据,把异常数据转化为各种应用领域中的重要可操作信息:

how异常检测

异常检测方法

1基于规则的异常检测

2 基于统计学的异常检测方法:识别数据中的异常值。

3 基于机器学习的异常检测方法:识别数据中的异常值。

4 基于深度学习的异常检测方法:识别数据中的异常值。

学习内容快速了解这个领域

快速了解异常检测领域,你可以采取以下步骤:

阅读经典论文

人工智能

数据挖掘:SIGMOD,SIGKDD,SIGIR,VLDB, ICDE,;TKDE

领域研究机构和专家

教程和开源库

开源库

经典例子

使用自动编码器进行时间序列异常检测

异常检测实战:基于机器学习的信用卡欺诈检测

经典论文

经典综述论文

1Chalapathy R, Chawla S. Deep learning for anomaly detection: A survey[J]. arXiv preprint arXiv:1901.03407,2019. 使用深度学习进行异常检测的方法综述

2Pang G, Shen C, Cao L, et al. Deep learning for anomaly detection: A review[J]. ACM computing surveys (CSUR),2021, 54(2): 1-38. 用于异常检测的深度学习:综述

对深度学习的异常检测进行分类:

3Darban Z Z, Webb G I, Pan S, et al. Deep learning for time series anomaly detection: A survey[J]. arXiv preprint arXiv:2211.05244,2022. 用于时间序列异常检测的深度学习:综述

关联研究

工业缺陷检测中, 正常样本包括多类产品, 缺陷可被视为其外观上的 “异常”.

考虑到上述几种任务的相似性, 在部分缺陷检测方法中也采用了异常检测、新颖点检测与 OOD检测的思路.

与异常相近的概念还包括新颖点 (novelty) 和分布外数据 (out-of-distribution, OOD) :

可复现的经典论文

1VLDB 2022论文“TranAD:用于多元时间序列数据异常检测的深度变压器网络”

2ICLR2022 异常Transformer:具有关联差异的时间序列异常检测

论文审稿意见: Anomaly Transformer: Time Series Anomaly Detection with Association...

论文作者分享: ICLR 2022分享会-吴海旭-基于关联差异的时序异常检测算法_哔哩哔哩_bilibili

作者已在ReadPaper上回答好了 论文十问

3NeurIPS 2023论文 ADBench: Anomaly Detection BenchmarkADBench:异常检测基准

代码: github.com/Minqi824/ADB...

4ICLR 2024(Spotlight)论文 ITRANSFORMER: INVERTED TRANSFORMERS AREEFFECTIVE FOR TIME SERIES FORECASTING 作者团队:清华软院机器学习组,阿里集团

github地址 github.com/thuml/iTrans...

数据集

吴海旭分享的时序数据

链接: pan.baidu.com/s/1RYOqRJ...

提取码:o7qa

评价指标

研究方向思考

第一性原理:回溯事物的本质,重新思考怎么做。异常的本质是什么?从信息的角度思考

定义

数据

从数据的特性的角度思考

概念漂移代码示例

算法应用总结与参考

总结

参考