边缘生物信号 AI · 零基础教练课程

关于本课程 🏠

这是一套关于 悉尼大学 Kavehei 课题组 / Zhaojing Huang 系列论文的零基础学习课程——主题是 TinyML 生物信号边缘 AI(用很小的 AI 模型在低功耗设备上做心电/脑电分析)。

怎么用这门课?

按顺序学:从第 0 章开始,每章建立在上一章之上。
基础靠视频:第 0 章的通用知识(神经网络、心电、指标…)我不重复造轮子,直接给你 B站 / YouTube 的优质视频。
主线靠本课:第 1–6 章是针对这批论文的"大白话串讲"。
做自测题:每章末尾有 ❓ 自测题,点开看答案。
勾选完成:勾上"我学完了",顶部进度条会记住(存在本设备浏览器里,换设备需重新勾)。

⚠️ 诚实声明:本课程是 AI 综合的学习导引,主要基于论文摘要 + 部分全文。文中 F1 / AUROC 等具体数字以对应论文 PDF 为准。视频为第三方资源,质量请自行判断。

第 0 章 · 预备知识(打地基)看视频

目标:听懂后面所有内容的"通用语言"。先把下面 5 块补一补,看不懂的地方回来再看。

0.1 神经网络到底是什么

一句话:神经网络是一种可以从数据里自己"找规律"的函数。你给它很多"输入→正确答案",它不断调参数,直到能对新输入也给出对的答案。

▶ YouTube · 3Blue1Brown《什么是神经网络》(强烈推荐,可视化) ▶ YouTube · 3B1B 神经网络全系列 ▶ B站 · 搜"神经网络入门/3b1b 中字"

0.2 几种基本网络:MLP / CNN / RNN / LSTM

后面反复出现这几个词:MLP(最基础的全连接网络)、CNN(擅长图像/局部模式)、RNN/LSTM(擅长按时间顺序的序列,比如信号波形)。先有个直觉即可。

▶ B站 · 搜"CNN/RNN/LSTM 通俗讲解" ▶ YouTube · 搜"RNN LSTM explained"

0.3 心电图(ECG)基础

ECG 记录心脏的电活动,是一段随时间起伏的波形(P 波、QRS 波群、T 波)。本课里"心电异常检测"就是从这段波形里识别心律/传导异常。

▶ B站 · 搜"心电图入门" ▶ YouTube · 搜"ECG basics for beginners"

0.4 脑电图(EEG)基础

EEG 用头皮电极记录大脑电活动。本课里"癫痫检测"就是从 EEG 里区分发作 vs 非发作。

▶ B站 · 搜"脑电图 EEG 入门" ▶ YouTube · 搜"EEG basics explained"

0.5 怎么判断模型好不好:F1 / ROC / AUC

分类模型不能只看"准确率"。F1 平衡了"查准"和"查全";AUROC 衡量模型整体区分能力(越接近 1 越好)。本课所有结果都用这两个指标。

▶ YouTube · StatQuest《ROC and AUC, Clearly Explained》(经典) ▶ YouTube · StatQuest 机器学习全集 ▶ B站 · 搜"精确率召回率 F1 ROC AUC"

自测:为什么"准确率高"不一定代表模型好?

当数据极不平衡时(比如 99% 是"正常"),一个永远猜"正常"的模型准确率就有 99%,但它根本检不出异常。所以要看 F1(查准+查全的平衡)和 AUROC(整体区分能力)。本课的 EEG 数据里约 75% 是背景活动,正是这种不平衡场景。

我把第 0 章的地基补完了

第 1 章 · 紧凑时序骨架(本课的"积木")

这个课题组反复用三类"小而强"的网络处理信号。先认识这几块积木,后面一切应用都是它们的组合。

KAN —— 用"可学习曲线"替代固定激活

传统 MLP 每个神经元用固定的激活函数;KAN 把激活换成可学习的样条曲线(放在连线上)。好处:参数更少、更可解释、不容易过拟合。论文发现一个反直觉的点——KAN 越小越浅,反而越能泛化到没见过的数据。

S4 / S4D —— 高效处理"长序列"的状态空间模型

信号是很长的时间序列。Transformer 处理长序列代价是平方级的;S4D(对角状态空间)用线性代价就能抓住长时依赖。论文里一层 S4D 就能当特征提取器,做出仅 242 KB 的超小模型。

LTC / CfC —— "连续时间"的循环网络

LTC(液态时间常数网络)灵感来自线虫神经系统,神经元的"反应速度"可变;但它要解微分方程、较慢。CfC 给出闭式解,免去数值求解,推理更省。它们常和卷积、S4D 组合。

记住这张对应表:

积木	一句话	关键优点
MLP	最基础的全连接网络	简单(=被替代的基线)
KAN	可学习曲线替代固定激活	参数少、可解释、小而能泛化
S4D	线性代价的长序列状态空间	免预处理、可做到极小
LTC→CfC	连续时间循环网络	CfC 闭式解、推理省

自测:KAN 和 MLP 最根本的区别是什么?

MLP 用"固定的激活函数 + 可调的线性权重";KAN 把激活换成"可学习的样条曲线"。直觉上 KAN 让网络自己学"该用什么形状的非线性",所以用更少参数也能拟合,且更不易过拟合。

自测:为什么用 S4D 而不是 Transformer 处理 ECG?

Transformer 的注意力是序列长度的平方级代价,对又长又要上边缘设备的信号不划算;S4D 是线性代价、能抓长依赖,还能压到几百 KB。省算力正是上边缘的前提。

我认识这三块积木了

第 2 章 · 两大应用:心与脑

同一批积木,解决两个医疗问题。

心:ECG 心电异常检测

任务 = 给一段 12 导联心电图打标签:有没有某类异常(如房颤 AF、左/右束支传导阻滞 LBBB/RBBB、窦性心动过缓/过速 SB/ST 等)。注意:这是"心电异常筛查",不等于诊断"心脏病"——它识别的是心电波形上的节律/传导异常,是辅助前哨。

论文	骨架	亮点(数字以 PDF 为准)
S05 S4D-ECG	S4D	吃原始 12 导联,F1 81.2% / AUROC 95.5%
S09 S4D-CfC	S4D+CfC	仅 242 KB,F1 0.88 / AUROC 98%
S03 CLTC/CCfC	ConvLSTM+LTC/CfC	部署到微控制器
S06 KAN	KAN(1×64)	抗缺失通道,单导联仍可用

脑:EEG 癫痫发作检测

任务 = 从脑电里区分"发作 / 非发作"。代表作 S01 KAN-EEG:用 KAN 替代 MLP 骨架,只用 400 小时数据训练,却能跨大洲泛化(美国训练 → 欧洲、澳洲测试)。

核心评测范式: 在一个地区训练,到别的地区/别的设备上测试——这叫"跨域泛化(OOD)",是判断模型是否真有用的关键。ECG:TNMG→CPSC;EEG:TUH→EPILEPSIAE/RPAH。

自测:"异常检测"等于"心脏病"吗?

不等于。这里检测的是 ECG 波形上的特定心律/传导异常(如房颤、束支阻滞),是筛查辅助;而"心脏病"是更大的范畴(冠心病、心衰、瓣膜病等),很多单凭 ECG 无法确诊。健康人在数据里只作为"正常/对照"类存在。

我懂了心、脑两条应用线

第 3 章 · 为什么一切都要"小"(TinyML / 边缘 AI)

理解了"边缘约束",才懂这个课题组所有设计取舍的原因。

边缘 AI = 让模型跑在靠近数据源的低功耗小设备上(单片机、单板机、可穿戴、神经形态芯片),而不是云端大服务器。好处:实时、省电、隐私(数据不外传)。代价:内存只有 KB~MB,算力极有限。

TinyML 就是把模型压到这个量级:242 KB(S09)、535 KB(S13)、不到 30 万参数(S11)、1 层 64 神经元的 KAN(S06)。论文不止仿真,还真机部署到微控制器(S03)和 Radxa Zero 单板机(S08)。

下一个问题自然冒出来:模型这么小,怎么训练?尤其是想在设备上"就地学习"。这正是第 4、5 章的主题。

自测:把模型做到 242 KB,主要为了解决什么?

为了塞进只有极小内存/算力的边缘设备(单片机、可穿戴),实现实时、低功耗、隐私保护的本地运行。代价是要在架构上做大量精简,这也是用 S4D/KAN/脉冲网络的原因。

我理解了边缘约束

第 4 章 · 神经形态 / 脉冲网络(低功耗的"类脑"路线)

这是能效突破的来源。依赖第 1 章(CfC/LTC)和第 3 章(边缘硬件)。

脉冲神经网络(SNN)模仿大脑:神经元用离散"脉冲"通信,只在有事件时才计算(稀疏),所以特别省电。配合 神经形态芯片(如 Intel Loihi)效果更佳。

模型	是什么	亮点
S08 sCCfC	脉冲化的 CfC	Loihi 上 4.68 µJ/次,对比常规 450 µJ/次(~100×)
S11 Tiny dLIF	树突 + LIF 脉冲	<30万参数 / 1.5MB,时域处理
S13 Liquid-Dendrite	液态时间常数 + 树突脉冲	~13万参数 / 535KB

训练上还有 FPTT(替代传统 BPTT):更省内存、更"生物可塑",适合在线/边缘训练(S07)。

一个关键省电技巧:去掉 STFT。 很多老方法先把信号做傅里叶变换(STFT)成频谱图——这一步本身耗电。脉冲网络改成直接在时域处理原始信号,顺手省掉了这份开销。

自测:脉冲网络为什么省电?

因为它是"事件驱动"的——只在有脉冲(事件)发生时才计算,大部分时间神经元是静默的,避免了传统网络那种稠密、持续的乘加运算。配合神经形态硬件,能效可达常规处理器的约 100 倍。

我懂了脉冲/神经形态怎么省电

第 5 章 · 端侧训练 + 隐私 + 泛化(系统化方法)

从"单个模型"上升到"如何高效、安全、可泛化地训练"。这是课题组的招牌方法层。

泛化:让模型在没见过的数据上也行

两条路:① 架构——小而浅反而更稳(第 1、4 章);② 数据/机制——S04 发现用 1% 的平衡数据就能匹敌全量,加上注意力机制更能应对跨域数据。

μ-Training:在设备上"只训一点点"

在小设备上训练大模型很贵。μ-Training 的招:冻结模型的"编码器+解码器",只训练中间一层,算力/内存骤降。再配 知识蒸馏(大模型当老师教小模型)和 offsite-tuning。

隐私:数据不出设备

因为训练就在端上做,敏感医疗数据无需上传云端(S10),既保隐私又省传输功耗。S14 还加了"未来引导的自蒸馏"进一步提升效果。综述 S12 把这些收敛成 "μ-trainers" 的概念。

自测:μ-Training 为什么既省算力又保隐私?

省算力:它冻结大部分网络,只更新中间一层,需要计算和存储的梯度大大减少。保隐私:训练/微调直接在用户设备上完成,原始医疗数据不必上传到云,从源头避免了数据泄露,也省了传输功耗。

我理解了训练/隐私/泛化这层

第 6 章 · 全图景与愿景

把所有线索收束起来。

一句话主线: 把可信赖的 AI 做到极小、能在低功耗边缘/类脑硬件上训练与运行,用于心(ECG)和脑(EEG)生物信号,最终走向可植入的闭环"电子药"(electroceuticals)。

三个支柱

支柱一 · 紧凑骨架:KAN / S4D / CfC(第 1 章)——甚至能跨界做股价预测(S15),证明通用性。
支柱二 · 神经形态脉冲:sCCfC→dLIF→Liquid-Dendrite + FPTT + Loihi(第 4 章)。
支柱三 · 端侧训练/隐私/泛化:μ-Training + 蒸馏(第 5 章)。

愿景与载体

S02 / S16 提出并工程化神经形态闭环神经调控(在植入/边缘端就地学习、动态调节刺激);S17 综述耳戴式生物电子(hearables),把 ear-EEG 等算法落到真实可穿戴载体上。

自测:用一句话说出这条研究线的终极目标。

做出极小、低功耗、能在边缘/植入设备上自我训练的可信 AI,用于心电与脑电的实时分析与个性化闭环治疗(电子药)。三个支柱:紧凑骨架、神经形态脉冲、端侧训练/隐私/泛化。

我能讲出全图景了 🎉

进阶篇 A · 多模态传感器融合研究方向

从单一信号(ECG/EEG)跨到多传感器融合:ECG、PPG、EMG、IMU、体温、EDA(皮电)、Bio-Z(生物阻抗)、Mic(声学)。这是一整条新轴。

⚠️ 本篇与下一篇超出前面 17 篇论文语料,是面向你研究方向的前瞻路线;方法名为可检索关键词,不含具体实验数字。

先认清:哪些已学的能迁移,哪些是全新的

已掌握(可复用)	融合新增(要补)
时序编码器 S4D/KAN/CfC/脉冲网络	多模态对齐与同步
TinyML / 边缘部署	融合架构(跨模态注意力)
μ-Training / 端侧训练	自监督 / 跨模态对比学习
KAN 抗缺失通道	缺失模态鲁棒

你已学的骨架,在融合里变成"每个模态各自的编码器";新东西在它们之上怎么对齐、融合、在缺标签/缺模态时学。

要补的 7 个模块(按依赖排)

A 每模态信号语言:各传感器测什么、采样率、特征、伪迹。注意采样率从 ~1Hz(温度)到 ~16kHz+(麦克风),差 4 个数量级。
B 时间对齐与同步 ⭐最实际:异构采样率重采样/插值、时间对齐、多分辨率分窗。
C 表征学习 / 自监督 ⭐:对比学习(TS2Vec/TS-TCC)、MAE、跨模态对比(CLIP 式 / CMC)、Deep CCA。标签稀缺时这是关键。
D 融合架构 ⭐核心:early/intermediate/late 三种时机;每模态编码器 + 融合模块;跨模态注意力 / 多模态 Transformer(MulT、Perceiver)、门控加权、图神经网络融合。
E 缺失/异步/噪声模态鲁棒:模态 dropout 训练、生成式补全、信号质量指数(SQI)动态降权。
F 多任务 + 不确定性:共享编码器多任务头、校准、按可靠性加权。
G 收回边缘:你已有的 TinyML/μ-Training/脉冲网络全适用;按需唤醒高耗传感器(如 mic)。

视频

▶ YouTube · CMU 11-777 多模态机器学习公开课(权威) ▶ YouTube · 该课第 1 讲 Introduction ▶ B站 · 搜"多模态学习/融合入门"

边学边练的数据集: WESAD(压力,含 ECG/EDA/EMG/Temp/加速度——几乎就是你的传感器子集)、PPG-DaLiA、PAMAP2 / OPPORTUNITY(活动识别)、Ninapro(EMG+IMU 手势)。

自测:融合里最先要解决的工程问题是什么?

时间对齐与同步。因为各传感器采样率差几个数量级(温度 ~1Hz vs 麦克风 ~16kHz+),必须先重采样、对齐到统一时间基、合理分窗,后面的融合才有意义。

我理解了多模态融合要补什么

进阶篇 B · 弱监督 / 含噪标签研究方向

现实数据的标签常常:① 在时间轴上有偏移(只知"这段里有事件",不知精确时刻);② 有假阳性/假阴性(标签本身错)。这正是弱监督学习的战场。

你的两类问题 → 该学什么

痛点	属于	主攻方法
标签时间偏移	inexact(粒度粗)	多示例学习 MIL、弱监督时序定位、CTC、soft-DTW、容差评分
假阳/假阴	inaccurate(标签错)	噪声标签学习、PU 学习、Confident Learning

轨道 1 · 时间偏移 / 粗粒度标签 ⭐

多示例学习(MIL):把窗口当"包",只要包里有≥1 个事件就标正,不需知道具体哪一帧;用 attention-MIL 顺便定位。
弱监督时序定位:借鉴声音事件检测(SED)、时序动作定位。
CTC:标签序列已知、对齐未知时的经典损失。soft-DTW:对时间错位容忍的可微对齐损失。
标签平滑 / 时间抖动增强。

轨道 2 · 假阳/假阴(标签噪声)⭐

鲁棒损失:GCE / 对称交叉熵 / MAE,比普通交叉熵抗噪。
样本筛选:Co-teaching / DivideMix(小损失样本更可能干净)。
Confident Learning(Cleanlab):直接定位错标样本,先给数据体检。
PU 学习:专治假阴——"没标注"常常≠"确实没发生",把未标注当未知而非负。

放大器 + 评估

放大器:半监督(FixMatch/伪标签)、自监督预训练兜底(降低对标签质量依赖)、Snorkel(聚合多个弱标注源)、主动学习。

易踩的坑——评估也要容错: 标签有时间偏移时别逐帧硬比,要用容差评分 / any-overlap(OVLP)/ event-based F1 + collar,允许预测与标注有小偏移仍算命中;最终评估尽量用干净的小测试集。

顺带:你学过的癫痫检测就是这类问题的天然战场——发作起止时刻标注本就模糊、标注者分歧大,MIL + 容差评分在该领域很常见。

视频

▶ YouTube · 用生理信号做 MIL 情绪识别(贴合你的传感器) ▶ YouTube · MIL 入门 Workshop ▶ YouTube · Deep Learning with Label Noise ★ 资源库 · Awesome-Learning-with-Label-Noise ▶ B站 · 搜"弱监督/多示例/噪声标签"

📖 术语表

TinyML: 把机器学习模型压到 KB~MB 量级,在低功耗小设备上运行。
边缘 AI (Edge AI): 在靠近数据源的本地小设备上运行 AI,而非云端。
MLP: 多层感知机,最基础的全连接神经网络;本课里常作被替代的基线。
KAN: Kolmogorov-Arnold 网络,用可学习样条曲线替代固定激活,参数少、可解释。
S4 / S4D: (对角)结构化状态空间序列模型,线性代价高效建模长序列。
LTC / CfC: 液态时间常数网络 / 其闭式解版本,连续时间循环网络。
SNN / 脉冲网络: 用离散脉冲、事件驱动通信的类脑网络,低功耗。
dLIF: 带树突结构的 Leaky-Integrate-and-Fire 脉冲神经元。
FPTT / BPTT: 两种随时间训练循环网络的算法;FPTT 更省内存、更适合边缘。
μ-Training: 端侧高效训练:冻结编/解码器、只训中间层 + 知识蒸馏。
知识蒸馏: 用大模型(teacher)指导小模型(student)训练。
神经形态计算: 类脑、事件驱动、低功耗的计算范式(如 Intel Loihi 芯片)。
泛化 / OOD: 模型在训练分布之外(不同地区/设备/患者)的数据上仍有效。
ECG / EEG: 心电图 / 脑电图,本课的两种生物信号。
F1 / AUROC: 分类评价指标:F1 平衡查准与查全;AUROC 衡量整体区分能力。
STFT: 短时傅里叶变换,把信号转成时频谱;耗电,边缘模型倾向避开。
electroceuticals(电子药): 用电刺激替代/辅助药物的治疗设备,本课题组的远期愿景。
多模态融合: 把多种传感器(ECG/PPG/EMG/IMU/Temp/EDA/Bio-Z/Mic)的信息联合学习;分 early/intermediate/late 融合。
跨模态对比学习: 用一个模态去"监督/对齐"另一个模态的自监督方法(CLIP 式 / CMC),标签稀缺时尤其有用。
弱监督学习: 标签不完整/不精确/不准确情况下的学习,分 incomplete / inexact / inaccurate 三类。
多示例学习 (MIL): 只有"包级"标签(包内有≥1 正例则包为正),不需逐帧标签;治标签时间偏移。
CTC: 标签序列已知、与输入对齐未知时的训练损失(源自语音)。
噪声标签学习: 容忍假阳/假阴的训练:鲁棒损失、Co-teaching、Confident Learning 等。
PU 学习: 正-未标注学习:把"未标注"当未知而非负,治漏标(假阴性)。
容差评分: 评估时允许预测与标注有小时间偏移仍算命中(OVLP / event-based F1 + collar)。
SQI(信号质量指数): 衡量某路传感器当前是否可信,用于动态降权坏模态。

📄 论文清单(17 篇)

本课程基于以下论文。这里只列题录与编号,不托管 PDF(版权原因)。

S01 · KAN-EEG: Towards Replacing Backbone-MLP for an Effective Seizure Detection System
S02 · Neuromorphic Neuromodulation: Towards the Next Generation of Closed-Loop Neurostimulation
S03 · Efficient Edge-AI Models for Robust ECG Abnormality Detection on Resource-Constrained Hardware
S04 · Generalization Challenges in ECG Deep Learning: Dataset Characteristics and Attention
S05 · S4D-ECG: A Shallow State-of-the-Art Model for Cardiac Abnormality Classification
S06 · Abnormality Detection in Time-Series Bio-Signals using Kolmogorov-Arnold Networks
S07 · Biological Plausible Algorithm for Seizure Detection: Toward AI-Enabled Electroceuticals at the Edge
S08 · On-Device Edge-Learning for Cardiac Abnormality Detection using a Bio-Inspired Spiking Shallow Network
S09 · Cardiac Abnormality Detection with a Tiny Diagonal State Space Model (Sequential LNPU)
S10 · Advancing Privacy-Aware ML via Edge-Based Continual μ-Training for Personalized Large Models
S11 · Tiny dLIF: A Dendritic Spiking Neural Network for Time-Domain Energy-Efficient Seizure Detection
S12 · On-Device ML for Secure, Generalizable and Real-Time Medical Data Processing: μ-Trainers
S13 · Spiking Neural Networks with Liquid Time-Constant Dynamics and Dendritic Branches (Liquid-Dendrite)
S14 · Efficient and Secure μ-Training and μ-Fine-Tuning with Future-Guided Self-Distillation
S15 · Stock Price Prediction with S4 and KAN Based Model
S16 · Neuromorphic Neuromodulation: A Low-Power Edge-Training Framework
S17 · Hearables: Bioelectronics Technological Challenges and Opportunities