会议安排：

线下地点：

电信学院3-129
线上参会：

腾讯会议：934-1760-8779
会议密码：3129

时间：2-16周 周五 14:00-17:00

日程安排：

第11次组会（5月20日）

本周我们组会的主题是智能感知。三位同学将介绍三篇关于PPG传感器测量血压、点云配准和视觉车道线检测的工作，分别来自Mobicom 2021，ICCV 2021和CVPR 2021。

1.（淳钦）Crisp-BP: Continuous Wrist PPG-based Blood Pressure Measurement [Mobicom2021]

摘要：使用可穿戴设备监测动脉血压(ABP)已成为一种很有前途的方法，使用户能够自我监测，有效地诊断和控制高血压。然而，现有的方案主要以离散的时间间隔监测ABP，涉及到某种形式的用户努力，准确性不足，需要收集足够的训练数据进行模型开发。为了解决这些问题，我们提出了Crisp-BP，这是一种新型的ABP监测系统，利用了商用腕带设备(如智能手表或健身追踪器)中可用的PPG传感器。它能够持续、准确、独立于用户的ABP监控，并且在收集PPG数据时不需要改变行为。其基本思想是照射皮肤/组织，测量光的吸收，并表征动脉中与abp相关的血容量变化。为了获得准确的测量数据，减轻训练数据采集的痛苦，我们采用了动脉脉冲提取方法，消除了毛细管脉冲的干扰。此外，针对PPG波形对传感器与皮肤之间的接触压力敏感的缺点，设计了一种接触压力估计方法。此外，我们利用双向长短期记忆的强大功能，设计了一种混合神经网络模型，实现了独立于用户的ABP监测，使用户不必为模型开发提供训练数据。此外，我们提出了一种迁移学习方法，首先从在线PPG数据中提取一般知识，然后使用它来改进对目标问题的新模型的学习。35名参与者的广泛实验表明，Crisp-BP对舒张压和收缩压的平均估计误差分别为0.86 mmHg和1.67 mmHg，标准差误差分别为6.55 mmHg和7.31 mmHg。这些误差在FDA AAMI协议规定的可接受范围内，该协议允许平均误差高达5毫米汞柱，标准偏差高达8毫米汞柱。我们的研究结果表明，Crisp-BP具有连续性、舒适性、便利性和准确性，有望改善高血压的诊断和控制。

2.（刘权）Deep Hough Voting for Robust Global Registration [ICCV2021]

摘要：点云配准的任务是估计刚性变换对齐一对点云碎片。我们提出了一个高效和健壮的框架，用于对真实世界的3D扫描进行成对配准，利用6D转换参数空间中的霍夫投票。首先，从点云对中提取深度几何特征，计算假定对应关系;然后我们构造了一组在6D Hough空间上进行投票的三组对应，代表了稀疏张量中的变换参数。然后，利用全卷积优化模块对有噪声的投票进行优化。最后，我们确定了来自霍夫空间的通信的共识，我们使用它来预测我们最终的转换参数。我们的方法在3DMatch和3DLoMatch基准上优于最先进的方法，同时在KITTI odom- etry数据集上取得了相当的性能。我们通过在ICL- NUIM数据集上设置一个新的最先进的技术，在那里我们将我们的模块集成到一个多路注册管道，进一步证明了我们的方法的通用性。

3.（天凯）Focus on Local: Detecting Lane Marker from Bottom Up via Key Point [CVPR2021]

摘要：主流的车道标记检测方法是通过预测整体结构和通过后处理得到参数曲线来实现的。复杂的车道线形状需要cnn的高维输出来建模全局结构，这进一步增加了对模型能力和训练数据的需求。相反，车道标记的位置具有有限的几何变化和空间覆盖。我们提出了一种新的车道标记检测解决方案，FOLOLane，其重点是建模局部模式，并实现以自下而上的方式预测全局结构。具体来说，CNN利用两个独立的头部来建模低复杂度的局部模式，第一个头部预测关键点的存在，第二个头部对关键点在局部范围内的位置进行再细化，并对同一车道线上的关键点进行关联。任务的局域性与CNN中feature的有限FOV一致，从而使训练更加稳定，泛化效果更好。此外，提出了一种面向效率的解码算法和一种贪心解码算法，它以可忽略的性能退化为代价实现了36%的运行增益。两种解码器都将局部信息集成到平面标记的全局几何中。在没有复杂的网络架构设计的情况下，本文提出的方法在公共数据集上的性能大大优于所有现有方法，同时实现了最佳的最新结果和实时处理。

第10次组会（5月6日）移动感知与计算 [video]

本周我们的主题为移动感知与计算，我们讲分享关于感知的两篇工作，分别发表于CVPR2022和Mobicom2021。此外，我们还将分享一篇关于边缘云计算卸载的工作，发表于Mobicom2021。

1.（云松）MonoDTR: Monocular 3D Object Detection with Depth-Aware Transformer [ppt]

摘要：单目三维目标检测是自动驾驶中一项重要而又艰巨的任务。现有的一些方法利用现成的深度估计器提供的深度信息来辅助3D检测，但由于深度先验不准确，导致额外的计算负担和性能有限。为了缓解这一问题，我们提出了MonoDTR，这是一种新颖的端到端深度感知transformer网络，用于单目3D目标检测。它主要由两个部分组成:(1)深度感知特征增强(deep-aware Feature Enhancement, DFE)模块，该模块在不需要额外计算的情况下，隐式学习带有辅助监督信息的深度感知特征;(2)深度感知转换器(deep-aware Transformer, DTR)模块，全局集成了上下文和深度感知特征。此外，与传统的像素级位置编码不同，我们引入了一种新的深度位置编码(DPE)，将深度位置提示注入到转换器中。我们提出的深度感知模块可以很容易地插入到现有的仅图像的单目三维物体检测器中，以提高性能。在KITTI数据集上的大量实验表明，我们的方法优于以往最先进的单目方法，并实现了实时检测。

2.（发成）Vi-Liquid: Unknown Liquid Identification with Your Smartphone Vibration [ppt]
摘要：传统的液体识别仪器对普通大众来说往往是不可用的。这篇论文展示了用商业轻量级设备(如智能手机)识别未知液体的可行性。这种智慧来自于这样一个事实:不同的液体分子有不同的粘度系数，因此它们需要在相对运动中克服不同的能量障碍。基于这种直觉，我们引入了一种基于主动振动测量液体粘度的新模型。然而，利用智能手机内置的加速计建立一个强大的系统是一个挑战。实际问题包括采样不足、自我干扰和体积变化的影响。我们不是通过机器学习来解决这些问题，而是通过多个信号处理阶段来重建原始信号并消除干扰。该方法对液体粘度的估计平均相对误差为2.9%，对30种液体的识别平均准确率为95.47%。
3.（蕴哲）Elf: Accelerate High-resolution Mobile Deep Vision with Content-aware Parallel Offloading [ppt]
摘要：随着移动设备不断生成图像和视频流，一类新的移动深度视觉应用正在迅速涌现，通常涉及在这些多媒体数据上实时运行深度神经网络。为了支持这些应用，移动设备将计算，特别是神经网络推理，卸载到边缘云是有效的。现有的解决方案通常假设存在一个专用的、强大的服务器，可以将整个推理卸载到该服务器。然而，在现实中，我们可能无法找到这样的服务器，而需要使用功能较弱的服务器。为了解决这些更实际的情况，我们建议对视频帧进行分割，并将部分推断任务分配给多个服务器进行并行处理。本文介绍了Elf框架的设计，该框架通过并行卸载来加速移动深度视觉应用的任何服务器配置。Elf采用了循环区域预测算法、区域为中心的帧划分和资源感知的多服务器卸载方案。我们在Linux和Android平台上使用4个商业移动设备和3个深度视觉应用程序和10个最先进的模型来实现和评估Elf。综合实验表明，Elf能使应用速度提高4.85倍，节省52.6%的带宽，只牺牲1%的应用精度。

第九次组会（4月28日）新兴移动网络技术

本周我们组会的主题为移动网络，我们将分享三篇来自Mobicom2021的论文，主题分别为高精度感知、可见光通信和音频分析。

1. （剑钢）Face-Mic: Inferring Live Speech and Speaker Identity via Subtle Facial Dynamics Captured by AR/VR Motion Sensors

摘要：增强现实/虚拟现实(AR/VR)已经从3D沉浸式游戏扩展到更广泛的应用领域，如购物、旅游、教育等。最近，一个很大的转变是从手持控制器主导的互动，到以耳机主导的互动，再到通过语音界面的互动。在这项工作中，我们展示了在用户佩戴面部AR/VR设备时使用语音接口的严重隐私风险。具体来说，我们设计了一种窃听攻击，Face-Mic，它利用AR/VR头盔中的零许可运动传感器捕捉到的与语音相关的微妙面部动态，从现场人类的言语中推断高度敏感的信息，包括说话人的性别、身份和言语内容。Face-Mic的关键在于AR / VR耳机紧密安装在用户的脸,允许一个潜在的恶意应用耳机捕捉潜在的面部动态,包括面部肌肉的运动和骨骼振动编码等私人生物识别技术和语音特征。为了减轻肢体动作的影响，我们开发了一种信号源分离技术，以识别和分离与言语相关的面部动态和其他类型的肢体动作。我们进一步提取了两种类型的面部动态的代表性特征。我们通过开发一个基于深度学习的框架，成功地演示了AR/VR头盔通过获取用户的性别/身份和提取语音信息的隐私泄漏。使用四种主流VR头戴设备进行了大量实验，验证了其通用性、有效性和高交流性。

2. （云翔）RadioInLight: Doubling the Data Rate of VLC Systems

摘要：可见光通信(VLC)被认为是下一代无线通信的新范式。最近的研究表明，在VLC传输过程中，除可见光信号外，发射机还通过侧信道泄漏射频信号。有趣的是，VLC信道中传输的数据可以从泄露的射频信号中推断出来。从心理上讲，这意味着泄露的射频信号在VLC信道中携带了相同数据的副本。在这项工作中，我们首次表明，除了推断原始的VLC数据，泄漏的侧通道可以聪明地用于携带新数据，显著提高了当前VLC系统的数据速率。为了实现这一目标，我们提出了一个名为RadioInLight的系统，其设计跨越了硬件和软件。RadioInLight不需要任何消耗电力和硬件资源的专用有源射频传输前端，仅通过操纵自由被动泄漏的射频信号，就能在不影响原始VLC传输数据速率的情况下，将VLC系统的数据速率提高一倍。

3. （逸翔）EarGate: Gait-based User Identification with In-ear Microphones

摘要：步态是一种广泛用于用户识别和识别的生物特征。鉴于穿戴式可穿戴设备(Earables)作为可穿戴设备的新前沿，我们对基于穿戴式步态识别的可行性进行了研究。具体来说，我们研究的是基于步态的识别，它是由行走引起的声音，并通过人体的肌肉骨骼系统传播。我们的系统EarGate利用一个面向耳内的麦克风，利用耳罩的遮挡效应可靠地从耳道内检测用户的步态，而不影响耳机的一般使用。通过收集31名受试者的数据，我们发现EarGate达到了97.26%的平衡准确率(BAC)，错误接受率(FAR)和错误拒绝率(FRR)分别为3.23%和2.25%。此外，我们对功耗和延迟的测量研究了这种步态识别模型如何作为一个独立或云耦合的可穿戴系统存在。

第九次组会（4月22日）

1. （淳钦）The Style-Content Duality of Attractiveness: Learning to Write Eye-Catching Headlines via Disentanglement

2. （蕴哲）Tutorial: Visual Task Relationship Discovery [video]

第八次组会（4月15日）
1.（诗璠）Deep vanishing point detection: Geometric priors make dataset variations vanish [CVPR'22]
2.（刘权）A Robust Loss for Point Cloud Registration [ICCV'21]
3.（云松）Tutorial: The Pseduo-LiDAR Methods for Monocular 3D Detection [video]

第七次组会（4月10日）

1.（逸翔）HeadFi: Bringing Intelligence to All Headphones [Mobicom'21]

2.（天凯）CondLaneNet: a Top-to-down Lane Detection Framework Based on Conditional Convolution [ICCV'21]

3.（发成）Tutorial: Mathematical derivation from original GAN to Wasserstein GAN [video] [files]

第六次组会（4月1日）

1.（剑钢）mmTag: a millimeter wave backscatter network [Sigcomm'21]

2.（云翔）VI-Eye: Semantic-based 3D Point Cloud Registration for Infrastructure-assisted Autonomous Driving [MobiCom'21]

3.（蕴哲）RT-mDL: Supporting Real-Time Mixed Deep Learning Tasks on Edge Platforms [Sensys'21]

第五次组会（3月25日）

1.（淳钦）Image-to-image Translation via Hierarchical Style Disentanglement [CVPR 2021]

2.（逸翔）RFID and Camera Fusion for Recognition of Human-object Interactions [Mobicom'21]

3.（云松）The Devil is in the Task: Exploiting Reciprocal Appearance-Location Feature for Monocular 3D Object Detection [ICCV'21]

4.（刘权）DeepPRO: Deep Partial Point Cloud Registration of Objects [ICCV'21]

第四次组会（3月18日）

1.（剑钢）Pecam: privacy enhanced video streaming [Mobicom'21]

2.（天凯）From Conception to Retirement: a Lifetime Story of a 3-Year-Old Wireless Beacon System in the Wild [NSDI'21]

3.（云翔）Hermes: An Efficient Federated Learning Framework for Heterogeneous Mobile Clients [MobiCom'21]

第三次组会（3月11日）

主题：AI与网络的新进展——新应用、鲁棒算法设计以及高效训练

本周组会将由4位同学分享关于AI与网络的结合的工作。首先我们将介绍一个新的AI在网络里的应用：用神经网络基于雷达信号预测光谱占用率（诗璠，MobiCom2021）。然后基于AI在网络（尤其是移动网络）中应用可能存在的OOD问题，我们将介绍两个可能的解决方式，一是通过对比学习的方法来减少信号数据质量的要求，使得模型更加鲁棒（发成，MobiCom2021），二是通过迁移学习抽取与域无关的信息，来提高模型的域泛化能力（淳钦，AAAI 2021）。最后，神经网络模型的广泛部署依赖于高效的模型训练，我们还将介绍一个关于减少模型训练的通信代价，以提高分布式模型训练速度的工作（蕴哲，Infocom2021最佳论文）。

1.（诗璠）DeepRadar: A Deep-Learning-based Environmental Sensing Capability Sensor Design for CBRS
Shamik
简介：这是来自犹他大学的工作，发表于MobiCom2021。作者提出了一种基于深度学习的新型环境传感能力系统DeepRadar，用于探测雷达信号并估计其光谱占用率。DeepRadar实时做出决策，并根据可用的计算资源调整其计算，从而保持持续的可操作性。作者使用不同信号干扰比(SIR)水平的各种测试数据对DeepRadar进行了全面评估。我们的评估结果表明，在每MHz 20 dB的峰平均SIR下，DeepRadar检测雷达信号的准确率为99%，而在估计其频谱占用率时，平均漏检率仅小于2 MHz。作者使用商用现成的软件定义无线电实现了DeepRadar，也实现了类似的高探测精度。

2.（发成）MoVi-Fi: Motion-robust Vital Signs Waveform Recovery via Deep Interpreted RF Sensing

简介：这是来自南洋理工大学的工作，发表于MobiCom2021。生命体征是人类健康的关键指标，研究人员正在研究现有可穿戴生命体征传感器的无接触替代品。不幸的是，这些设计中大多数要求主体人体相对静止，这使得它们在身体运动频繁的实践中非常方便采用。特别是，基于射频(RF)的非接触式传感器可能会受到身体运动的严重影响，而这些运动会压倒生命体征。为此，我们引入移动保真技术作为一种运动鲁棒的生命体征监测系统，能够以非接触方式恢复细粒度的生命体征波形。作为一个纯软件系统，movifi可以建立在几乎任何商业级雷达之上。生命信号引起的射频反射虽然微弱，但不会完全消失，而是以非线性方式与其他运动引起的反射结合在一起，这启发了我们的设计。由于非线性盲源分离存在固有的困难，movifi创新性地采用了深度对比学习来解决这个问题;这种自我监督的方法在训练中不需要任何事实，它利用对比信号特征来区分生命体征和身体动作。通过对12名受试者的80小时实验数据的分析，表明移动保真技术能够准确地恢复剧烈身体运动下的生命体征波形。

3.（淳钦）Latent Independent Excitation for Generalizable Sensor-based Cross-Person Activity Recognition
简介：这是来自南洋理工大学的潘嘉林老师关于迁移学习的工作，发表于AAAI2021。潘嘉林老师是杨强老师的学生，在迁移学习领域造诣颇深，其一作的迁移学习综述至今单篇被引超过15000次。这篇发表于AAAI2021的工作介绍了迁移学习在行为识别领域的应用，提出了一种可泛化独立潜在激发(GILE)的人体活动识别方法，大大提高了模型的跨人员泛化能力。该方法优于现有的方法，因为它不需要访问目标领域的任何信息。此外，该模型可以直接应用于各个目标领域，无需再进行训练或微调。

4.（蕴哲）Exploiting Simultaneous Communications to Accelerate Data Parallel Distributed Deep Learning

简介：这是来自香港浸会大学的工作，合作者包括香港科技大学的李波老师，和实验室的方向也勉强算是吻合，发表于INFOCOM2021，获得了INFOCOM2021的最佳论文。具有数据并行性的同步随机梯度下降(S-SGD)被广泛应用于分布式系统中深度学习模型的训练。对DL训练作业的计算和通信任务进行流水线调度是一种隐藏通信成本的有效方案。在这种流水线的S-SGD中，张量融合(即合并一些连续层的梯度进行一次通信)是提高通信效率的关键因素。然而，现有的张量融合技术是按顺序调度通信任务的，忽视了其独立性。在本文中，我们利用同时的All-Reduce通信来扩展调度的设计空间。通过理论分析和实验表明，同时进行全约简通信可以有效地提高小张量的通信效率。我们提出了一个最小化训练迭代时间的优化问题，同时允许张量融合和同时通信。我们开发了一种高效的优化调度方案，并利用Horovod和PyTorch实现了分布式训练算法ASC-WFBP。

第二次组会（3月4日）

主题：深度学习的特征表示研究——从Transformer到鲁棒的多任务传感器数据表征

本周组会将由3位同学分享关于深度学习特征抽取的工作，包括流行的预训练架构Transformer的Tutorial，以及Transformer在无监督的IMU数据上的应用(Sensys2021最佳论文候选)，这些工作展示了Transformer在抽取与标签相关的特征上的优越性能。此外，本周还将介绍一篇来自AAAI2021的迁移学习的工作，这一工作将介绍域无关的特征的抽取方法，以使得模型能够在多个域上具备较好的泛化能力。

1. （周云松、刘权）Tutorial 1: Transformer [video] [ppt]

简介：注意力（Attention）机制最早由Bengio团队于2014年提出的。近年来，广泛的应用在深度学习中的各个领域，例如在计算机视觉方向用于捕捉图像上的感受野，或者NLP中用于定位关键token或者特征。Transformer中抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。本次Tutorial将从Transformer讲起，并着重介绍transformer在网络领域的使用方式，并对transformer的实操方式进行讲解。

2.（逸翔）LIMU-BERT: Unleashing the Potential of Unlabeled Data for IMU Sensing Applications

简介：这是来自南洋理工大学的工作，发表于Sensys2021，是Sensys2021的最佳论文候选。最近一两年来，以bert为代表的基于自监督方法的模型在nlp和cv领域都有较大的影响力，这篇文章借鉴了bert的思想，针对无监督的传感器数据，提出了一种新的表示学习模型LIMU-BERT，它可以利用无标记的IMU数据，提取广义的而不是特定任务的特征。该模型是轻量级的，很容易部署在移动设备上。

第一次组会（2月25日）

主题：协作以使车辆感知更大的世界——通信、互联与无监督

本周由三位同学介绍车辆协作进行感知的方法，包括利用新的智能交通基础设施来增强感知信息(Sigcomm2021)、通过边缘节点对多车信息进行融合以得到多视角的感知(Mobicom 2021)以及相应的毫米波通信方法以支持V2X的应用(Sigcomm2021)。

1.（云翔）EMP: Edge-assisted Multi-vehicle Perception
简介：这是来自密歇根大学的工作，发表于 Mobicom 2021。互联的自动驾驶的车辆需要通过图像或者点云传感器对环境进行感知，然而，对单车来说，对远处或者堵塞的物体进行感知是很困难的。这篇文章通过多个车辆的数据共享的方法，使得每个车都有综合视角，从而提高车辆的检测精度。

2.（剑钢）Two beams are better than one: towards reliable and high throughput mmWave links

简介：这是来自加州大学圣地亚哥分校的工作，发表于Sigcomm2021。毫米波通信具有高吞吐量和高可靠性，有望改变V2X和VR应用的游戏规则。然而，由于阻塞和用户移动性，mmWave链接因可靠性低而臭名昭著。作者提出了mmReliable，一个可靠的mmWave系统，实现多波束形成和用户跟踪，以处理环境脆弱性。它创建建设性的多波束模式，并优化它们的角度，相位和振幅，以最大限度地提高接收机的信号强度。与单梁系统相比，多梁连接是可靠的，因为它们对少数组成梁偶尔出现的堵塞具有弹性。

3.（天凯）RoS passive smart surface for roadside-to-vehicle communication

简介：这是来自加州大学圣地亚哥分校的工作，发表于Sigcomm2021。现代自动驾驶汽车通常配备雷达，用于全天候感知。然而，如今雷达的功能仅限于识别环境中反射器的位置。本文研究了通过智能交通基础设施向汽车雷达传输更丰富的信息的可能性。我们提出了RoS，一种被动pcb制造的表面，它可以机械地重新配置以嵌入数字位，并告知雷达，就像视觉路标对相机的作用一样。RoS标识将作为一个反向反射器，可以将信号从宽视角反射回雷达。我们进一步介绍了一种空间编码方案，该方案基于反射元件的几何布局，在反射模拟信号中承载信息。

组会注意事项：

1. 请提前一到两周阅读相关文献并制作PPT，建议手中常备一篇论文以备不时之需。如希望调换讲论文顺序请提前三天协商。

2. 组会主要并鼓励讲网络方向顶会的论文，包括Mobicom、NSDI和Sigcomm，相关论文集可见：https://docs.qq.com/sheet/DVXN3bnVVa0NGTU1K

3. 结合自身研究方向，也可以分享包括但不限于CV（CVPR、ICCV等）、AI（IJCAI、AAAI、NIPS等）、数据挖掘（KDD等）等顶会的论文

4. 分享非网络方向论文的同学请自行找paper list并更新至此文档；建议整合成tutorial的形式来讲，本学期预计安排不超过５次tutorial

5. 请提前2天（周三晚上晚餐会之前）将论文信息更新到表中，并将论文等相关资料上传到链接：https://jbox.sjtu.edu.cn/l/o1nP7h

6. 每篇paper的时间控制在30分钟之内。每周讲完后烦劳各位将会上分享的PPT上传到链接：https://jbox.sjtu.edu.cn/l/y1XgMn