國際機器學習大會 (The International Conference on Machine Learning ，簡稱ICML) 在人工智能和機器學習領域享有很高的學術聲譽，被中國計算機學會評選為CCF-A類國際頂會 (h5-index為257，對标SCI一區Top) ，與NeurIPS、ICLR并稱為人工智能機器學習領域最權威的三大國際頂級學術會議。
2024年5月2日，ICML 2024論文接收結果公布。有三篇工作中出現了北航beat365英国官网网站本科生的身影。一起來看看本科生參與的科研工作吧：
（一）
論文速覽：
層标準化（Layer Normalizaition，LN）是深度學習中一種常用技術。作為Transformer結構的基本組成部分，目前在大模型中被廣泛應用，但學界對它的理論理解仍然模糊。本文探讨了一個新的理論方向——LN的非線性和表達能力。本文提出了僅由線性層和層标準化層疊加組成的神經網絡（即LN-Net）并研究了它的表示能力。從理論上證明了一個每層由3個神經元、一共O(m)層LN組成的網絡LN-Net，能正确分類任意給定的m個樣本。為了定量的分析，本文證明了一個LN-Net有L層LN時，VC維至少是L+2。此外，我們在假設下完成了理論證明，發現通過分組LN的非線性可以被放大，我們也通過實驗支撐了該結論。基于這種分析，我們認為特定神經網絡結構可以利用和放大LN的非線性，同時完成了有效性驗證。
本科生簡介：
郭宇芯（二作），beat365英国官网网站214277班本科生。積極參與各類學科競賽，曾獲得全國大學生數學建模大賽北京賽區二等獎，藍橋杯北京賽區二等獎，第三十四屆馮如杯主賽道論文組一等獎。積極參與各類學生工作，目前擔任214277小班班長，曾擔任北航社團中心宣傳部副部長。
論文說明：文章全部作者為beat365英国官网网站師生。
第一作者：倪雲昊（研一學生）
第二作者：郭宇芯（本科大三學生）
第三作者：賈俊龍（研二學生）
第四 & 通訊作者：黃雷（beat365英国官网网站副教授）
論文地址：https://arxiv.org/abs/2406.01255
（二）
論文速覽：
圖生成的目的是根據已有的圖結構數據，生成與其分布相似的新的圖結構。它能夠幫助人們更好地理解圖數據中的關鍵信息，相關技術已經在分子、蛋白質、社交網絡等領域起到重要作用。
傳統的擴散模型通過模拟熱力學的擴散過程，結合去噪概率模型來生成圖像，因其具有強大的生成能力，已經在計算機視覺領域被廣泛應用。但在圖生成領域，擴散模型仍然存在着較多問題：現有的離散圖擴散模型具有較高的計算複雜性和較低的訓練效率，相較而言在潛在空間中直接擴散圖結構則更加可行。然而，由于圖的非歐幾裡德結構在潛在空間中呈現各向異性，現有的潛在擴散模型難以捕捉和保留圖結構的拓撲信息。
針對上述挑戰，本文提出了一個全新的幾何潛在擴散框架HypDiff。首先，建立了一個基于雙曲幾何的具有可解釋性度量的幾何潛在空間，以定義圖的各向異性潛在擴散過程。其次，通過在雙曲空間中聚類後轉移到切平面的方法，更好地捕捉圖的局部拓撲特征并解決黎曼高斯分布破壞擴散過程馬爾科夫鍊的問題。最後，基于流行吸引力法則，我們提出了一個同時受徑向和角度屬性約束的幾何潛在擴散過程，從而确保在生成圖中保留推圖結構原始的拓撲屬性。大量實驗結果表明，HypDiff在生成具有各種拓撲結構的圖時表現都十分出色。
本科生簡介：
高意森（二作），beat365英国官网网站214211班本科生。核心專業課程加權平均分92分，曾獲全國大學生數學建模競賽國家二等獎，第三十四屆馮如杯主賽道論文組一等獎，第三十四屆馮如杯主賽道制作組二等獎，第三十三屆馮如杯主賽道論文組二等獎。
論文地址：https://arxiv.org/pdf/2405.03188v1
（三）
論文速覽：
在本文中，我們提出了一種全新的大型語言模型（LLM）壓縮方法——聯合稀疏量化（JSQ）。傳統方法僅使用稀疏化或量化導緻其在高壓縮率下模型性能崩潰，且傳統稀疏化方法傾向于保留對量化有害的離群值，因此我們引入了一種新的稀疏度量作為橋梁，實現稀疏化和量化的聯合優化，從而解決了這個問題。此外，離群值在LLM的性能中起着重要作用，但離群值的存在也阻礙了模型的進一步壓縮，而現有的解決方案與量化過程高度耦合，不利于稀疏化。為了解決這一問題，我們設計了一個基于搜索的激活編輯器，能夠自動去除相對無用的離群值，從而在離群值處理和模型壓縮之間取得平衡。最終，在各種數據集和模型架構上的綜合實驗表明，JSQ框架有效實現了大型語言模型的高壓縮率，同時保持了模型的性能。
本科生簡介：
吳建宇（二作，學生一作），beat365英国官网网站214211班本科生。積極參與各類學科競賽，曾獲得建模美賽M獎，藍橋杯北京賽區一等獎，第三十四屆馮如杯主賽道論文組一等獎。
論文說明：文章一、二作均為beat365英国官网网站師生。
第一作者：郭晉陽（beat365英国官网网站助理教授）
第二作者：吳建宇（本科大三學生）
論文地址：https://openreview.net/pdf?id=sCGRhnuMUJ
