Симетрии в невронни мрежи
by
https://meet.iaps.institute/machine-learning
Среща на живо: София тех парк, Лабораторен комплекс, етаж 1, зала 214
Видеосреща: https://meet.iaps.institute/machine-learning (видеоплатформата ще е достъпна 1 час преди началото на срещата). Срещата ще се излъчва пряко и на YouTube канала на ИСФИ.
Време: 25 февруари 2022, петък, 17:00
Лектор: Стоян Мишев
Ще представя няколко подходa, основани на симетрии и следващите от тях ограничения върху преобразуванията между слоеве на невронни мрежи (НМ) с право разпространение. Представените подходи са взаимствани от симетричните методи във физиката. В статия на Gluch и Urbanke [1] са разгледани няколко приложения на теоремата на Ньотер при обръщане на времето, налагане на симетрични условия върху функциите на грешката, върху стойностите в невроните на междинните слоеве и др. В монографията M. Bronstein et al [2] са изведени характеристики на преобразуванията между слоевете на НМ при налагане на условия като инвариантност и еквивариантност на резултата от действието на трансформацията на между два слоя на мрежата спрямо определени групи от преобразования върху непреобразуваните данни. В доклада се правят паралели на получените резултати с добре известните следствия във физиката при използването на аналогични операции.
[1] Grzegorz Gluch and Rudiger Urbanke, Noether: The more things change, the more stay the same, arxiv:2104.05508
[2] M. Bronstein, J. Bruna, T. Cohen, P. Velickovic, Geometric Deep Learning. Grids, Groups, Graphs, Geodesics, and Gauges, arxiv:2104.1347
Докладът е в рамките на семинара „Машинно обучение“ на ИСФИ и се провежда с помощта на Quanterall.
