Sodelavci Laboratorija za odprte sisteme in mreže (E5) Instituta »Jožef Stefan« so v reviji IEEE Access objavili članek »Adaptive dual-mode distillation for robust and communication-efficient federated learning under statistical and model heterogeneity«.
Članek obravnava izzive, s katerimi se sooča federirano učenje v praksi, zlasti heterogenost podatkov in modelov ter visoke stroške komunikacije. Avtorji predlagajo enotni okvir za destiliranje znanja, ki upošteva zaupanje v ocene in uporablja neoznačene javne podatke za robustno agregacijo znanja. Predlagani sistem deluje v treh dopolnjujočih načinih, ki omogočajo prilagodljivo utežitev prispevkov strank brez potrebe po enotni arhitekturi modelov.
Evaluacija na več arhitekturah in podatkovnih naborih kaže, da predlagane metode dosledno presegajo obstoječe rešitve. Posebej v ekstremno nehomogenih pogojih dosežejo znatno izboljšanje natančnosti in zmanjšanje komunikacijskih stroškov, kar potrjujejo rezultati, ki kažejo do 153-odstotno izboljšanje globalne natančnosti in do 225-odstotno izboljšanje na ravni strank po eni krog destiliranja.