Assosiativ yaddaşdan memorizasiya və ümumiləşdirmə vasitəsilə difuziya modellərinin yaranması

Dens Associative Memories (DenseAMs) enerji mənzərəsinin yerli minimumalarında təlim məlumatlarını saxlayan Hopfield şəbəkələrinin ümumiləşdirməsidir. Təlim məlumatlarının miqdarı kritik yaddaş saxlama qabiliyyətindən çox olduqda, yeni yerli minimumlar (təlim məlumatlarından fərqli) ortaya çıxır. Bu yaranan yerli minimumlar, saxta hallar kimi tanınanlar yaddaşın alınmasına mane ola bilər. Biz DenseAM lenzi vasitəsilə difüziya modellərini (DM) araşdırırıq və onların yaradıcı prosesini yaddaş geri alım cəhd kimi görürük. Kiçik məlumat rejimində, DM-lər hər bir təlim nümunəsi üçün kritik qabiliyyətdən aşağı olan DenseAM-lərə bənzər fərqli cəlbedici qururlar. Təlim setinin ölçüsü artdıqca, DM-lər ümumiliyə keçirlər. Biz DenseAM nəzəriyyəsi ilə proqnozlaşdırılmış kritik bir orta mərhələni müəyyən edirik, saxta halların meydana gəlməsindən xarakterizə olunur. Generativ modelləşmədə bu əvvəlki gözardı edilmiş hallar artıq mənfi əşyalar deyil, daha çox, yaradıcılıq qabiliyyətlərinin ilk əlamətləridir. Onların mövcudluğu geniş arxitektura və məlumat dəstləri vasitəsilə sübut edilir.

Burada təqdim olunan nəticələrin əksəriyyəti D.K. IBM Tədqiqatları tərəfindən işlədiyi müddətdə əldə edilmişdir. Təklif edilən vaxt D.K. artıq IBM Research tərəfindən işləmir. M.N. bu layihədə işləyən vaxtının əksəriyyəti Romadakı Sapienza Universitetində işləyib və CY Cergy Paris Universitetində təyin edilməsindən sonra bu işin bir hissəsini başa vurub.

M.N. Sapienza Universitetindəki dövrü ərzində PNRR MUR layihəsi PE0000013-FAIR-in dəstəyini qəbul edir. B.P. və M.J.Z. RPI-IBM Computing Future Research Collaboration proqramının (FCRC) dəstəyini tanıyır. G.R. CERTIF-AI layihəsinin bir hissəsi olaraq Hollandiya Tədqiqat Şurası (NWO) tərəfindən maliyyələşdirilib (fail nömrəsi 17998).

Bu müəlliflər də bərabər iştirak ediblər: Bao Pham, Gabriel Raya.

Kompüter Elmləri Bölməsi, Rensselaer Politexnik İnstitut, Troy, NY, ABŞ

Jheronimus Data Science Akademiyası, Tilburg Universiteti, Tilburg, Hollandiya