2022-ci ildə ChatGPT-nin buraxılmasından bəri dünyanı bürüyən hər şey — "süni intellekt iqtisadiyyatı", məlumat mərkəzləri, ən yaxın dost, həkim və riyaziyyatçı kimi davranan çat-botlar, ekzistensial risk haqqında söhbətlər — bunların hamısı müəyyən mənada Monreal Universitetinin laboratoriyasında Dzmitry Bahdanau adlı bir təcrübəçidən başlayır.
Bu, 2014-cü il idi. Uşaqlıqdan rəqabətli proqramlaşdırma ilə məşğul olan, lakin əvvəllər akademik tədqiqat aparmamış 23 yaşlı belarusluya kompüteri ingilis dilindən fransız dilinə cümlələri tərcümə etməyə necə məcbur edəcəyini tapmaqda kömək etmək tapşırılmışdı. Bahdanau əl yazısının deşifrə edilməsi və fotolardakı obyektlərin müəyyən edilməsi kimi nümunə tanıma tapşırıqlarında artıq vəd verən süni neyron şəbəkələri ilə işləyirdi. Şəbəkələr təlim məlumatlarına cavab olaraq qovşaqlar arasındakı əlaqələri gücləndirmək və zəiflətmək yolu ilə nümunələri tanımağı öyrənirlər. Bahdanau insan səviyyəsində intellektə bənzər bir şeyə nail olmaq potensiallarına sakitcə şübhə edirdi, lakin onun məsləhətçisi, kompüter alimi Yoshua Bengio və layihə üzrə postdok Kyunghyun Cho buna inanırdılar. Tərcümə isə neyron şəbəkələrinin həll etməyə çalışması üçün çətin və maraqlı bir problem kimi geniş şəkildə qəbul edilirdi.
Tərcümə hər ingilis sözünü fransız sözü ilə əvəz etmək qədər sadə deyil. Dillərin müxtəlif qrammatik strukturları var və onlar prosesi avtomatlaşdırmaq cəhdlərini uzun müddətdir ki, əngəlləyən idiomlar və konnotasiyalarla doludur. Tərcümə qaydalarını sadəcə tətbiq edə bilməzsiniz, çünki belə qaydalar yoxdur. Lakin neyron şəbəkələri perspektivli görünürdü, çünki onlar nümunə əsasında öyrənirlər. Onlar nəticədə kvazi-qaydaları, istisnaları və incəlikləri mənimsəmək üçün cütləşdirilmiş ingilis və fransız cümlələrinin nəhəng verilənlər bazalarında təlim keçə bilərlər.
Nəticələr isə orta səviyyədə idi; cümlə nə qədər uzun olarsa, neyron şəbəkələri bir o qədər pis işləyirdi. Bunun səbəbi tədqiqatçıların hər cümlənin məlumatlarını hədəf dildə cümləni deşifrə etməzdən əvvəl sabit miqdarda yaddaşa sığışdırmağa çalışmaları idi. Bu, tərcümələrin nə qədər mürəkkəb və incə ola biləcəyini məhdudlaşdıran bir darboğaz idi. Şəbəkə arxitekturası sadəcə düzgün deyildi.
Beləliklə, Bahdanau fərqli bir şey sınadı. Monrealdan, hələ də süni intellekt sahəsində işlədiyi yerdən mənə danışarkən, "Bu, sadəcə olaraq edilməli olan düzgün şey idi — elmdə vaxtaşırı baş verən və sahədə çox təcrübəsi olmayan birinə çox aydın görünən şeylərdən biri," deyə xatırladı. "Və bu, sadəcə işlədi. İlk cəhddən."
Bahdanau-nun hiyləsi, onun, Cho və Bengio-nun "diqqət" (attention) adlandırdıqları riyazi əməliyyat, neyron şəbəkələrinə uzun cümlələri qısa cümlələr qədər yaxşı tərcümə etməyə imkan verdi. Bu o demək idi ki, yanaşma miqyaslana biləndir. O dövrdə digər süni intellekt tədqiqatçıları diqqəti tez bir zamanda öz neyron şəbəkə dizaynlarına inteqrasiya etdilər. Sonra, 2017-ci ildə Google-da bir komanda "transformer" adlanan yeni bir neyron şəbəkə arxitekturası hazırladı ki, bu da diqqət metodunu gücləndirdi və digər hər şeyi aradan qaldırdı. Komandanın "Attention Is All You Need" (Diqqət ehtiyacınız olan hər şeydir) adlı məqaləsində transformerlərin əvvəlki modelləri öyrətmək üçün lazım olan hesablamaların bir hissəsini tələb edərkən ən müasir tərcüməyə nail olduğu bildirildi. O vaxtdan bəri 250 000-dən çox istinad edilən məqalə süni intellekt sahəsində dönüş nöqtəsi oldu. ChatGPT və Claude kimi böyük dil modelləri bunun ardınca gəldi.
Xülasə — davamını mənbədə oxuyun.
