Daha sürətli AI nəticə çıxarmaq üçün yarış davam edir və bazarlar Cerebras və onun məqsədyönlü şəkildə qurulmuş çiplərini may ayında IPO debütündə isti qarşıladılar. Lakin Fransız startap Kog, adi GPU-lardan sıxışdırılacaq daha çox gücün olduğuna mərc edir. Başlanğıc May ayında Hacker News-un ön səhifəsini vurdu, məqsədi "müəssisələrin artıq sahib olduğu standart məlumat mərkəzi GPU-larında son dərəcə sürətli tək sorğunun dekodlanmasının mümkün olduğunu" sübut etmək məqsədi daşıyır - məsələn, demo üçün istifadə etdiyi AMD MI300X və Nvidia H200 GPU.
Bəziləri bunun noutbuklarımızdakı GPU-lara şamil edilmədiyini eşitməkdən məyus oldular, lakin digərləri potensialı gördülər. Nəticə sürəti və xərclər indi kritik bir darboğaz olmaqla, Kog-un proqramın optimallaşdırılması ilə mövcud aparatda yeni imkanları açmaq vədi izləyənlərdən daha çox cəlb etdi. Erkən rəylərə əsaslanaraq, solo təsisçi proqram mühəndisliyinin ilk istifadə nümunəsi olacağını gözləyir.
Veteran Claude Code istifadəçiləri yaxşı bilirlər ki, nəticə əldə etmək üçün bəzən saatlarla gözləməli olurlar. Anthropic özü sürətin pula dəyər olduğunu başa düşür və Claude's Fast Mode üçün çoxlu qiymət tələb edir. Kog, adətən, peşəkar tapşırıqlar üçün süni intellekt iş axınlarına güvəndikləri üçün bu gecikmələrdən yayınan müştəriləri hədəf almağa ümid edir.
Delalleau deyir ki, startap həm də istifadəçilərə tez bir zamanda oyun və proqramlar yaratmağa imkan verən və Kog Inference Engine (KIE) sayəsində daha sürətli nəticə daha çox gəlir gətirəcək dizayn tərəfdaşlarına malikdir. Şirkət bu bazarın hələ tam yetişmədiyini başa düşür. Tələbi müşahidə edərkən, Kog potensial müştərilərinin kiçik modelləri tənzimləməyə hazır olmadığını öyrəndi.
Skeptiklərlə ziddiyyət təşkil edən Delalleau əmindir ki, eyni yanaşma ölçüləri çıxarış çipləri üçün çətinlik yarada bilən LLM-lərlə də işləyə bilər. Kog-un CEO-su üçün, onların deşifrə üçün uyğun olmadığı fikri yanlış təsəvvürə çevrildi; daha yeni GPU-lar getdikcə daha çox yaddaş ötürmə qabiliyyətinə malikdir ki, bu da yalnız kilidini açmaq üçün yalvarır. Kog, proqram təminatının optimallaşdırılmasının GPU-lara qutuda deyildiyindən daha çox kömək edə biləcəyini düşünən tək deyil.
Fransadan olan ZML, rəqabət aparan çiplər arasında sürətli nəticə çıxarmaq üçün Nvidia-nın CUDA-sını aşan aparat-aqnostik proqram təminatı buraxdı. Lakin Delalleau, Kog'un GPU sürətləndirilməsinə daha da dərindən diqqət yetirməklə, Stanford Universitetinin Dumanlı Tədqiqat laboratoriyasına daha çox bənzədiyini söylədi. Delalleau özü tədqiqatçı deyil və onun ilk startapı olan TechCrunch50 2009 alum Stribe-nin yenisi ilə heç bir əlaqəsi yoxdur - keçmiş həmtəsisçisi VC Kamel Zerouala çevrilmiş, Varsity VC firması Kog-un toxum dövrəsinə rəhbərlik etmişdir.
Xülasə — davamını mənbədə oxuyun.
