İstifadəçi təsadüfə nəzarət, kognitiv səviyyədə etiketləmə və izah xüsusiyyətlərinin LLM əsaslı elmi məqalə tövsiyəçisində qavranılması: tək müəssisə pilot tədqiqi

Rekomandant sistemlərində serendipity əsasən interfeys dizaynı sualından daha çox bir algoritmik xüsusiyyət kimi öyrənilmişdir. Bu pilot tədqiqat, bakalavrantların ScholarMind-in üç interfeys xüsusiyyətini necə qəbul etdiklərini araşdırdı, böyük bir dil modeli (LLM) məqalə tövsiyələrini birbaşa yaratdığı bir prototip: dəqiqlik və təsadüfiyyət sürüşmələri, LLM-ə təyin edilmiş Blooms taksonomi etiketləri və SHAP dəyərləri kimi etiketlənmiş LLM-ə yaradılmış çəkilərin izah paneli. Pakistanda bir müəssisədə 41 tələbə üç xüsusiyyətdən istifadə tələb edən bir vəzifəni başa vurdu, bundan sonra öz-özünə hesabat batareyası (ResQue, SUS, UEQ-S və üç təsdiqlənməmiş xüsusiyyət skalası) istifadə edildi. Orta xüsusiyyət dərəcələri orta nöqtənin razılaşma tərəfində (3,623,80 5 nöqtə skalasında) yerləşir, lakin əks ifadə edilmiş maddələr skalaları ilə mənfi əlaqədədir və bu da razılaşmış cavab verməyi göstərir. Eksplorativ korelasiyalar izah- panel təəssüratlarını qəbul edilən etimad (rs = 0,47, 95% CI [0,18, 0,68]) və Blooms- etiket təəssüratlarını qəbul edilən faydalılıq (rs = 0,51, 95% CI [0,23, 0,71]) ilə əlaqələndirir. Görülən istifadə qabiliyyəti standart göstəricidən aşağı idi (SUS = 56,6 vs. 68), Google Scholar ilə müqayisədə üstünlük də bərabər bölünmüşdü. Mənbə kodunun yoxlanılması göstərdi ki, sürüşmə cihazları yalnız istehsal olunan maddələrin sabit bir dəstini yenidən sıralayır. Tədqiqat nəticələri interfeys prototipinin təsvirini təsvir edir, performansını tövsiyə etmir.

Müəlliflər Peshavarda IMSciences-in bakalavr tələbələrinə təşəkkür edirlər ki, onlar bu və əvvəlki tədqiqat proqramında iştirak ediblər. Müəlliflər həmçinin Birləşmiş Ərəb Əmirlikləri Universitetində (ABƏ) və qismən Səudiyyə Ərəbistanı Prens Sultan Universitetində (PSU) elmi tədqiqat üzrə müxbirçi direktorunun ofisinə təşəkkür etmək istəyirlər. Müəlliflər həmçinin Peshavarda IMSciences-in bu və əvvəlki tədqiqatlarda iştirak edən bakalavr tələbələrinə təşəkkür edirlər.

İdarəetmə Elmləri İnstitutu (IMSciences), Peshawar, 25000, Pakistan

Kompüter və İnformasiya Elmləri Kolleci, Prins Sultan Universiteti (PSU), Riyad, 12435, Səudiyyə Ərəbistanı

Mühəndislik tələbləri birliyi, Mühəndislik Kolleci, Birləşmiş Ərəb Əmirlikləri Universiteti, Əl-Əin, 15551, BƏƏ

Müəlliflər heç bir rəqabət maraqlarının olmadığını bəyan edirlər.