Sistemi rekomandues

Sistemi rekomandues (RecSys), ose një sistem rekomandimesh (nganjëherë duke zëvendësuar fjalën sistem me platformë, motor ose algoritëm) dhe ndonjëherë quajtur thjesht “algoritmi”, është një nënklasë e sistemeve të filtrimit të informacionit që ofron sugjerime për artikujt që janë më të rëndësishëm për një përdorues të caktuar. Sistemet e rekomandimit janë veçanërisht të dobishme kur një individ duhet të zgjedhë një artikull nga një numër potencialisht i madh artikujsh që një shërbim mund të ofrojë. Sistemet moderne të rekomandimit, të tilla si ato të përdorura në rrjetet e mëdha sociale dhe shërbimet e transmetimit (streaming), përdorin gjerësisht AI, mësimin makinerik dhe teknika të ngjashme për të mësuar sjelljen dhe preferencat e çdo përdoruesi dhe për të kategorizuar përmbajtjen në mënyrë që t’i përshtasin listat e tyre individualisht. Për shembull, embeddings mund të përdoren për të krahasuar një dokument të caktuar me shumë dokumente të tjera dhe për të kthyer ato që janë më të ngjashme me dokumentin e dhënë. Dokumentet mund të jenë çdo lloj media, si artikuj lajmesh ose të dhëna mbi ndërveprimet e përdoruesit me filmat që ka parë.

Zakonisht, sugjerimet i referohen proceseve të ndryshme të vendimmarrjes, siç janë çfarë produkti të blihet, çfarë muzike të dëgjohet ose çfarë lajmesh online të lexohen.[1] Sistemet e rekomandimit përdoren në një sërë fushash, me shembuj të njohur zakonisht që marrin formën e gjeneratorëve të listave të dëgjimit për shërbimet e videos dhe muzikës, rekomanduesve të produkteve për dyqanet online ose rekomanduesve të përmbajtjes për platformat e mediave sociale dhe rekomanduesve të përmbajtjes së hapur në internet.[2][3] Këto sisteme mund të funksionojnë duke përdorur një lloj të vetëm të dhënash hyrëse, si muzika, ose të dhëna të shumëfishta brenda dhe nëpër platforma si lajme, libra dhe pyetje kërkimi. Po ashtu ekzistojnë sisteme të njohura rekomandimi për tema specifike si restorantet dhe takimet (njohjet) online. Sistemet e rekomandimit janë zhvilluar gjithashtu për të eksploruar artikuj kërkimorë dhe ekspertë, bashkëpunëtorë,[4] dhe shërbime financiare.[5]

Një platformë për zbulimin e përmbajtjeve është një platformë rekomandimi softuerësh e implementuar e cila përdor mjete të sistemit të rekomandimit. Ajo përdor meta të dhënat e përdoruesit për të zbuluar dhe rekomanduar përmbajtje të përshtatshme, duke zvogëluar kostot e vazhdueshme të mirëmbajtjes dhe zhvillimit. Një platformë zbulimi përmbajtjeje ofron përmbajtje të personalizuar në faqet e internetit, pajisjet mobile dhe dekoderët televizivë. Aktualisht ekziston një gamë e gjerë platformash zbulimi përmbajtjeje për forma të ndryshme përmbajtjeje, duke filluar nga artikujt e lajmeve dhe artikujt e revistave akademike[6] deri te televizioni.[7] Ndërsa operatorët konkurrojnë për të qenë porta hyrëse për argëtimin në shtëpi, televizioni i personalizuar është një dallues kyç i shërbimit. Kohët e fundit zbulimi i përmbajtjes akademike është bërë një fushë tjetër interesi, me disa kompani që po krijohen për të ndihmuar hulumtuesit akademikë të qëndrojnë të përditësuar me përmbajtjen akademike përkatëse dhe rastësisht të zbulojnë përmbajtje të re.[6]

Përmbledhje

Sistemet e rekomandimit zakonisht përdorin njërën ose të dyja: filtrimin bashkëpunues dhe filtrimin e bazuar në përmbajtje, si dhe sisteme të tjera të tilla si sistemet e bazuara në njohuri. Qasjet e filtrimit bashkëpunues ndërtojnë një model nga sjellja e kaluar e një përdoruesi (p.sh., artikuj të blerë ose të zgjedhur më parë dhe/ose vlerësime numerike të dhëna për ato artikuj), si dhe vendime të ngjashme të marra nga përdorues të tjerë. Ky model përdoret më pas për të parashikuar artikujt (ose vlerësimet për artikujt) për të cilët përdoruesi mund të ketë interes.[8] Qasjet e filtrimit të bazuar në përmbajtje përdorin një seri karakteristikash diskrete të para-etiketuara të një artikulli për të rekomanduar artikuj shtesë me veti të ngjashme.[9]

Shembull

Dallimet midis filtrimit bashkëpunues dhe filtrimit të bazuar në përmbajtje mund të demonstrohen duke krahasuar dy sisteme të hershme rekomandimi muzikor, Last.fm dhe Pandora Radio. Gjithashtu mund të shohim se si këto metoda zbatohen në tregtinë elektronike, si për shembull, në platforma si Amazon.

  • Last.fm krijon një "stacion" këngësh të rekomanduara duke vëzhguar se cilat grupe muzikore dhe këngë individuale ka dëgjuar përdoruesi rregullisht dhe duke i krahasuar ato me sjelljen e dëgjimit të përdoruesve të tjerë. Last.fm do të luajë këngë që nuk shfaqen në bibliotekën e përdoruesit, por që shpesh luhen nga përdorues të tjerë me interesa të ngjashme. Meqenëse kjo qasje shfrytëzon sjelljen e përdoruesve, është një shembull i një teknike filtrimi bashkëpunues.[10]
  • Pandora përdor vetitë e një kënge ose artisti (një nëngrup i 450 atributeve të ofruara nga Projekti i Gjenomit të Muzikës[11] ) për të krijuar një "stacion" që luan muzikë me veti të ngjashme. Reagimet e përdoruesit përdoren për të rafinuar rezultatet e stacionit, duke nënvlerësuar atribute të caktuara kur një përdorues "nuk e pëlqen" një këngë të caktuar dhe duke theksuar atribute të tjera kur një përdorues "e pëlqen" një këngë. Ky është një shembull i një qasjeje të bazuar në përmbajtje.
  • Në tregtinë elektronike, funksioni i njohur i Amazon "klientët që blenë X blenë po ashtu edhe Y" është një shembull kryesor i filtrimit bashkëpunues. Ai gjithashtu përdor filtrim të bazuar në përmbajtje kur rekomandon një libër nga i njëjti autor që keni lexuar më parë ose një palë këpucë në një stil të ngjashëm me ato që keni shikuar.

Secili lloj i sistemit ka pika të forta dhe të dobëta. Në shembullin e mësipërm, Last.fm kërkon një sasi të madhe informacioni rreth një përdoruesi për të dhënë rekomandime të sakta. Ky është një shembull i problemit të fillimit të ftohtë dhe është i zakonshëm në sistemet bashkëpunuese të filtrimit.[12][13][14][15][16][17] Ndërsa Pandora ka nevojë për shumë pak informacion për të filluar, është shumë më i kufizuar në fushëveprim (për shembull, mund të japë vetëm rekomandime që janë të ngjashme me burimin fillestar).

Implementimet alternative

Sistemet e rekomandimit janë një alternativë e dobishme ndaj kerkimit të algoritmeve, pasi ato i ndihmojnë përdoruesit të zbulojnë artikuj që ndryshe nuk do t'i kishin gjetur. Vlen të përmendet se sistemet e rekomandimit shpesh zbatohen duke përdorur motorë kërkimi që indeksojnë të dhëna jo tradicionale. Në disa raste, si Gonzalez kundër Google në çështjen e Gjykatës Supreme, mund të argumentohet se algoritmet e kërkimit dhe rekomandimit janë teknologji të ndryshme.[18]

Sistemet e rekomandimit kanë qenë në fokus të disa patentave të dhëna, dhe ka më shumë se 50 librari softuerësh[19] që mbështesin zhvillimin e sistemeve të rekomandimit, duke përfshirë LensKit,[20][21] RecBole,[22] ReChorus[23] dhe RecPack.[24]

Historia

Elaine Rich krijoi sistemin e parë të rekomandimeve në vitin 1979, të quajtur Grundy. Ajo kërkoi një mënyrë për t'u rekomanduar përdoruesve libra që mund t'u pëlqenin. Ideja e saj ishte të krijonte një sistem që u bën përdoruesve pyetje specifike dhe i klasifikon ata në klasa preferencash, ose "stereotipe", varësisht nga përgjigjet e tyre. Në varësi të përkatësisë së përdoruesve në stereotipe, ata do të merrnin rekomandime për libra që mund t'u pëlqenin.

Një tjetër sistem i hershëm rekomandimi, i quajtur "raft librash dixhital", u përshkrua në një raport teknik të vitit 1990 nga Jussi Karlgren në Universitetin e Kolumbias,[25] dhe u zbatua në shkallë të gjerë dhe u përpunua në raporte dhe botime teknike nga viti 1994 e tutje nga Jussi Karlgren, pastaj në SICS,[26][27] dhe grupe kërkimore të udhëhequra nga Pattie Maes në MIT, Will Hill në Bellcore,[28] dhe Paul Resnick, gjithashtu në MIT, puna e të cilëve me GroupLens u shpërblye me Çmimin e Sistemeve Softuerike ACM 2010.

Montaner ofroi përmbledhjen e parë të sistemeve të rekomandimit nga një perspektivë e agjentëve inteligjentë.[29] Adomavicius ofroi një përmbledhje të re alternative të sistemeve të rekomandimit.[30] Herlocker ofron një pasqyrë shtesë të teknikave të vlerësimit për sistemet e rekomandimit,[31] dhe Beel et al. diskutuan problemet e vlerësimeve jashtë linje.[32] Beel et al. kanë ofruar gjithashtu studime të literaturës mbi sistemet e rekomandimit të punimeve kërkimore në dispozicion dhe sfidat ekzistuese.[33][34]

Filtrim bashkëpunues

Një shembull i filtrimit bashkëpunues bazuar në një sistem vlerësimi

Një qasje për dizajnimin e sistemeve të rekomandimit që ka përdorim të gjerë është filtrimi bashkëpunues.[35] Filtrimi bashkëpunues bazohet në supozimin se njerëzit që kanë rënë dakord në të kaluarën do të bien dakord në të ardhmen dhe se do t'u pëlqejnë lloje të ngjashme artikujsh siç u kanë pëlqyer në të kaluarën. Sistemi gjeneron rekomandime duke përdorur vetëm informacion në lidhje me profilet e vlerësimit për përdorues ose artikuj të ndryshëm. Duke gjetur përdorues/artikuj të ngjashëm me një histori vlerësimi të ngjashme me përdoruesin ose artikullin aktual, ata gjenerojnë rekomandime duke përdorur këtë lagje. Kjo qasje është një gur themeli për faqet e tregtisë elektronike që analizojnë modelet e blerjes së mijëra përdoruesve për të sugjeruar se çfarë mund t'ju pëlqejë. Metodat e filtrimit bashkëpunues klasifikohen si të bazuara në kujtesë dhe të bazuara në model. Një shembull i njohur i qasjeve të bazuara në kujtesë është algoritmi i bazuar në përdorues,[36] ndërsa ai i qasjeve të bazuara në model është faktorizimi i matricës (sistemet e rekomandimit).[37]

Një avantazh kyç i qasjes së filtrimit bashkëpunues është se nuk mbështetet në përmbajtje të analizueshme nga makina dhe për këtë arsye është e aftë të rekomandojë me saktësi artikuj kompleksë siç janë filmat pa kërkuar një "kuptim" të po atij artikulli. Shumë algoritme janë përdorur në matjen e ngjashmërisë së përdoruesit ose ngjashmërisë së artikujve në sistemet e rekomandimit. Për shembull, qasja k-fqinj më të afërt (k-NN)[38] dhe Korrelacioni Pearson siç u zbatua për herë të parë nga Allen.[39]

Gjatë ndërtimit të një modeli nga sjellja e një përdoruesi, shpesh bëhet një dallim midis formave të qarta dhe të nënkuptuara të mbledhjes së të dhënave.

Shembuj të mbledhjes së të dhënave eksplicite përfshijnë ato në vijim:

  • Duke i kërkuar një përdoruesi të vlerësojë një artikull në një shkallë rrëshqitëse.
  • Duke i kërkuar një përdoruesi të kërkojë.
  • Duke i kërkuar një përdoruesi të rendisë një koleksion artikujsh nga më të preferuarit te më pak të preferuarit.
  • Prezantimi i dy artikujve tek një përdorues dhe kërkesa drejtuar atij/asaj për të zgjedhur më të mirin prej tyre.
  • T’i kërkosh një përdoruesi të krijojë një listë me artikuj që i pëlqejnë (shih klasifikimin Rocchio ose teknika të tjera të ngjashme).

Shembuj të mbledhjes së të dhënave implicite përfshijnë ato në vijim:

  • Vëzhgimi i artikujve që një përdorues sheh në një dyqan online.
  • Duke analizuar kohën e shikimit të artikullit/përdoruesit.[40]
  • Mbajtja e një regjistri të artikujve që një përdorues blen në internet.
  • Marrja e një liste të artikujve që një përdorues ka dëgjuar ose parë në kompjuterin e tij/saj.
  • Analizimi i rrjetit social të përdoruesit dhe zbulimi i pëlqimeve dhe mospëlqimeve të ngjashme.

Qasjet e filtrimit bashkëpunues shpesh vuajnë nga tre probleme: nisja e ftohtë, shkallëzueshmëria dhe rrallësia.

  • Nisja e ftohtë: Për një përdorues ose artikull të ri, nuk ka të dhëna të mjaftueshme për të dhënë rekomandime të sakta. Shënim: një zgjidhje e zbatuar zakonisht për këtë problem është algoritmi i banditit me shumë krahë.[41][12][13][15][17]
  • Shkallëzueshmëria: Ka miliona përdorues dhe produkte në shumë nga mjediset në të cilat këto sisteme japin rekomandime. Kështu, një sasi e madhe fuqie llogaritëse është shpesh e nevojshme për të llogaritur rekomandimet.
  • Rrallësia: Numri i artikujve të shitur në faqet kryesore të tregtisë elektronike është jashtëzakonisht i madh. Përdoruesit më aktivë do të kenë vlerësuar vetëm një pjesë të vogël të bazës së të dhënave të përgjithshme. Kështu, edhe artikujt më të njohur kanë shumë pak vlerësime.

Një nga shembujt më të famshëm të filtrimit bashkëpunues është filtrimi bashkëpunues artikull-me-artikull (njerëzit që blejnë x blejnë edhe y), një algoritëm i popullarizuar nga sistemi i rekomandimeve të Amazon.com.[42]

Shumë rrjete sociale fillimisht përdorën filtrimin bashkëpunues për të rekomanduar miq të rinj, grupe dhe lidhje të tjera sociale duke shqyrtuar rrjetin e lidhjeve midis një përdoruesi dhe miqve të tij.[1] Filtrimi bashkëpunues përdoret ende si pjesë e sistemeve hibride. Kjo teknikë mund të përdorë integrime, një teknikë të të mësuarit automatik.

Filtrim i bazuar në përmbajtje

Një qasje tjetër e zakonshme gjatë dizajnimit të sistemeve të rekomandimeve është filtrimi i bazuar në përmbajtje. Metodat e filtrimit të bazuar në përmbajtje bazohen në një përshkrim të artikullit dhe një profil të preferencave të përdoruesit.[43][44] Këto metoda janë më të përshtatshme për situatat ku ka të dhëna të njohura për një artikull (emri, vendndodhja, përshkrimi, etj.), por jo për përdoruesin. Rekomanduesit e bazuar në përmbajtje e trajtojnë rekomandimin si një problem klasifikimi specifik për përdoruesin dhe mësojnë një klasifikues për pëlqimet dhe mospëlqimet e përdoruesit bazuar në karakteristikat e një artikulli.

Në këtë sistem, fjalët kyçe përdoren për të përshkruar artikujt dhe ndërtohet një profil përdoruesi për të treguar llojin e artikullit që i pëlqen këtij përdoruesi. Me fjalë të tjera, këto algoritme përpiqen të rekomandojnë artikuj të ngjashëm me ato që një përdorues i ka pëlqyer në të kaluarën ose që po shqyrton në të tashmen. Nuk mbështetet në një mekanizëm hyrjeje të përdoruesit për të gjeneruar këtë profil shpesh të përkohshëm. Në veçanti, artikuj të ndryshëm kandidatë krahasohen me artikujt e vlerësuar më parë nga përdoruesi dhe rekomandohen artikujt që përputhen më mirë. Kjo qasje i ka rrënjët e saj në kërkimin e informacionit dhe filtrimin e

informacionit.

Për të krijuar një profil përdoruesi, sistemi përqendrohet kryesisht në dy lloje informacioni:

  1. Një model i preferencës së përdoruesit.
  2. Një histori e ndërveprimit të përdoruesit me sistemin e rekomandimeve.

Në thelb, këto metoda përdorin një profil artikulli (domethënë, një grup atributesh dhe veçorish diskrete) që karakterizojnë artikullin brenda sistemit. Për të abstraktuar veçoritë e artikujve në sistem, zbatohet një algoritëm i prezantimit të artikullit. Një algoritëm i përdorur gjerësisht është përfaqësimi tf-idf (i quajtur edhe përfaqësim i hapësirës vektoriale).[45] Sistemi krijon një profil të përdoruesve të bazuar në përmbajtje bazuar në një vektor të ponderuar të veçorive të artikullit. Peshat tregojnë rëndësinë e secilës veçori për përdoruesin dhe mund të llogariten nga vektorët e përmbajtjes të vlerësuar individualisht duke përdorur një sërë teknikash. Qasjet e thjeshta përdorin vlerat mesatare të vektorit të artikullit të vlerësuar, ndërsa metoda të tjera të sofistikuara përdorin teknika të të mësuarit automatik siç janë Klasifikuesit Bayesian, analiza e grumbullimit, pemët e vendimeve dhe rrjetet nervore artificiale për të vlerësuar probabilitetin që përdoruesit do t'i pëlqejë artikulli.[46]

Një çështje kyçe me filtrimin e bazuar në përmbajtje është nëse sistemi mund të mësojë preferencat e përdoruesit nga veprimet e përdoruesve në lidhje me një burim përmbajtjeje dhe t'i përdorë ato në lloje të tjera përmbajtjeje. Kur sistemi është i kufizuar në rekomandimin e përmbajtjes së të njëjtit lloj që përdoruesi po përdor tashmë, vlera nga sistemi i rekomandimeve është dukshëm më e vogël sesa kur mund të rekomandohen lloje të tjera përmbajtjeje nga shërbime të tjera. Për shembull, rekomandimi i artikujve të lajmeve bazuar në shfletimin e lajmeve është i dobishëm. Megjithatë, do të ishte shumë më i dobishëm kur muzika, videot, produktet, diskutimet etj., nga shërbime të ndryshme, mund të rekomandohen bazuar në shfletimin e lajmeve. Për të kapërcyer këtë, shumica e sistemeve të rekomandimit të bazuara në përmbajtje tani përdorin një formë të sistemit hibrid.

Sistemet e rekomandimit të bazuara në përmbajtje mund të përfshijnë gjithashtu sisteme rekomandimi të bazuara në opinione. Në disa raste, përdoruesve u lejohet të lënë rishikime me tekst ose reagime mbi artikujt. Këto tekste të gjeneruara nga përdoruesit janë të dhëna implicite për sistemin e rekomandimit sepse ato janë potencialisht burime të pasura si të veçorive/aspekteve të artikullit ashtu edhe të vlerësimit/ndjenjës së përdoruesve ndaj artikullit. Karakteristikat e nxjerra nga rishikimet e gjeneruara nga përdoruesit janë meta të dhëna të përmirësuara të artikujve, sepse meqenëse ato pasqyrojnë gjithashtu aspekte të artikullit si meta të dhënat, veçoritë e nxjerra janë gjerësisht të interesuara nga përdoruesit. Ndjenjat e nxjerra nga rishikimet mund të shihen si rezultate vlerësimi të përdoruesve mbi veçoritë përkatëse. Qasjet popullore të sistemit të rekomandimit të bazuar në opinione përdorin teknika të ndryshme duke përfshirë nxjerrjen e tekstit, rikthimin e informacionit, analizën e ndjenjës (shih gjithashtu Analizën multimodale të ndjenjës) dhe të mësuarit e thellë.

Qasjet hibride të rekomandimeve

Shumica e sistemeve të rekomandimit tani përdorin një qasje hibride, duke kombinuar filtrimin bashkëpunues, filtrimin e bazuar në përmbajtje dhe qasje të tjera. Platformat e tregtisë elektronike shpesh përdorin qasje hibride për të kapërcyer probleme si problemi i fillimit të ftohtë, ku një përdorues i ri nuk ka histori për filtrim bashkëpunues për të analizuar. Nuk ka asnjë arsye pse disa teknika të ndryshme të të njëjtit lloj nuk mund të hibridizohen. Qasjet hibride mund të zbatohen në disa mënyra: duke bërë parashikime të bazuara në përmbajtje dhe në ato bashkëpunuese veçmas dhe më pas duke i kombinuar ato; duke shtuar aftësi të bazuara në përmbajtje në një qasje të bazuar në bashkëpunim (dhe anasjelltas); ose duke i unifikuar qasjet në një model.[47] Disa studime që krahasuan empirikisht performancën e hibridit me metodat e pastra bashkëpunuese dhe të bazuara në përmbajtje dhe demonstruan se metodat hibride mund të ofrojnë rekomandime më të sakta sesa qasjet e pastra. Këto metoda mund të përdoren gjithashtu për të kapërcyer disa nga problemet e zakonshme në sistemet e rekomandimit, të tilla si fillimi i ftohtë dhe problemi i rrallësisë, si dhe pengesat në inxhinierinë e njohurive në qasjet e bazuara në njohuri.

Netflix është një shembull i mirë i përdorimit të sistemeve hibride të rekomandimit.[48] Uebfaqja jep rekomandime duke krahasuar zakonet e shikimit dhe kërkimit të përdoruesve të ngjashëm (p.sh., filtrim bashkëpunues), si dhe duke ofruar filma që ndajnë karakteristika me filma që një përdorues i ka vlerësuar lart (filtrim i bazuar në përmbajtje).

Disa teknika të hibridizimit përfshijnë:

  • I ponderuar: Kombinimi numerik i pikëve të komponentëve të ndryshëm të rekomandimit.
  • Ndërrimi: Zgjedhja midis komponentëve të rekomandimit dhe zbatimi i atij të zgjedhur.
  • Të përziera: Rekomandimet nga rekomandues të ndryshëm paraqiten së bashku për të dhënë rekomandimin.
  • Kaskadë: Rekomanduesve u jepet përparësi e rreptë, ku ata me përparësi më të ulët prishin barazimet në pikëzimin e atyre me përparësi më të ulët.
  • Meta-niveli: Një teknikë rekomandimi zbatohet dhe prodhon një lloj modeli, i cili më pas është hyrja (inputi) i përdorur nga teknika tjetër.[49]

Teknologjitë

Sisteme rekomandimi të bazuara në sesione

Këto sisteme rekomandimi përdorin ndërveprimet e një përdoruesi brenda një sesioni[50] për të gjeneruar rekomandime. Sistemet e rekomandimit të bazuara në sesione përdoren në YouTube[51] dhe Amazon.[52] Këto janë veçanërisht të dobishme kur historia (si klikimet e kaluara, blerjet) e një përdoruesi nuk është e disponueshme ose nuk është relevante në sesionin aktual të përdoruesit. Domenet ku rekomandimet e bazuara në sesione janë veçanërisht të rëndësishme përfshijnë videon, tregtinë elektronike, udhëtimet, muzikën dhe më shumë. Shumica e rasteve të sistemeve të rekomandimit të bazuara në sesione mbështeten në sekuencën e ndërveprimeve të fundit brenda një sesioni pa kërkuar ndonjë detaj shtesë (historik, demografik) të përdoruesit. Teknikat për rekomandimet e bazuara në sesione bazohen kryesisht në modele gjeneruese sekuenciale siç janë rrjetet nervore rekurrente,[50][53] transformatorët,[54] dhe qasje të tjera të bazuara në të mësuarit e thellë.[55][56]

Mësim përforcues për sistemet e rekomandimit

Problemi i rekomandimit mund të shihet si një rast i veçantë i një problemi të të mësuarit me përforcim, ku përdoruesi është mjedisi mbi të cilin agjenti, sistemi i rekomandimeve vepron për të marrë një shpërblim, për shembull, një klikim ose angazhim nga përdoruesi.[51][57][58] Një aspekt i të mësuarit me përforcim që është me përdorim të veçantë në fushën e sistemeve të rekomandimit është fakti se modelet ose politikat mund të mësohen duke i ofruar një shpërblim agjentit të rekomandimit. Kjo është në kontrast me teknikat tradicionale të të mësuarit të cilat mbështeten në qasje të të mësuarit të mbikëqyrur që janë më pak fleksibile, teknikat e rekomandimit të të mësuarit me përforcim lejojnë potencialisht trajnimin e modeleve që mund të optimizohen direkt në metrikat e angazhimit dhe interesit të përdoruesit.[59]

Sisteme rekomandimi shumëkriterësh

Sistemet e rekomandimit shumëkriterësh (MCRS) mund të përkufizohen si sisteme rekomandimi që përfshijnë informacionin e preferencës mbi kritere të shumëfishta. Në vend që të zhvillojnë teknika rekomandimi bazuar në një vlerë të vetme kriteri, preferencën e përgjithshme të përdoruesit u për artikullin i, këto sisteme përpiqen të parashikojnë një vlerësim për artikujt e paeksploruar të u duke shfrytëzuar informacionin e preferencës mbi kritere të shumëfishta që ndikojnë në këtë vlerë të përgjithshme të preferencës. Disa studiues i qasen MCRS si një problem të vendimmarrjes shumëkriterëshe (MCDM) dhe zbatojnë metoda dhe teknika MCDM për të zbatuar sistemet MCRS.[60] Shihni këtë kapitull[61] për një hyrje të zgjeruar.

Sisteme rekomandimi të vetëdijshme për rrezikun

Shumica e qasjeve ekzistuese ndaj sistemeve të rekomandimeve përqendrohen në rekomandimin e përmbajtjes më të rëndësishme për përdoruesit duke përdorur informacion kontekstual, por nuk e marrin parasysh rrezikun e shqetësimit të përdoruesit me njoftime të padëshiruara. Është e rëndësishme të merret në konsideratë rreziku i shqetësimit të përdoruesit duke shtyrë rekomandime në rrethana të caktuara, për shembull, gjatë një takimi profesional, herët në mëngjes ose vonë natën. Prandaj, performanca e sistemit të rekomandimeve varet pjesërisht nga shkalla në të cilën e ka përfshirë rrezikun në procesin e rekomandimeve. Një mundësi për të menaxhuar këtë çështje është DRARS, një sistem që modelon rekomandimin e vetëdijshëm për kontekstin si një problem bandit. Ky sistem kombinon një teknikë të bazuar në përmbajtje dhe një algoritëm bandit kontekstual.[62]

Sistemet e rekomandimit celular

Sistemet e rekomandimit celular përdorin telefonat inteligjentë me qasje në internet për të ofruar rekomandime të personalizuara dhe të ndjeshme ndaj kontekstit. Kjo është një fushë veçanërisht e vështirë kërkimore pasi të dhënat celulare janë më komplekse sesa të dhënat me të cilat sistemet e rekomandimit shpesh duhet të merren. Ato janë heterogjene, të zhurmshme, kërkojnë auto-korrelacion hapësinor dhe kohor dhe kanë probleme me validimin dhe përgjithësinë.

Ekzistojnë tre faktorë që mund të ndikojnë në sistemet e rekomandimit celular dhe në saktësinë e rezultateve të parashikimit: konteksti, metoda e rekomandimit dhe privatësia.[63] Përveç kësaj, sistemet e rekomandimit celular vuajnë nga një problem transplantimi - rekomandimet mund të mos zbatohen në të gjitha rajonet (për shembull, do të ishte e pamatur të rekomandohej një recetë në një zonë ku të gjithë përbërësit mund të mos jenë të disponueshëm).

Një shembull i një sistemi rekomandimi celular janë qasjet e ndërmarra nga kompani të tilla si Uber dhe Lyft për të gjeneruar itinerare drejtimi për shoferët e taksive në një qytet. Ky sistem përdor të dhëna GPS të itinerareve që shoferët e taksive ndjekin gjatë punës, të cilat përfshijnë vendndodhjen (gjerësinë dhe gjatësinë gjeografike), vulat kohore dhe statusin operativ (me ose pa pasagjerë). Ai përdor këto të dhëna për të rekomanduar një listë të pikave të marrjes përgjatë një itinerari, për qëllim optimizimin e kohës së zënies dhe fitimeve.

Rekomandues gjenerues

Rekomanduesit gjenerues (GR) përfaqësojnë një qasje që transformon detyrat e rekomandimit në probleme të transduksionit sekuencial, ku veprimet e përdoruesit trajtohen si tokena në një kornizë modelimi gjenerues. Në një metodë, të njohur si HSTU (Njësitë Hierarkike Sekuenciale të Transduksionit),[64] grupet e të dhënave me kardinalitet të lartë, jo-stacionare dhe rrjedhëse përpunohen në mënyrë efikase si sekuenca, duke i mundësuar modelit të mësojë nga triliona parametra dhe të trajtojë historitë e veprimeve të përdoruesit me urdhra madhësie më të gjatë se më parë. Duke i kthyer të gjitha të dhënat e ndryshme të sistemit në një rrjedhë të vetme tokenash dhe duke përdorur një qasje të personalizuar të vetë-vëmendjes në vend të shtresave tradicionale të rrjetit nervor, rekomanduesit gjenerues e bëjnë modelin shumë më të thjeshtë dhe më pak të etur për kujtesë. Si rezultat, ai mund të përmirësojë cilësinë e rekomandimeve në simulimet e testimit dhe në testet e botës reale, ndërsa është më i shpejtë se sistemet e mëparshme të bazuara në Transformer kur trajton lista të gjata të veprimeve të përdoruesit. Në fund të fundit, kjo qasje lejon që performanca e modelit të rritet vazhdimisht ndërsa përdoret më shumë fuqi llogaritëse, duke hedhur një themel për " modele themelore " efikase dhe të shkallëzueshme për rekomandimet.

Çmimi i Netflix-it

Një nga ngjarjet që i dha energji kërkimit në sistemet e rekomandimit ishte Çmimi Netflix. Nga viti 2006 deri në vitin 2009, Netflix sponsorizoi një konkurs, duke ofruar një çmim të madh prej 1,000,000 dollarësh ekipit që mund të merrte një grup të dhënash të ofruara prej mbi 100 milionë vlerësimesh filmash dhe të jepte rekomandime që ishin 10% më të sakta se ato të ofruara nga sistemi ekzistues i rekomandimit të kompanisë. Ky konkurs i dha energji kërkimit për algoritme të reja dhe më të sakta. Më 21 shtator 2009, çmimi i madh prej 1,000,000 dollarësh amerikanë iu dha ekipit Pragmatic Chaos të BellKor duke përdorur rregullat e thyerjes së barazimit.[65]

Algoritmi më i saktë në vitin 2007 përdori një metodë ansamble prej 107 qasjesh të ndryshme algoritmike, të përziera në një parashikim të vetëm. Siç u tha nga fituesit, Bell et al.:[66]

Saktësia parashikuese përmirësohet ndjeshëm kur përzihen parashikues të shumtë. Përvoja jonë është se shumica e përpjekjeve duhet të përqendrohen në nxjerrjen e qasjeve thelbësisht të ndryshme, në vend që të përsosin një teknikë të vetme. Si pasojë, zgjidhja jonë është një tërësi e shumë metodave.

Shumë përfitime i janë shtuar uebit për shkak të projektit Netflix. Disa ekipe e kanë marrë teknologjinë e tyre dhe e kanë aplikuar atë në tregje të tjera. Disa anëtarë të ekipit që përfundoi i dyti themeluan Gravity R&D, një motor rekomandimesh që është aktiv në komunitetin RecSys.[65][67] 4-Tell, Inc. krijoi një zgjidhje të derivuar nga projekti Netflix për faqet e internetit të tregtisë elektronike.

Një numër çështjesh privatësie lindën rreth të dhënave të ofruara nga Netflix për konkursin e Çmimit Netflix. Edhe pse të dhënat u anonimizuan për të ruajtur privatësinë e klientëve, në vitin 2007 dy studiues nga Universiteti i Teksasit arritën të identifikonin përdorues individualë duke i krahasuar të dhënat me vlerësimet e filmave në Bazën e të Dhënave të Filmave në Internet (IMDb).[68] Si rezultat, në dhjetor 2009, një përdorues anonim i Netflix paditi Netflix në çështjen Doe kundër Netflix, duke pretenduar se Netflix kishte shkelur ligjet e tregtisë së drejtë të Shteteve të Bashkuara dhe Aktin e Mbrojtjes së Privatësisë së Videove duke publikuar setet e të dhënave. Kjo, si dhe shqetësimet nga Komisioni Federal i Tregtisë, çuan në anulimin e një konkursi të dytë të Çmimit Netflix në vitin 2010.[69]

Vlerësimi

Masat e performancës

Vlerësimi është i rëndësishëm në vlerësimin e efektivitetit të algoritmeve të rekomandimit. Për të matur efektivitetin e sistemeve të rekomandimit dhe për të krahasuar qasje të ndryshme, janë në dispozicion tre lloje vlerësimesh: studime të përdoruesve, vlerësime online (teste A/B) dhe vlerësime offline.[32]

Metrikat e përdorura zakonisht janë gabimi mesatar në katror dhe gabimi mesatar në katror i rrënjës, ky i fundit është përdorur në Çmimin Netflix. Metrikat e rikthimit të informacionit, të tilla si saktësia dhe rikujtimi ose fitimi kumulativ i zbritur (DCG) janë të dobishme për të vlerësuar cilësinë e një metode rekomandimi. Diversiteti, risia dhe mbulimi konsiderohen gjithashtu si aspekte të rëndësishme në vlerësim. Megjithatë, shumë nga masat klasike të vlerësimit kritikohen shumë.[70]

Vlerësimi i performancës së një algoritmi rekomandimi në një të dhënë të caktuar testimi do të jetë gjithmonë jashtëzakonisht sfidues pasi është e pamundur të parashikohen me saktësi reagimet e përdoruesve realë ndaj rekomandimeve. Prandaj, çdo metrikë që llogarit efektivitetin e një algoritmi në të dhënat offline do të jetë e pasaktë.

Studimet e përdoruesve janë mjaft të një shkalle të vogël. Disa dhjetëra ose qindra përdoruesve u paraqiten rekomandime të krijuara nga qasje të ndryshme rekomandimi, dhe më pas përdoruesit gjykojnë se cilat rekomandime janë më të mirat.

Në testet A/B, rekomandimet u shfaqen zakonisht mijëra përdoruesve të një produkti real dhe sistemi i rekomandimit zgjedh rastësisht të paktën dy qasje të ndryshme rekomandimi për të gjeneruar rekomandime. Efektiviteti matet me masa implicite të efektivitetit, të tilla si shkalla e konvertimit ose shkalla e klikimeve.

Vlerësimet jashtë linje bazohen në të dhëna historike, p.sh. një grup të dhënash që përmban informacion se si përdoruesit i kanë vlerësuar më parë filmat.[71]

Efektiviteti i qasjeve të rekomandimit matet më pas bazuar në atë se sa mirë një qasje rekomandimi mund të parashikojë vlerësimet e përdoruesve në të dhënat e dhëna. Ndërsa një vlerësim është një shprehje e qartë nëse një përdoruesi i ka pëlqyer një film, një informacion i tillë nuk është i disponueshëm në të gjitha fushat. Për shembull, në fushën e sistemeve të rekomandimit të citimeve, përdoruesit zakonisht nuk e vlerësojnë një citim ose artikull të rekomanduar. Në raste të tilla, vlerësimet offline mund të përdorin masa implicite të efektivitetit. Për shembull, mund të supozohet se një sistem rekomandimi është efektiv nëse është në gjendje të rekomandojë sa më shumë artikuj të jetë e mundur që përmbahen në listën e referencave të një artikulli kërkimor. Megjithatë, ky lloj vlerësimi offline shihet si kritik nga shumë studiues.[72][73][74][32] Për shembull, është treguar se rezultatet e vlerësimeve offline kanë korrelacion të ulët me rezultatet nga studimet e përdoruesve ose testet A/B.[74][75] Një të dhënë e njohur për vlerësimin offline është treguar se përmban të dhëna të dyfishta dhe kështu çon në përfundime të gabuara në vlerësimin e algoritmeve.[76] Shpesh, rezultatet e të ashtuquajturave vlerësime offline nuk korrespondojnë me kënaqësinë e përdoruesve të vlerësuar në të vërtetë.[77] Kjo ndoshta ndodh sepse trajnimi offline është shumë i anshëm drejt artikujve shumë të arritshëm, dhe të dhënat e testimit offline ndikohen shumë nga rezultatet e modulit të rekomandimeve online.[72] Studiuesit kanë arritur në përfundimin se rezultatet e vlerësimeve offline duhet të shihen në mënyrë kritike.[78]

Përtej saktësisë

Zakonisht, kërkimet mbi sistemet e rekomandimeve kanë të bëjnë me gjetjen e algoritmeve më të sakta të rekomandimeve. Megjithatë, ka një numër faktorësh që janë gjithashtu të rëndësishëm.

  • Diversiteti – Përdoruesit kanë tendencë të jenë më të kënaqur me rekomandimet kur ka një diversitet më të lartë brenda listës, p.sh. artikuj nga artistë të ndryshëm.[79][80]
  • Qëndrueshmëria e rekomanduesve – Në disa situata, është më efektive të rishfaqen rekomandimet,[81] ose t'u lejohet përdoruesve të rivlerësojnë artikujt,[82] sesa të shfaqen artikuj të rinj. Ka disa arsye për këtë. Përdoruesit mund t'i injorojnë artikujt kur shfaqen për herë të parë, për shembull, sepse nuk kanë pasur kohë të inspektojnë rekomandimet me kujdes.
  • Privatësia – Sistemet e rekomandimit zakonisht duhet të merren me shqetësimet e privatësisë[83] sepse përdoruesit duhet të zbulojnë informacione të ndjeshme. Ndërtimi i profileve të përdoruesve duke përdorur filtrimin bashkëpunues mund të jetë problematik nga pikëpamja e privatësisë. Shumë vende evropiane kanë një kulturë të fortë të privatësisë së të dhënave dhe çdo përpjekje për të futur çdo nivel të profilizimit të përdoruesit mund të rezultojë në një përgjigje negative të klientit. Janë kryer shumë kërkime mbi çështjet e vazhdueshme të privatësisë në këtë fushë. Çmimi Netflix është veçanërisht i dukshëm për informacionin e detajuar personal të publikuar në të dhënat e tij. Ramakrishnan et al. kanë kryer një përmbledhje të gjerë të kompromiseve midis personalizimit dhe privatësisë dhe kanë zbuluar se kombinimi i lidhjeve të dobëta (një lidhje e papritur që ofron rekomandime të rastësishme) dhe burimeve të tjera të të dhënave mund të përdoret për të zbuluar identitetet e përdoruesve në një të dhënë të anonimizuar.[84]
  • Demografia e përdoruesve – Beel et al. zbuluan se demografia e përdoruesve mund të ndikojë në kënaqësinë e përdoruesve me rekomandimet.[85] Në punimin e tyre, ata tregojnë se përdoruesit e moshuar kanë tendencë të jenë më të interesuar në rekomandime sesa përdoruesit më të rinj.
  • Qëndrueshmëria – Kur përdoruesit mund të marrin pjesë në sistemin e rekomandimeve, çështja e mashtrimit duhet të adresohet.[86]
  • Rastësia – Rastësia është një masë e "sa të habitshme janë rekomandimet".[87][80] Për shembull, një sistem rekomandimi që i rekomandon qumësht një klienti në një dyqan ushqimor mund të jetë krejtësisht i saktë, por nuk është një rekomandim i mirë sepse është një artikull i dukshëm që klienti duhet ta blejë. "[Rastësia] shërben për dy qëllime: Së pari, zvogëlohet mundësia që përdoruesit të humbasin interesin sepse grupi i zgjedhjeve është shumë uniform. Së dyti, këto artikuj janë të nevojshëm që algoritmet të mësojnë dhe të përmirësohen".[88]
  • Besimi – Një sistem rekomandimi ka pak vlerë për një përdorues nëse përdoruesi nuk i beson sistemit.[89] Besimi mund të ndërtohet nga një sistem rekomandimi duke shpjeguar se si gjeneron rekomandime dhe pse rekomandon një artikull.
  • Etiketimi – Kënaqësia e përdoruesve me rekomandimet mund të ndikohet nga etiketimi i rekomandimeve. Për shembull, në studimin e cituar, shkalla e klikimeve (CTR) për rekomandimet e etiketuara si "Të sponsorizuara" ishte më e ulët (CTR=5.93%) sesa CTR për rekomandimet identike të etiketuara si "Organike" (CTR=8.86%). Rekomandimet pa etiketë performuan më mirë (CTR=9.87%) në atë studim.

Riprodhueshmëria

Sistemet e rekomandimit janë të njohura për vështirësinë e tyre për t'u vlerësuar jashtë linje, me disa studiues që pretendojnë se kjo ka çuar në një krizë riprodhueshmërie në botimet e sistemeve të rekomandimit. Tema e riprodhueshmërisë duket të jetë një çështje e përsëritur në disa vende botimi të Mësimit Automatik, por nuk ka një efekt të konsiderueshëm përtej botës së botimeve shkencore. Në kontekstin e sistemeve të rekomandimit, një punim i vitit 2019 anketoi një numër të vogël botimesh të zgjedhura me kujdes që aplikojnë metoda të të mësuarit të thellë ose neurale në problemin e rekomandimeve kryesore, të botuara në konferencat kryesore (SIGIR, KDD, WWW, RecSys, IJCAI), ka treguar se mesatarisht më pak se 40% e artikujve mund të riprodhohen nga autorët e anketës, me vetëm 14% në disa konferenca. Artikujt marrin në konsideratë një numër problemesh të mundshme në studimet kërkimore të sotme dhe sugjerojnë praktika shkencore të përmirësuara në atë fushë.[90][91][92] Puna më e fundit mbi krahasimin e një sërë metodash të njëjta arriti në rezultate cilësisht shumë të ndryshme[93] ku metodat neurale u gjetën të jenë ndër metodat me performancën më të mirë. Metodat e të mësuarit të thellë dhe ato nervore për sistemet rekomanduese janë përdorur në zgjidhjet fituese në disa sfida të fundit të sistemeve rekomanduese, WSDM,[94] Sfida RecSys.[95] Për më tepër, metodat nervore dhe të të mësuarit të thellë përdoren gjerësisht në industri ku ato testohen gjerësisht.[51][52] Tema e riprodhueshmërisë nuk është e re në sistemet rekomanduese. Deri në vitin 2011, Ekstrand, Konstan, et al. kritikuan se "aktualisht është e vështirë të riprodhohen dhe zgjerohen rezultatet e kërkimit të sistemeve rekomanduese" dhe se vlerësimet "nuk trajtohen në mënyrë të qëndrueshme".[96] Konstan dhe Adomavicius arrijnë në përfundimin se "komuniteti i kërkimit të Sistemeve Rekomanduese po përballet me një krizë ku një numër i konsiderueshëm punimesh paraqesin rezultate që kontribuojnë pak në njohuritë kolektive [...] shpesh sepse kërkimit i mungon [...] vlerësimi për t'u gjykuar siç duhet dhe, për rrjedhojë, për të ofruar kontribute kuptimplote".[97] Si pasojë, shumë kërkime rreth sistemeve rekomanduese mund të konsiderohen si të pa riprodhueshme.[98] Prandaj, operatorët e sistemeve të rekomandimit gjejnë pak udhëzime në hulumtimin aktual për t'iu përgjigjur pyetjes, cilat qasje rekomandimi duhet të përdoren në një sistem rekomandimi. Said dhe Bellogín kryen një studim të punimeve të botuara në këtë fushë, si dhe krahasuan disa nga kornizat më të njohura për rekomandim dhe gjetën mospërputhje të mëdha në rezultate, edhe kur u përdorën të njëjtat algoritme dhe grupe të dhënash.[99] Disa studiues demonstruan se variacione të vogla në algoritmet ose skenarët e rekomandimit çuan në ndryshime të forta në efektivitetin e një sistemi rekomandimi. Ata arrijnë në përfundimin se shtatë veprime janë të nevojshme për të përmirësuar situatën aktuale:[98] "(1) të anketohen fusha të tjera kërkimore dhe të mësohet prej tyre, (2) të gjendet një kuptim i përbashkët i riprodhueshmërisë, (3) të identifikohen dhe të kuptohen përcaktuesit që ndikojnë në riprodhueshmëri, (4) të kryhen eksperimente më gjithëpërfshirëse (5) të modernizohen praktikat e publikimit, (6) të nxitet zhvillimi dhe përdorimi i kornizave të rekomandimeve dhe (7) të vendosen udhëzime të praktikave më të mira për hulumtimin e sistemeve të rekomandimit."

Aplikacionet e inteligjencës artificiale në rekomandim

Aplikimet e inteligjencës artificiale (IA) në sistemet e rekomandimeve janë metodologjitë e avancuara që shfrytëzojnë teknologjitë e IA-së, për të përmirësuar performancën e motorëve të rekomandimeve. Rekomanduesi i bazuar në IA mund të analizojë grupe të dhënash komplekse, duke mësuar nga sjellja, preferencat dhe ndërveprimet e përdoruesit për të gjeneruar sugjerime përmbajtjeje ose produktesh shumë të sakta dhe të personalizuara.[100] Integrimi i IA-së në sistemet e rekomandimeve ka shënuar një evolucion të rëndësishëm nga metodat tradicionale të rekomandimeve. Metodat tradicionale shpesh mbështeteshin në algoritme të paqëndrueshme që mund të sugjeronin artikuj bazuar në trendet e përgjithshme të përdoruesve ose ngjashmëritë e dukshme në përmbajtje. Në krahasim, sistemet e mundësuara nga IA kanë aftësinë për të zbuluar modele dhe dallime delikate që mund të anashkalohen nga metodat tradicionale.[101] Këto sisteme mund të përshtaten me preferencat specifike individuale, duke ofruar kështu rekomandime që janë më të përafërta me nevojat individuale të përdoruesit. Kjo qasje shënon një zhvendosje drejt sugjerimeve më të personalizuara dhe të përqendruara te përdoruesi.

Sistemet e rekomandimeve përdorin gjerësisht teknikat e inteligjencës artificiale, të tilla si të mësuarit automatik, të mësuarit e thellë dhe përpunimi i gjuhës natyrore.[102] Këto metoda të përparuara përmirësojnë aftësitë e sistemit për të parashikuar preferencat e përdoruesve dhe për të ofruar përmbajtje të personalizuar më saktë. Çdo teknikë kontribuon në mënyrë unike. Seksionet e mëposhtme do të prezantojnë modele specifike të inteligjencës artificiale të përdorura nga një sistem rekomandimesh duke ilustruar teoritë dhe funksionalitetet e tyre.

Filtra bashkëpunues të bazuar në KNN

Filtrimi bashkëpunues (FK) është një nga algoritmet e sistemit të rekomandimeve më të përdorura. Ai gjeneron sugjerime të personalizuara për përdoruesit bazuar në modele sjelljeje të qarta ose të nënkuptuara për të formuar parashikime.[103] Në mënyrë specifike, ai mbështetet në reagime të jashtme, të tilla si vlerësimet me yje, historia e blerjeve e kështu me radhë, për të bërë gjykime. FK bën parashikime rreth preferencave të përdoruesve bazuar në matjet e ngjashmërisë. Në thelb, teoria themelore është: "nëse përdoruesi A është i ngjashëm me përdoruesin B, dhe nëse A pëlqen artikullin C, atëherë ka të ngjarë që edhe B ta pëlqejë artikullin C."

Ekzistojnë shumë modele në dispozicion për filtrimin bashkëpunues. Për filtrimin bashkëpunues të aplikuar nga inteligjenca artificiale, një model i zakonshëm quhet K-fqinjët më të afërt. Idetë janë si më poshtë:

  1. Përfaqësimi i të dhënave: Krijoni një hapësirë n-dimensionale ku secili bosht përfaqëson një veçori të përdoruesit (vlerësimet, blerjet, etj.). Përfaqësoni përdoruesin si një pikë në atë hapësirë.
  2. Distanca Statistikore: 'Distanca' mat se sa larg janë përdoruesit në këtë hapësirë. Shihni distancën statistikore për detaje llogaritëse.
  3. Identifikimi i Fqinjëve: Bazuar në distancat e llogaritura, gjeni k fqinjët më të afërt të përdoruesit për të cilët duam të japim rekomandime.
  4. Formimi i Rekomandimeve Parashikuese: Sistemi do të analizojë preferencën e ngjashme të k fqinjëve. Sistemi do të bëjë rekomandime bazuar në atë ngjashmëri.

Rrjetet nervore

Një rrjet nervor artificial (ANN) është një strukturë modeli i të mësuarit të thellë që synon të imitojë një tru të njeriut. Ato përbëhen nga një seri neuronesh, secili përgjegjës për marrjen dhe përpunimin e informacionit të transmetuar nga neuronet e tjera të ndërlidhura.[104] Ngjashëm me një tru të njeriut, këto neurone do të ndryshojnë gjendjen e aktivizimit bazuar në sinjalet hyrëse (hyrja e trajnimit dhe dalja e përhapur prapa), duke i lejuar sistemit të rregullojë peshat e aktivizimit gjatë fazës së të mësuarit të rrjetit. ANN zakonisht është projektuar të jetë një model me kuti të zezë . Ndryshe nga të mësuarit e rregullt automatik ku komponentët teorikë themelorë janë formalë dhe të ngurtë, efektet bashkëpunuese të neuroneve nuk janë plotësisht të qarta, por eksperimentet moderne kanë treguar fuqinë parashikuese të ANN.

ANN përdoret gjerësisht në sistemet e rekomandimeve për shkak të fuqisë së saj për të përdorur të dhëna të ndryshme. Përveç të dhënave të reagimit, ANN mund të përfshijë të dhëna pa reagim të cilat janë shumë të ndërlikuara për t'u mësuar nga filtrimi bashkëpunues, dhe struktura unike i lejon ANN të identifikojë sinjale shtesë nga të dhënat pa reagim për të përmirësuar përvojën e përdoruesit.[102] Më poshtë janë disa shembuj:

  • Koha dhe Sezonaliteti: çfarë përcakton kohën dhe datën ose një sezon kur një përdorues bashkëvepron me platformën
  • Modelet e Navigimit të Përdoruesit: sekuenca e faqeve të vizituara, koha e kaluar në pjesë të ndryshme të një faqeje interneti, lëvizja e mausit, etj.
  • Trendet e Jashtme Sociale: informacion nga mediat e jashtme sociale

Model me dy kulla

Modeli me Dy Kulla është një arkitekturë nervore që përdoret zakonisht në sistemet e rekomandimit në shkallë të gjerë, veçanërisht për detyrat e rikuperimit të kandidatëve. Ai përbëhet nga dy rrjete nervore:

  • Kulla e Përdoruesit: Kodon veçoritë specifike të përdoruesit, të tilla si historiku i ndërveprimit ose të dhënat demografike.
  • Kulla e Artikullit: Kodon veçoritë specifike të artikullit, të tilla si meta të dhënat ose integrimet e përmbajtjes.

Daljet e dy kullave janë ngulitje me gjatësi fikse që përfaqësojnë përdoruesit dhe artikujt në një hapësirë vektoriale të përbashkët. Një metrikë ngjashmërie, siç është produkti i pikave ose ngjashmëria kosinusale, përdoret për të matur rëndësinë midis një përdoruesi dhe një artikulli.

Ky model është shumë efikas për grupe të mëdha të dhënash, pasi integrimet mund të llogariten paraprakisht për artikujt, duke lejuar rikuperim të shpejtë gjatë nxjerrjes së përfundimeve. Shpesh përdoret në lidhje me modelet e renditjes për kanalet e rekomandimeve nga fillimi në fund.

Përpunimi i gjuhës natyrore

Përpunimi i gjuhës natyrore është një seri algoritmesh të inteligjencës artificiale për ta bërë gjuhën natyrore njerëzore të arritshme dhe të analizueshme nga një makinë.[105] Është një teknikë mjaft moderne e frymëzuar nga sasia në rritje e informacionit tekstual. Për aplikim në sistemin e rekomandimeve, një rast i zakonshëm është rishikimi i klientëve të Amazon. Amazon do të analizojë komentet dhe reagimet nga secili klient dhe do t'u raportojë të dhëna relevante klientëve të tjerë për referencë. Vitet e fundit kanë dëshmuar zhvillimin e modeleve të ndryshme të analizës së tekstit, duke përfshirë analizën semantike latente (LSA), dekompozimin e vlerës së vetme (SVD), ndarjen latente të Dirichlet (LDA), etj. Përdorimet e tyre kanë synuar vazhdimisht t'u ofrojnë klientëve rekomandime më të sakta dhe të përshtatura.

Aplikime specifike

Tregtia elektronike

Sistemet e rekomandimit janë thelbësore për platformat moderne të tregtisë elektronike, duke luajtur një rol kyç në përmirësimin e përvojës së klientit dhe rritjen e shitjeve. Këto sisteme analizojnë të dhënat e klientëve për të ofruar sugjerime të personalizuara për produktet, duke i ndihmuar përdoruesit të zbulojnë artikuj që mund të mos i kenë gjetur vetë. Një studim nga J. Leskovec et al. theksoi se sisteme të tilla janë thelbësore kur një individ duhet të zgjedhë nga një numër potencialisht i madh artikujsh që një shërbim mund të ofrojë.[106]

Rekomanduesit e tregtisë elektronike zakonisht përdorin një kombinim të teknikave të filtrimit për të gjeneruar këto sugjerime. Filtrimi bashkëpunues është një metodë thelbësore, duke rekomanduar produkte bazuar në zakonet e blerjes dhe shfletimit të përdoruesve të ngjashëm. Një qasje tjetër e përdorur gjerësisht është filtrimi i bazuar në përmbajtje, i cili rekomandon artikuj me atribute të ngjashme me ato për të cilat një përdorues ka treguar më parë interes. Shumë platforma të tregtisë elektronike përdorin një qasje hibride, duke kombinuar këto teknika për të krijuar rekomandime më të sakta dhe të larmishme, të cilat ndihmojnë në adresimin e çështjeve si problemi i "nisjes së ftohtë" për përdoruesit ose produktet e reja.[107]

Këto sisteme zbatohen në disa mënyra në faqet e tregtisë elektronike për të maksimizuar efektivitetin e tyre në faza të ndryshme të procesit të blerjes:

  • Në faqen kryesore: Shfaqja e listave të personalizuara të produkteve, të tilla si "Të rekomanduara për ju", bazuar në historikun e përgjithshëm të përdoruesit.
  • Në faqen e detajeve të produktit: Kur një klient shikon një produkt specifik, sistemi mund të shfaqë seksione si “Súvisiace produkty” (Produkte të ngjashme) ose “K tomuto produktu sa hodí” (Shkon mirë me këtë produkt). Këto rekomandime ndihmojnë me shitjet shtesë ose shitjet e kryqëzuara.
  • Në shportën e blerjeve: Kur një klient ka një artikull në shportën e tij, sistemi mund të sugjerojë aksesorë plotësues ose artikuj të ngjashëm. Për shembull, nëse dikush blen një aparat fotografik, sistemi mund të rekomandojë një kartë memorieje ose një çantë mbajtëse.
  • Përmes dritareve pop-up dhe njoftimeve: Rekomandimet mund të shfaqen gjithashtu në dritare pop-up në kohën e duhur, si p.sh. kur një përdorues përpiqet të largohet nga faqja e internetit ose pasi të përfundojë një blerje, me qëllim që t'i nxisë ata të "hidhin një vështrim tjetër" ose "të zbulojnë më shumë".
  • Në marketingun e personalizuar me email: Sistemi dërgon automatikisht email-e me rekomandime produktesh bazuar në blerjet e kaluara të klientit ose historikun e shfletimit, duke rritur normat e konvertimit edhe pasi klienti të ketë lënë faqen.[108]

Përdorimi efektiv i sistemeve të rekomandimit mund të çojë në një rritje të ndjeshme të treguesve kryesorë të performancës për tregtinë elektronike, duke përfshirë norma më të larta konvertimi, vlera mesatare më të mëdha të porosive nga shitjet e kryqëzuara dhe shitjet shtesë, si dhe përmirësim të kënaqësisë dhe mbajtjes së klientëve.[107] Këto sisteme mbështeten nga një gamë teknologjish, nga modelet tradicionale të të mësuarit automatik deri te arkitekturat e avancuara të të mësuarit të thellë që mund të përpunojnë sjellje komplekse të përdoruesit dhe të dhëna të produktit.

Zbulimi i përmbajtjes akademike

Një treg në zhvillim për platformat e zbulimit të përmbajtjes është përmbajtja akademike.[109][110] Përafërsisht 6000 artikuj në revista akademike botohen çdo ditë, duke e bërë gjithnjë e më të vështirë për studiuesit të balancojnë menaxhimin e kohës me qëndrimin në hap me kërkimet përkatëse.[6] Megjithëse mjetet tradicionale të kërkimit akademik si Google Scholar ose PubMed ofrojnë një bazë të dhënash lehtësisht të arritshme të artikujve të revistave, rekomandimet e përmbajtjes në këto raste kryhen në një mënyrë 'lineare', ku përdoruesit vendosin 'alarm' për botime të reja bazuar në fjalë kyçe, revista ose autorë të veçantë.

Google Scholar ofron një mjet 'Përditësime' që sugjeron artikuj duke përdorur një model statistikor që merr si të dhëna hyrëse punimin dhe citimet e autorizuara të një studiuesi.[6] Ndërsa këto rekomandime janë vërejtur si jashtëzakonisht të mira, kjo përbën një problem me studiuesit në fillimet e karrierës, të cilëve mund t'u mungojë një sasi e mjaftueshme pune për të prodhuar rekomandime të sakta.[6]

Vendimmarrja

Në dallim nga një sistem renditjeje i bazuar në angazhim të përdorur nga mediat sociale dhe platformat e tjera dixhitale, një renditje e bazuar në urë optimizon për përmbajtje që është unifikuese në vend që polarizuese.[111][112] Shembuj përfshijnë Polis dhe Remesh të cilat janë përdorur në të gjithë botën për të ndihmuar në gjetjen e më shumë konsensusit rreth çështjeve specifike politike.[112] Twitter gjithashtu e ka përdorur këtë qasje për menaxhimin e shënimeve të komunitetit të tij,[113] të cilat YouTube planifikoi t'i pilotonte në vitin 2024.[114][115] Aviv Ovadya gjithashtu argumenton për zbatimin e algoritmeve të bazuara në urë në platformat kryesore duke fuqizuar grupet deliberative që janë përfaqësuese të përdoruesve të platformës për të kontrolluar hartimin dhe zbatimin e algoritmit.[116]

Televizion

Ndërsa peizazhi i televizionit të lidhur vazhdon të evoluojë, kërkimi dhe rekomandimi shihen si të kenë një rol edhe më të rëndësishëm në zbulimin e përmbajtjes. Me pajisjet e lidhura me internet me brez të gjerë, konsumatorët parashikohet të kenë qasje në përmbajtje nga burime lineare transmetimi, si dhe televizion në internet. Prandaj, ekziston rreziku që tregu të fragmentohet, duke ia lënë shikuesit mundësinë të vizitojë vende të ndryshme dhe të gjejë atë që dëshiron të shikojë në një mënyrë që kërkon kohë dhe është e ndërlikuar për ta. Duke përdorur një motor kërkimi dhe rekomandimi, shikuesve u ofrohet një 'portal' qendror nga i cili mund të zbulojnë përmbajtje nga disa burime vetëm në një vendndodhje.

Lexime të mëtejshme

Libra

  • Kim Falk (vd. 2019), Sisteme Rekomanduese Praktike, Manning Publications,
  • Seaver, Nick (2022). Shija e Informatikës: Algoritmet dhe Rekomandimi i Krijuesve të Muzikës. Shtëpia Botuese e Universitetit të Çikagos.

Artikuj shkencorë

  • Robert M. Bell; Jim Bennett; Yehuda Koren & Chris Volinsky (maj 2009). "The Million Dollar Programming Prize". IEEE Spectrum. Arkivuar nga origjinali më 2009-05-11. Marrë më 2018-12-10.
  • Prem Melville, Raymond J. Mooney, and Ramadass Nagarajan. (2002) Content-Boosted Collaborative Filtering for Improved Recommendations. Proceedings of the Eighteenth National Conference on Artificial Intelligence (AAAI-2002), pp.187–192, Edmonton, Canada, July 2002.

Referime

  1. 1 2 Ricci, Francesco; Rokach, Lior; Shapira, Bracha (2022). "Recommender Systems: Techniques, Applications, and Challenges". përmbledhur nga Ricci, Francesco; Rokach, Lior; Shapira, Bracha (red.). Recommender Systems Handbook (në anglisht) (bot. 3). New York: Springer. fq. 1–35. doi:10.1007/978-1-0716-2197-4_1. ISBN 978-1-0716-2196-7.
  2. Gupta, Pankaj; Goel, Ashish; Lin, Jimmy; Sharma, Aneesh; Wang, Dong; Zadeh, Reza (2013). "WTF: the who to follow service at Twitter". Proceedings of the 22nd International Conference on World Wide Web. Association for Computing Machinery. pp. 505–514. doi:10.1145/2488388.2488433. ISBN 9781450320351.
  3. Baran, Remigiusz; Dziech, Andrzej; Zeja, Andrzej (2018-06-01). "A capable multimedia content discovery platform based on visual content analysis and intelligent data enrichment". Multimedia Tools and Applications (në anglisht). 77 (11): 14077–14091. doi:10.1007/s11042-017-5014-1. ISSN 1573-7721.
  4. Chen, Hung-Hsuan; Gou, Liang; Zhang, Xiaolong; Giles, Clyde Lee (2011). "CollabSeer: a search engine for collaboration discovery" (PDF). Proceedings of the 11th Annual International ACM/IEEE Joint Conference on Digital Libraries. Association for Computing Machinery. pp. 231–240. doi:10.1145/1998076.1998121. ISBN 9781450307444.
  5. Felfernig, Alexander; Isak, Klaus; Szabo, Kalman; Zachar, Peter (2007). "The VITA Financial Services Sales Support Environment" (PDF). In William Cheetham (ed.). Proceedings of the 19th National Conference on Innovative Applications of Artificial Intelligence, vol. 2. pp. 1692–1699. ISBN 9781577353232. ACM Copy.
  6. 1 2 3 4 5 jobs (2014-09-03). "How to tame the flood of literature : Nature News & Comment". Nature (në anglisht). 513 (7516). Nature.com: 129–130. doi:10.1038/513129a. PMID 25186906.
  7. Analysis (2011-12-14). "Netflix Revamps iPad App to Improve Content Discovery" (në anglisht). WIRED. Marrë më 2015-12-31.
  8. Melville, Prem; Sindhwani, Vikas (2010). "doi:10.1007/978-0-387-30164-8_705. ISBN 978-0-387-30164-8" (PDF). përmbledhur nga Claude Sammut; Geoffrey I. Webb (red.). Encyclopedia of Machine Learning (në anglisht). Springer. fq. 829–838. doi:10.1007/978-0-387-30164-8_705.
  9. R. J. Mooney & L. Roy (1999). Content-based book recommendation using learning for text categorization. In Workshop Recom. Sys.: Algo. and Evaluation.
  10. Haupt, Jon (2009-06-01). "Last.fm: People-Powered Online Radio". Music Reference Services Quarterly (në anglisht). 12 (1–2): 23–24. doi:10.1080/10588160902816702. ISSN 1058-8167.
  11. "About The Music Genome Project®". www.pandora.com (në anglisht). Arkivuar nga origjinali më 2014-08-14. Marrë më 2025-06-03.
  12. 1 2 Chen, Hung-Hsuan; Chen, Pu (2019-01-09). "Differentiating Regularization Weights -- A Simple Mechanism to Alleviate Cold Start in Recommender Systems". ACM Transactions on Knowledge Discovery from Data (në anglisht). 13: 1–22. doi:10.1145/3285954.
  13. 1 2 Rubens, Neil; Elahi, Mehdi; Sugiyama, Masashi; Kaplan, Dain (2016). "Active Learning in Recommender Systems". përmbledhur nga Ricci, Francesco; Rokach, Lior; Shapira, Bracha (red.). Recommender Systems Handbook (në anglisht) (bot. 2). Springer US. fq. 809–846. doi:10.1007/978-1-4899-7637-6_24. ISBN 978-1-4899-7637-6.
  14. Bobadilla, J.; Ortega, F.; Hernando, A.; Alcalá, J. (2011). "Improving collaborative filtering recommender system results and performance using genetic algorithms". Knowledge-Based Systems (në anglisht). 24 (8): 1310–1316. doi:10.1016/j.knosys.2011.06.005.
  15. 1 2 Elahi, Mehdi; Ricci, Francesco; Rubens, Neil (2016). "A survey of active learning in collaborative filtering recommender systems". Computer Science Review (në anglisht). 20: 29–50. doi:10.1016/j.cosrev.2016.05.002.
  16. Andrew I. Schein; Alexandrin Popescul; Lyle H. Ungar; David M. Pennock (2002). Methods and Metrics for Cold-Start Recommendations. Proceedings of the 25th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2002). ACM. pp. 253–260. ISBN 1-58113-561-0. Retrieved February 2, 2008.
  17. 1 2 Bi, Xuan; Qu, Annie; Wang, Junhui; Shen, Xiaotong (2017). "A group-specific recommender system" (PDF). Journal of the American Statistical Association (në anglisht). 112 (519): 1344–1353. doi:10.1080/01621459.2016.1219261.
  18. Bengani, Jonathan Stray, Luke Thorburn, Priyanjana (2023-10-16). "What's the Difference Between Search and Recommendation? | TechPolicy.Press". Tech Policy Press (në anglisht). Marrë më 2025-06-03.{{cite web}}: Mirëmbajtja CS1: Emra të shumëfishtë: lista e autorëve (lidhja)
  19. "Recommender-System Software Libraries & APIs – RS_c" (në anglishte britanike). Marrë më 2024-11-18.
  20. Ekstrand, Michael (2018-08-21). "The LKPY Package for Recommender Systems Experiments". Computer Science Faculty Publications and Presentations (në anglisht). Boise State University, ScholarWorks. doi:10.18122/cs_facpubs/147/boisestate.
  21. Vente, Tobias; Ekstrand, Michael; Beel, Joeran (2023-09-14). "Introducing LensKit-Auto, an Experimental Automated Recommender System (AutoRecSys) Toolkit". Proceedings of the 17th ACM Conference on Recommender Systems (në anglisht). ACM. fq. 1212–1216. doi:10.1145/3604915.3610656. ISBN 979-8-4007-0241-9.
  22. Zhao, Wayne Xin; Mu, Shanlei; Hou, Yupeng; Lin, Zihan; Chen, Yushuo; Pan, Xingyu; Li, Kaiyuan; Lu, Yujie; Wang, Hui (2021-10-26). "RecBole: Towards a Unified, Comprehensive and Efficient Framework for Recommendation Algorithms". Proceedings of the 30th ACM International Conference on Information & Knowledge Management (në anglisht). ACM. fq. 4653–4664. doi:10.1145/3459637.3482016. ISBN 978-1-4503-8446-9.
  23. Li, Jiayu; Li, Hanyu; He, Zhiyu; Ma, Weizhi; Sun, Peijie; Zhang, Min; Ma, Shaoping (2024-10-08). "ReChorus2.0: A Modular and Task-Flexible Recommendation Library". 18th ACM Conference on Recommender Systems (në anglisht). ACM. fq. 454–464. doi:10.1145/3640457.3688076. ISBN 979-8-4007-0505-2.
  24. Michiels, Lien; Verachtert, Robin; Goethals, Bart (2022-09-18). "RecPack: An(other) Experimentation Toolkit for Top-N Recommendation using Implicit Feedback Data". Proceedings of the 16th ACM Conference on Recommender Systems (në anglisht). ACM. fq. 648–651. doi:10.1145/3523227.3551472. ISBN 978-1-4503-9278-5.
  25. Karlgren, Jussi. "An Algebra for Recommendations.Arkivuar 25 maj 2024 tek Wayback Machine. Syslab Working Paper 179 (1990). "
  26. Karlgren, Jussi. "Newsgroup Clustering Based On User Behavior-A Recommendation Algebra Arkivuar shkurt 27, 2021, tek Wayback Machine." SICS Research Report (1994).
  27. Karlgren, Jussi (tetor 2017). "A digital bookshelf: original work on recommender systems" (në anglisht). Marrë më 27 tetor 2017.
  28. Hill, Will, Larry Stead, Mark Rosenstein, and George Furnas. "Recommending and evaluating choices in a virtual community of use Arkivuar 2018-12-21 tek Wayback Machine." In Proceedings of the SIGCHI conference on Human factors in computing systems, pp. 194–201. ACM Press/Addison-Wesley Publishing Co., 1995.
  29. Montaner, M.; Lopez, B.; de la Rosa, J. L. (qershor 2003). "A Taxonomy of Recommender Agents on the Internet". Artificial Intelligence Review (në anglisht). 19 (4): 285–330. doi:10.1023/A:1022850703159..
  30. Adomavicius, G.; Tuzhilin, A. (qershor 2005). "Toward the Next Generation of Recommender Systems: A Survey of the State-of-the-Art and Possible Extensions". IEEE Transactions on Knowledge and Data Engineering (në anglisht). 17 (6): 734–749. Bibcode:2005IDSO...17..734A. CiteSeerX 10.1.1.107.2790. doi:10.1109/TKDE.2005.99..
  31. Herlocker, J. L.; Konstan, J. A.; Terveen, L. G.; Riedl, J. T. (janar 2004). "Evaluating collaborative filtering recommender systems". ACM Trans. Inf. Syst. (në anglisht). 22 (1): 5–53. CiteSeerX 10.1.1.78.8384. doi:10.1145/963770.963772..
  32. 1 2 3 Beel, J.; Genzmehr, M.; Gipp, B. (tetor 2013). "A comparative analysis of offline and online evaluations and discussion of research paper recommender system evaluation" (PDF). Proceedings of the International Workshop on Reproducibility and Replication in Recommender Systems Evaluation (në anglisht). fq. 7–14. doi:10.1145/2532508.2532511. ISBN 978-1-4503-2465-6. Arkivuar nga origjinali (PDF) më 2016-04-17. Marrë më 2013-10-22.
  33. Beel, J.; Langer, S.; Genzmehr, M.; Gipp, B.; Breitinger, C. (tetor 2013). "Research paper recommender system evaluation: A quantitative literature survey" (PDF). Proceedings of the International Workshop on Reproducibility and Replication in Recommender Systems Evaluation (në anglisht). fq. 15–22. doi:10.1145/2532508.2532512. ISBN 978-1-4503-2465-6.
  34. Beel, J.; Gipp, B.; Langer, S.; Breitinger, C. (26 korrik 2015). "Research Paper Recommender Systems: A Literature Survey". International Journal on Digital Libraries (në anglisht). 17 (4): 305–338. doi:10.1007/s00799-015-0156-0.
  35. John S. Breese; David Heckerman & Carl Kadie (1998). Empirical analysis of predictive algorithms for collaborative filtering. In Proceedings of the Fourteenth conference on Uncertainty in artificial intelligence (UAI'98). arXiv:1301.7363.
  36. Breese, John S.; Heckerman, David; Kadie, Carl (1998). Empirical Analysis of Predictive Algorithms for Collaborative Filtering (PDF) (Reportazh) (në anglisht). Microsoft Research.
  37. Koren, Yehuda; Volinsky, Chris (2009-08-01). "Matrix Factorization Techniques for Recommender Systems". Computer (në anglisht). 42 (8): 30–37. Bibcode:2009Compr..42h..30K. CiteSeerX 10.1.1.147.8295. doi:10.1109/MC.2009.263.
  38. Sarwar, B.; Karypis, G.; Konstan, J.; Riedl, J. (2000). "Application of Dimensionality Reduction in Recommender System A Case Study" (në anglisht). Arkivuar nga origjinali më 14 janar 2019. Marrë më 29 janar 2008.,
  39. Allen, R.B. (1990), User Models: Theory, Method, Practice (në anglisht), International J. Man-Machine Studies
  40. Parsons, J.; Ralph, P.; Gallagher, K. (korrik 2004). Using viewing time to infer user preference in recommender systems. AAAI Workshop in Semantic Web Personalization, San Jose, California (në anglisht)..
  41. Felício, Crícia Z.; Paixão, Klérisson V.R.; Barcelos, Celia A.Z.; Preux, Philippe (2017-07-09). "A Multi-Armed Bandit Model Selection for Cold-Start User Recommendation". Proceedings of the 25th Conference on User Modeling, Adaptation and Personalization (PDF). UMAP '17 (në anglisht). Bratislava, Slovakia: Association for Computing Machinery. fq. 32–40. doi:10.1145/3079628.3079681. ISBN 978-1-4503-4635-1.
  42. Collaborative Recommendations Using Item-to-Item Similarity Mappings Arkivuar 2015-03-16 tek Wayback Machine
  43. Aggarwal, Charu C. (2016). Recommender Systems: The Textbook (në anglisht). Springer. ISBN 978-3-319-29657-9.
  44. Peter Brusilovsky (2007). The Adaptive Web (në anglisht). Springer. fq. 325. ISBN 978-3-540-72078-2.
  45. Wang, Donghui; Liang, Yanchun; Xu, Dong; Feng, Xiaoyue; Guan, Renchu (2018). "A content-based recommender system for computer science publications". Knowledge-Based Systems (në anglisht). 157: 1–9. doi:10.1016/j.knosys.2018.05.001.
  46. Blanda, Stephanie (25 maj 2015). "Online Recommender Systems – How Does a Website Know What I Want?". American Mathematical Society (në anglisht). Marrë më 31 tetor 2016.
  47. Adomavicius, G.; Tuzhilin, A. (qershor 2005). "Toward the Next Generation of Recommender Systems: A Survey of the State-of-the-Art and Possible Extensions". IEEE Transactions on Knowledge and Data Engineering (në anglisht). 17 (6): 734–749. Bibcode:2005IDSO...17..734A. CiteSeerX 10.1.1.107.2790. doi:10.1109/TKDE.2005.99..
  48. Gomez-Uribe, Carlos A.; Hunt, Neil (28 dhjetor 2015). "The Netflix Recommender System". ACM Transactions on Management Information Systems (në anglisht). 6 (4): 1–19. doi:10.1145/2843948.
  49. Robin Burke, Hybrid Web Recommender Systems Arkivuar 2014-09-12 tek Wayback Machine, pp. 377-408, The Adaptive Web, Peter Brusilovsky, Alfred Kobsa, Wolfgang Nejdl (Ed.), Lecture Notes in Computer Science, Springer-Verlag, Berlin, Germany, Lecture Notes in Computer Science, Vol. 4321, May 2007, 978-3-540-72078-2.
  50. 1 2 A bot will complete this citation soon. Click here to jump the queue arXiv:.
  51. 1 2 3 A bot will complete this citation soon. Click here to jump the queue arXiv:.
  52. 1 2 Yifei, Ma; Narayanaswamy, Balakrishnan; Haibin, Lin; Hao, Ding (2020). "Temporal-Contextual Recommendation in Real-Time". Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (në anglisht). Association for Computing Machinery. fq. 2291–2299. doi:10.1145/3394486.3403278. ISBN 978-1-4503-7998-4.
  53. Hidasi, Balázs; Karatzoglou, Alexandros (2018-10-17). "Recurrent Neural Networks with Top-k Gains for Session-based Recommendations". Proceedings of the 27th ACM International Conference on Information and Knowledge Management. CIKM '18 (në anglisht). Torino, Italy: Association for Computing Machinery. fq. 843–852. doi:10.1145/3269206.3271761. ISBN 978-1-4503-6014-2.
  54. A bot will complete this citation soon. Click here to jump the queue arXiv:.
  55. Li, Jing; Ren, Pengjie; Chen, Zhumin; Ren, Zhaochun; Lian, Tao; Ma, Jun (2017-11-06). "Neural Attentive Session-based Recommendation". Proceedings of the 2017 ACM on Conference on Information and Knowledge Management. CIKM '17 (në anglisht). Singapore, Singapore: Association for Computing Machinery. fq. 1419–1428. doi:10.1145/3132847.3132926. ISBN 978-1-4503-4918-5.
  56. Liu, Qiao; Zeng, Yifu; Mokhosi, Refuoe; Zhang, Haibin (2018-07-19). "STAMP". Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. KDD '18 (në anglisht). London, United Kingdom: Association for Computing Machinery. fq. 1831–1839. doi:10.1145/3219819.3219950. ISBN 978-1-4503-5552-0.
  57. Xin. "Self-Supervised Reinforcement Learning for Recommender Systems" (në anglisht). arXiv:2006.05779.{{cite arXiv}}: Mirëmbajtja CS1: Mungon klasa (lidhja)
  58. Ie, Eugene; Jain, Vihan; Narvekar, Sanmit; Agarwal, Ritesh; Wu, Rui; Cheng, Heng-Tze; Chandra, Tushar; Boutilier, Craig (2019). "SlateQ: A Tractable Decomposition for Reinforcement Learning with Recommendation Sets". Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence (IJCAI-19) (në anglisht): 2592–2599.
  59. Zou, Lixin; Xia, Long; Ding, Zhuoye; Song, Jiaxing; Liu, Weidong; Yin, Dawei (2019). "Reinforcement Learning to Optimize Long-term User Engagement in Recommender Systems". Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. KDD '19 (në anglisht). fq. 2810–2818. doi:10.1145/3292500.3330668. ISBN 978-1-4503-6201-6.
  60. Lakiotaki, K.; Matsatsinis; Tsoukias, A (mars 2011). "Multicriteria User Modeling in Recommender Systems". IEEE Intelligent Systems (në anglisht). 26 (2): 64–76. Bibcode:2011IISys..26b..64L. CiteSeerX 10.1.1.476.6726. doi:10.1109/mis.2011.33.
  61. Gediminas Adomavicius; Nikos Manouselis; YoungOk Kwon. "Multi-Criteria Recommender Systems" (PDF) (në anglisht). Arkivuar nga origjinali (PDF) më 2014-06-30.
  62. Bouneffouf, Djallel. DRARS, A Dynamic Risk-Aware Recommender System (Tezë) (në anglisht). Institut National des Télécommunications.
  63. Pimenidis, Elias; Polatidis, Nikolaos; Mouratidis, Haralambos (3 gusht 2018). "Mobile recommender systems: Identifying the major concepts". Journal of Information Science (në anglisht). 45 (3): 387–397. arXiv:1805.02276. doi:10.1177/0165551518792213.
  64. A bot will complete this citation soon. Click here to jump the queue arXiv:.
  65. 1 2 Lohr, Steve (22 shtator 2009). "A $1 Million Research Bargain for Netflix, and Maybe a Model for Others". The New York Times (në anglisht).
  66. R. Bell; Y. Koren; C. Volinsky (2007). "The BellKor solution to the Netflix Prize" (PDF) (në anglisht). Arkivuar nga origjinali (PDF) më 2012-03-04. Marrë më 2009-04-30.
  67. Bodoky, Thomas (2009-08-06). "Mátrixfaktorizáció one million dollars". Index (në anglisht).
  68. Rise of the Netflix Hackers Arkivuar janar 24, 2012, tek Wayback Machine
  69. "Netflix Prize Update" (në anglisht). Netflix Prize Forum. 2010-03-12. Arkivuar nga origjinali më 2011-11-27. Marrë më 2011-12-14.
  70. Turpin, Andrew H; Hersh, William (2001). "Why batch and user evaluations do not give the same results". Proceedings of the 24th annual international ACM SIGIR conference on Research and development in information retrieval (në anglisht). fq. 225–231.
  71. "MovieLens dataset" (në anglisht). 2013-09-06.
  72. 1 2 Chen, Hung-Hsuan; Chung, Chu-An; Huang, Hsin-Chien; Tsui, Wen (2017-09-01). "Common Pitfalls in Training and Evaluating Recommender Systems". ACM SIGKDD Explorations Newsletter (në anglisht). 19: 37–45. doi:10.1145/3137597.3137601.
  73. Jannach, Dietmar; Lerche, Lukas; Gedikli, Fatih; Bonnin, Geoffray (2013-06-10). "What Recommenders Recommend – an Analysis of Accuracy, Popularity, and Sales Diversity Effects". përmbledhur nga Carberry, Sandra; Weibelzahl, Stephan; Micarelli, Alessandro; Semeraro, Giovanni (red.). User Modeling, Adaptation, and Personalization. Lecture Notes in Computer Science (në anglisht). Vëll. 7899. Springer Berlin Heidelberg. fq. 25–37. CiteSeerX 10.1.1.465.96. doi:10.1007/978-3-642-38844-6_3. ISBN 978-3-642-38843-9.
  74. 1 2 Turpin, Andrew H.; Hersh, William (2001-01-01). "Why batch and user evaluations do not give the same results". Proceedings of the 24th annual international ACM SIGIR conference on Research and development in information retrieval. SIGIR '01 (në anglisht). New York, NY, USA: ACM. fq. 225–231. CiteSeerX 10.1.1.165.5800. doi:10.1145/383952.383992. ISBN 978-1-58113-331-8.
  75. Langer, Stefan (2015-09-14). "A Comparison of Offline Evaluations, Online Evaluations, and User Studies in the Context of Research-Paper Recommender Systems". përmbledhur nga Kapidakis, Sarantos; Mazurek, Cezary; Werla, Marcin (red.). Research and Advanced Technology for Digital Libraries. Lecture Notes in Computer Science (në anglisht). Vëll. 9316. Springer International Publishing. fq. 153–168. doi:10.1007/978-3-319-24592-8_12. ISBN 978-3-319-24591-1.
  76. Basaran, Daniel; Ntoutsi, Eirini; Zimek, Arthur (2017). Proceedings of the 2017 SIAM International Conference on Data Mining (në anglisht). fq. 390–398. doi:10.1137/1.9781611974973.44. ISBN 978-1-61197-497-3.
  77. Beel, Joeran; Genzmehr, Marcel; Langer, Stefan; Nürnberger, Andreas; Gipp, Bela (2013-01-01). "A comparative analysis of offline and online evaluations and discussion of research paper recommender system evaluation". Proceedings of the International Workshop on Reproducibility and Replication in Recommender Systems Evaluation. RepSys '13 (në anglisht). New York, NY, USA: ACM. fq. 7–14. CiteSeerX 10.1.1.1031.973. doi:10.1145/2532508.2532511. ISBN 978-1-4503-2465-6.
  78. Cañamares, Rocío; Castells, Pablo; Moffat, Alistair (mars 2020). "Offline Evaluation Options for Recommender Systems" (PDF). Information Retrieval (në anglisht). 23 (4). Springer: 387–410. doi:10.1007/s10791-020-09371-3. Arkivuar nga origjinali (PDF) më 31 mars 2021. Marrë më 5 mars 2021.
  79. Ziegler CN, McNee SM, Konstan JA, Lausen G (2005). "Improving recommendation lists through topic diversification". Proceedings of the 14th international conference on World Wide Web (në anglisht). fq. 22–32.
  80. 1 2 Castells, Pablo; Hurley, Neil J.; Vargas, Saúl (2015). "Novelty and Diversity in Recommender Systems". përmbledhur nga Ricci, Francesco; Rokach, Lior; Shapira, Bracha (red.). Recommender Systems Handbook (në anglisht) (bot. 2). Springer US. fq. 881–918. doi:10.1007/978-1-4899-7637-6_26. ISBN 978-1-4899-7637-6.
  81. Joeran Beel; Stefan Langer; Marcel Genzmehr; Andreas Nürnberger (shtator 2013). "Persistence in Recommender Systems: Giving the Same Recommendations to the Same Users Multiple Times" (PDF). përmbledhur nga Trond Aalberg; Milena Dobreva; Christos Papatheodorou; Giannis Tsakonas; Charles Farrugia (red.). Proceedings of the 17th International Conference on Theory and Practice of Digital Libraries (TPDL 2013). Lecture Notes of Computer Science (LNCS) (në anglisht). Vëll. 8092. Springer. fq. 390–394. Marrë më 1 nëntor 2013.
  82. Cosley, D.; Lam, S.K.; Albert, I.; Konstan, J.A.; Riedl, J (2003). "Is seeing believing?: how recommender system interfaces affect users' opinions" (PDF). Proceedings of the SIGCHI conference on Human factors in computing systems (në anglisht). fq. 585–592.
  83. Pu, P.; Chen, L.; Hu, R. (2012). "Evaluating recommender systems from the user's perspective: survey of the state of the art" (PDF). User Modeling and User-Adapted Interaction (në anglisht): 1–39.
  84. Naren Ramakrishnan; Benjamin J. Keller; Batul J. Mirza; Ananth Y. Grama; George Karypis (2001). "Privacy risks in recommender systems". IEEE Internet Computing (në anglisht). 5 (6). Piscataway, NJ: IEEE Educational Activities Department: 54–62. CiteSeerX 10.1.1.2.2932. doi:10.1109/4236.968832. ISBN 978-1-58113-561-9.
  85. Joeran Beel; Stefan Langer; Andreas Nürnberger; Marcel Genzmehr (shtator 2013). "The Impact of Demographics (Age and Gender) and Other User Characteristics on Evaluating Recommender Systems" (PDF). përmbledhur nga Trond Aalberg; Milena Dobreva; Christos Papatheodorou; Giannis Tsakonas; Charles Farrugia (red.). Proceedings of the 17th International Conference on Theory and Practice of Digital Libraries (TPDL 2013) (në anglisht). Springer. fq. 400–404. Marrë më 1 nëntor 2013.
  86. Konstan JA, Riedl J (2012). "Recommender systems: from algorithms to user experience" (PDF). User Modeling and User-Adapted Interaction (në anglisht). 22 (1–2): 1–23. doi:10.1007/s11257-011-9112-x.
  87. Ricci F, Rokach L, Shapira B, Kantor BP (2011). Recommender systems handbook (në anglisht). fq. 1–35. Bibcode:2011rsh..book.....R.
  88. Möller, Judith; Trilling, Damian; Helberger, Natali; van Es, Bram (2018-07-03). "Do not blame it on the algorithm: an empirical assessment of multiple recommender systems and their impact on content diversity". Information, Communication & Society (në anglisht). 21 (7): 959–977. doi:10.1080/1369118X.2018.1444076. hdl:hdl:11245.1/1f9a5b6d-3d6a-4f7a-9f7a-efb442f2e0a6. ISSN 1369-118X.
  89. Montaner, Miquel; López, Beatriz; de la Rosa, Josep Lluís (2002). "Developing trust in recommender agents". Proceedings of the first international joint conference on Autonomous agents and multiagent systems: part 1 (në anglisht). fq. 304–305.
  90. Ferrari Dacrema, Maurizio; Boglio, Simone; Cremonesi, Paolo; Jannach, Dietmar (8 janar 2021). "A Troubling Analysis of Reproducibility and Progress in Recommender Systems Research". ACM Transactions on Information Systems (në anglisht). 39 (2): 1–49. arXiv:1911.07698. doi:10.1145/3434185.
  91. Ferrari Dacrema, Maurizio; Cremonesi, Paolo; Jannach, Dietmar (2019). "Are we really making much progress? A worrying analysis of recent neural recommendation approaches". Proceedings of the 13th ACM Conference on Recommender Systems. RecSys '19 (në anglisht). ACM. fq. 101–109. doi:10.1145/3298689.3347058. hdl:11311/1108996. ISBN 978-1-4503-6243-6. Marrë më 16 tetor 2019.
  92. Rendle, Steffen; Krichene, Walid; Zhang, Li; Anderson, John (22 shtator 2020). "Neural Collaborative Filtering vs. Matrix Factorization Revisited". Fourteenth ACM Conference on Recommender Systems (në anglisht). fq. 240–248. doi:10.1145/3383313.3412488. ISBN 978-1-4503-7583-2.
  93. Sun, Zhu; Yu, Di; Fang, Hui; Yang, Jie; Qu, Xinghua; Zhang, Jie; Geng, Cong (2020). "Are We Evaluating Rigorously? Benchmarking Recommendation for Reproducible Evaluation and Fair Comparison". Fourteenth ACM Conference on Recommender Systems (në anglisht). ACM. fq. 23–32. doi:10.1145/3383313.3412489. ISBN 978-1-4503-7583-2.
  94. Schifferer, Benedikt; Deotte, Chris; Puget, Jean-François; de Souza Pereira, Gabriel; Titericz, Gilberto; Liu, Jiwei; Ak, Ronay. "Using Deep Learning to Win the Booking.com WSDM WebTour21 Challenge on Sequential Recommendations" (PDF). WSDM '21: ACM Conference on Web Search and Data Mining (në anglisht). ACM. Arkivuar nga origjinali (PDF) më 25 mars 2021. Marrë më 3 prill 2021.
  95. Volkovs, Maksims; Rai, Himanshu; Cheng, Zhaoyue; Wu, Ga; Lu, Yichao; Sanner, Scott (2018). "Two-stage Model for Automatic Playlist Continuation at Scale". Proceedings of the ACM Recommender Systems Challenge 2018 (në anglisht). ACM. fq. 1–6. doi:10.1145/3267471.3267480. ISBN 978-1-4503-6586-4.
  96. Ekstrand, Michael D.; Ludwig, Michael; Konstan, Joseph A.; Riedl, John T. (2011-01-01). "Rethinking the recommender research ecosystem". Proceedings of the fifth ACM conference on Recommender systems. RecSys '11 (në anglisht). New York, NY, USA: ACM. fq. 133–140. doi:10.1145/2043932.2043958. ISBN 978-1-4503-0683-6.
  97. Konstan, Joseph A.; Adomavicius, Gediminas (2013-01-01). "Toward identification and adoption of best practices in algorithmic recommender systems research". Proceedings of the International Workshop on Reproducibility and Replication in Recommender Systems Evaluation. RepSys '13 (në anglisht). New York, NY, USA: ACM. fq. 23–28. doi:10.1145/2532508.2532513. ISBN 978-1-4503-2465-6.
  98. 1 2 Breitinger, Corinna; Langer, Stefan; Lommatzsch, Andreas; Gipp, Bela (2016-03-12). "Towards reproducibility in recommender-systems research". User Modeling and User-Adapted Interaction (në anglisht). 26 (1): 69–101. doi:10.1007/s11257-016-9174-x. ISSN 0924-1868.
  99. Said, Alan; Bellogín, Alejandro (2014-10-01). "Comparative recommender system evaluation". Proceedings of the 8th ACM Conference on Recommender systems. RecSys '14 (në anglisht). New York, NY, USA: ACM. fq. 129–136. doi:10.1145/2645710.2645746. hdl:10486/665450. ISBN 978-1-4503-2668-1.
  100. Verma, P.; Sharma, S. (2020). "Artificial Intelligence based Recommendation System". 2020 2nd International Conference on Advances in Computing, Communication Control and Networking (ICACCCN) (në anglisht). fq. 669–673. doi:10.1109/ICACCCN51052.2020.9362962. ISBN 978-1-7281-8337-4.
  101. Khanal, S.S. (korrik 2020). "A systematic review: machine learning based recommendation systems for e-learning". Educ Inf Technol (në anglisht). 25 (4): 2635–2664. doi:10.1007/s10639-019-10063-9.
  102. 1 2 Zhang, Q. (shkurt 2021). "Artificial intelligence in recommender systems". Complex and Intelligent Systems (në anglisht). 7: 439–457. doi:10.1007/s40747-020-00212-w.
  103. Wu, L. (maj 2023). "A Survey on Accuracy-Oriented Neural Recommendation: From Collaborative Filtering to Information-Rich Recommendation". IEEE Transactions on Knowledge and Data Engineering (në anglisht). 35 (5): 4425–4445. arXiv:2104.13030. Bibcode:2023ITKDE..35.4425W. doi:10.1109/TKDE.2022.3145690.
  104. Samek, W. (mars 2021). "Explaining Deep Neural Networks and Beyond: A Review of Methods and Applications". Proceedings of the IEEE (në anglisht). 109 (3): 247–278. arXiv:2003.07631. doi:10.1109/JPROC.2021.3060483.
  105. Eisenstein, J. (tetor 2019). Introduction to natural language processing (në anglisht). MIT press. ISBN 9780262042840.
  106. Richter, Lothar (2018-12-01). "Jure Leskovec, Anand Rajaraman, and Jeffrey D. Ullman. Mining of Massive Datasets. Cambridge, Cambridge University Press". Biometrics (në anglisht). 74 (4): 1520–1521. doi:10.1111/biom.12982. ISSN 0006-341X.
  107. 1 2 Melville, Prem; Sindhwani, Vikas (2011), Sammut, Claude; Webb, Geoffrey I. (red.), "Recommender Systems", Encyclopedia of Machine Learning (në anglisht), Boston, MA: Springer US, fq. 829–838, doi:10.1007/978-0-387-30164-8_705, ISBN 978-0-387-30768-8, marrë më 2025-08-04{{citation}}: Mirëmbajtja CS1: Parametri work me ISBN (lidhja)
  108. Montaner, Miquel; López, Beatriz; de la Rosa, Josep Lluís (qershor 2003). "A Taxonomy of Recommender Agents on the Internet". Artificial Intelligence Review (në anglisht). 19 (4): 285–330. doi:10.1023/A:1022850703159. ISSN 0269-2821.
  109. Mirkin, Sima (2014-06-04). ""Extending and Customizing Content Discovery for the Legal Academic Com" by Sima Mirkin". Articles in Law Reviews & Other Academic Journals (në anglisht). Digital Commons @ American University Washington College of Law. Marrë më 2015-12-31.
  110. "Mendeley, Elsevier and the importance of content discovery to academic publishers" (në anglisht). Arkivuar nga origjinali më 17 nëntor 2014. Marrë më 8 dhjetor 2014.
  111. Thorburn, Luke; Ovadya, Aviv (31 tetor 2023). "Social media algorithms can be redesigned to bridge divides — here's how". Nieman Lab (në anglisht). Marrë më 2024-07-17.
  112. 1 2 Ovadya, Aviv (17 maj 2022). "Bridging-Based Ranking". Belfer Center at Harvard University (në anglisht). fq. 1, 14–28. Marrë më 2024-07-17.
  113. Smalley, Alex Mahadevan, Seth (2022-11-08). "Elon Musk keeps Birdwatch alive — under a new name". Poynter (në anglishte amerikane). Marrë më 2024-07-17.{{cite web}}: Mirëmbajtja CS1: Emra të shumëfishtë: lista e autorëve (lidhja)
  114. Shanklin, Will (2024-06-17). "YouTube's community notes feature rips a page out of X's playbook". Engadget (në anglishte amerikane). Marrë më 2024-07-17.
  115. Novak, Matt (2024-06-17). "YouTube Adding Experimental Community Notes Feature to Battle Misinformation". Gizmodo (në anglishte amerikane). Marrë më 2024-07-17.
  116. Ovadya, Aviv (17 maj 2022). "Bridging-Based Ranking". Belfer Center for Science and International Affairs at Harvard University (në anglisht). fq. 21–23. Marrë më 2024-07-17.