Punëtori inovative në Fizikë dhe Teknologji: histori të vërteta suksesi të Fizikës dhe Teknologjisë. Por shumë kompani tani mendojnë se nëse investojnë para në mësimin e makinerive, kopshtet e tyre do të lulëzojnë menjëherë. Kjo eshte e gabuar. Mësimi i makinerive duhet të zgjidhë probleme specifike, jo vetëm ato reale

Si pjesë e projektit të përbashkët "ABC of AI" me MIPT, ne kemi shkruar tashmë për të ashtuquajturat, të cilat ju lejojnë të "rriten" programet sipas parimeve dhe ligjeve të evolucionit darvinian. Megjithatë, tani për tani, kjo qasje ndaj inteligjencës artificiale është sigurisht një "mysafir nga e ardhmja". Por si krijohen sot sistemet e inteligjencës artificiale? Si janë trajnuar? Victor Kantor, pedagog i lartë në Departamentin e Algoritmeve dhe Teknologjive të Programimit në MIPT, dhe kreu i grupit të analizës së sjelljes së përdoruesit në Yandex Data Factory, na ndihmoi ta kuptojmë këtë.

Sipas një raporti të fundit nga firma kërkimore Gartner, e cila përditëson rregullisht "ciklin e pjekurisë së teknologjisë", mësimi i makinerive është aktualisht në kulmin e pritshmërive në të gjithë IT. Kjo nuk është për t'u habitur: gjatë viteve të fundit, mësimi i makinerisë është larguar nga sfera e interesave të një rrethi të ngushtë matematikanësh dhe specialistësh në teorinë e algoritmeve dhe ka depërtuar së pari në fjalorin e biznesmenëve të IT, dhe më pas në botë. të njerëzve të zakonshëm. Tani, kushdo që ka përdorur aplikacionin Prisma, ka kërkuar këngë duke përdorur Shazam ose ka parë imazhe të kaluara përmes DeepDream, e di se ekziston një gjë e tillë si rrjetet nervore me "magjinë" e tyre të veçantë.

Megjithatë, është një gjë të përdorësh teknologjinë dhe një gjë tjetër të kuptosh se si funksionon ajo. Fjalët e përgjithshme si "një kompjuter mund të mësojë nëse i jep një sugjerim" ose "një rrjet nervor përbëhet nga neurone dixhitale dhe është i strukturuar si truri i njeriut" mund të ndihmojnë dikë, por më shpesh ato vetëm ngatërrojnë situatën. Ata që do të studiojnë seriozisht matematikën nuk kanë nevojë për tekste të njohura: ka tekste shkollore dhe kurse të shkëlqyera në internet për ta. Ne do të përpiqemi të marrim një rrugë të mesme: të shpjegojmë se si të mësuarit ndodh në të vërtetë në një detyrë shumë të thjeshtë dhe më pas të tregojmë se si mund të zbatohet e njëjta qasje për të zgjidhur probleme reale interesante.

Si mësojnë makinat

Për të filluar, për të kuptuar saktësisht se si ndodh mësimi i makinës, le të përcaktojmë konceptet. Siç përkufizohet nga një nga pionierët e kësaj fushe, Arthur Samuel, mësimi i makinerive i referohet metodave që "i lejojnë kompjuterët të mësojnë pa i programuar drejtpërdrejt". Ekzistojnë dy klasa të gjera të metodave të mësimit të makinerive: mësimi i mbikëqyrur dhe mësimi i pambikëqyrur. E para përdoret kur, për shembull, duhet të mësojmë një kompjuter të kërkojë foto me imazhe macesh, e dyta është kur kemi nevojë për makinën, për shembull, që të jemi në gjendje të grupojmë në mënyrë të pavarur lajmet në histori, siç ndodh në shërbime. si Yandex.News ose Google News. Domethënë, në rastin e parë kemi të bëjmë me një detyrë që nënkupton ekzistencën e një përgjigjeje të saktë (macja në foto ose është aty ose jo), në rastin e dytë nuk ka asnjë përgjigje të vetme të saktë, por ka mënyra të ndryshme. për të zgjidhur problemin. Ne do të fokusohemi veçanërisht në klasën e parë të problemeve si më interesantet.

Pra, ne duhet ta mësojmë kompjuterin të bëjë disa parashikime. Për më tepër, është e dëshirueshme që të jetë sa më e saktë. Parashikimet mund të jenë të dy llojeve: ose ju duhet të zgjidhni midis disa opsioneve të përgjigjeve (nëse ka një mace në foto ose jo është një zgjedhje nga një opsion nga dy, aftësia për të njohur shkronjat në imazhe është një zgjedhje e një opsioni nga disa dhjetra, e kështu me radhë), ose bëni një parashikim numerik. Për shembull, parashikoni peshën e një personi bazuar në gjatësinë, moshën, madhësinë e këpucëve, etj. Këto dy lloje problemesh vetëm duken të ndryshme, por në fakt ato zgjidhen pothuajse në mënyrë identike. Le të përpiqemi të kuptojmë saktësisht se si.

Gjëja e parë që duhet të bëjmë një sistem parashikimi është të mbledhim një të ashtuquajtur kampion trajnimi, domethënë të dhëna për peshën e njerëzve në popullatë. E dyta është të vendosim për një grup shenjash në bazë të të cilave mund të nxjerrim përfundime për peshën. Është e qartë se një nga shenjat "më të forta" të tilla do të jetë lartësia e një personi, kështu që si përafrim i parë mjafton të merret vetëm kjo. Nëse pesha varet në mënyrë lineare nga gjatësia, atëherë parashikimi ynë do të jetë shumë i thjeshtë: pesha e një personi do të jetë e barabartë me gjatësinë e tij shumëzuar me një koeficient, plus një vlerë konstante, e cila shkruhet me formulën më të thjeshtë y=kx+b. Gjithçka që duhet të bëjmë për të trajnuar një makinë për të parashikuar peshën e një personi është të gjejmë disi vlerat e sakta për k dhe b.

E bukura e mësimit të makinerive është se edhe nëse marrëdhënia që po studiojmë është shumë komplekse, në thelb asgjë nuk do të ndryshojë në qasjen tonë. Ne ende do të kemi të bëjmë me të njëjtin regresion.

Le të themi se pesha e një personi ndikohet nga gjatësia e tij jo në mënyrë lineare, por në shkallën e tretë (që përgjithësisht pritet, sepse pesha varet nga vëllimi i trupit). Për të marrë parasysh këtë varësi, ne thjesht futim një term tjetër në ekuacionin tonë, përkatësisht fuqinë e tretë të rritjes me koeficientin e vet, duke marrë kështu y=k 1 x+k 2 x 3 +b. Tani, për të trajnuar makinën, do të na duhet të gjejmë jo dy, por tre sasi (k 1, k 2 dhe b). Le të themi se në parashikimin tonë duam të marrim parasysh edhe madhësinë e këpucëve të një personi, moshën e tij, kohën që kaloi duke parë televizor dhe distancën nga banesa e tij deri te pika më e afërt e ushqimit të shpejtë. Nuk ka problem: ne thjesht i shtojmë këto veçori si terma të veçantë në të njëjtin ekuacion.

Gjëja më e rëndësishme është të krijoni një mënyrë universale për të gjetur koeficientët e kërkuar (k 1, k 2, ... k n). Nëse ekziston, do të jetë pothuajse indiferente ndaj nesh cilat veçori të përdorim për parashikim, sepse vetë makina do të mësojë t'u japë peshë të madhe atyre të rëndësishme dhe peshë të vogël karakteristikave të parëndësishme. Për fat të mirë, një metodë e tillë tashmë është shpikur dhe pothuajse i gjithë mësimi i makinerive funksionon me sukses në të: nga modelet më të thjeshta lineare deri te sistemet e njohjes së fytyrës dhe analizuesit e të folurit. Kjo metodë quhet zbritje gradient. Por përpara se të shpjegojmë se si funksionon, duhet të bëjmë një digresion të vogël dhe të flasim për rrjetet nervore.

Rrjetet nervore

Në vitin 2016, rrjetet nervore hynë në axhendën e informacionit aq fort saqë u identifikuan pothuajse me çdo mësim makinerie dhe IT të avancuar në përgjithësi. Duke folur formalisht, kjo nuk është e vërtetë: rrjetet nervore nuk përdoren gjithmonë në mësimin matematik; ka teknologji të tjera. Por në përgjithësi, natyrisht, një lidhje e tillë është e kuptueshme, sepse janë sisteme të bazuara në rrjetet nervore që tani ofrojnë rezultatet më "magjike", siç është aftësia për të kërkuar një person në një fotografi, shfaqja e aplikacioneve që transferojnë stili i një imazhi në tjetrin, ose sistemet për gjenerimin e teksteve në mënyrën e të folurit të një personi të caktuar.

Mënyra se si janë strukturuar rrjetet nervore, ne tashmë... Këtu thjesht dua të theksoj se forca e rrjeteve nervore në krahasim me sistemet e tjera të mësimit të makinerive qëndron në natyrën e tyre shumështresore, por kjo nuk i bën ato diçka thelbësisht të ndryshme në mënyrën se si funksionojnë. Shtresimi me shumë shtresa ju lejon vërtet të gjeni veçori dhe varësi të përgjithshme shumë abstrakte në grupe komplekse funksionesh, si pikselët në një foto. Por është e rëndësishme të kuptohet se nga pikëpamja e parimeve të të mësuarit, një rrjet nervor nuk është rrënjësisht i ndryshëm nga një grup formulash konvencionale të regresionit linear, kështu që e njëjta metodë e zbritjes së gradientit funksionon mirë edhe këtu.

"Fuqia" e një rrjeti nervor qëndron në praninë e një shtrese të ndërmjetme neuronesh, të cilat kombinojnë në mënyrë të përmbledhur vlerat e shtresës hyrëse. Për shkak të kësaj, rrjetet nervore mund të gjejnë karakteristika shumë abstrakte në të dhënat që janë të vështira për t'u reduktuar në formula të thjeshta si një marrëdhënie lineare ose kuadratike.

Le të shpjegojmë me një shembull. Ne u vendosëm në një parashikim në të cilin pesha e një personi varet nga gjatësia dhe gjatësia e tij në kub, e cila shprehet me formulën y=k 1 x+k 2 x 3 +b. Me një shtrirje, por në fakt edhe një formulë e tillë mund të quhet një rrjet nervor. Në të, si në një rrjet të rregullt nervor, ekziston një shtresë e parë e "neuroneve", e cila është gjithashtu një shtresë karakteristikash: këto janë x dhe x 3 (epo, "neuroni i njësisë" që kemi parasysh dhe për të cilin koeficienti b është përgjegjës). Shtresa e sipërme, ose që rezulton, përfaqësohet nga një "neuron" y, domethënë pesha e parashikuar e personit. Dhe midis shtresave të para dhe të fundit të "neuroneve" ka lidhje, forca ose pesha e të cilave përcaktohet nga koeficientët k 1, k 2 dhe b. Trajnimi i këtij "rrjeti nervor" do të thotë thjesht gjetja e të njëjtëve koeficientë.

Dallimi i vetëm nga rrjetet nervore "të vërteta" këtu është se ne nuk kemi një shtresë të vetme të ndërmjetme (ose të fshehur) të neuroneve, detyra e të cilave është të kombinojë veçoritë hyrëse. Futja e shtresave të tilla ju lejon të mos shpikni varësi të mundshme midis veçorive ekzistuese "nga koka juaj", por të mbështeteni në kombinimet e tyre tashmë ekzistuese në rrjetin nervor. Për shembull, mosha dhe koha mesatare para televizorit mund të kenë një efekt sinergjik në peshën e një personi, por, duke pasur një rrjet nervor, nuk na kërkohet ta dimë këtë paraprakisht dhe ta fusim produktin e tyre në formulë. Në një rrjet nervor do të ketë patjetër një neuron që kombinon ndikimin e çdo dy tiparesh, dhe nëse ky ndikim është vërtet i dukshëm në mostër, atëherë pas trajnimit ky neuron do të marrë automatikisht një peshë të madhe.

Zbritja me gradient

Pra, ne kemi një grup shembujsh trajnimi me të dhëna të njohura, domethënë një tabelë me peshën e një personi të matur me saktësi, dhe disa hipoteza të marrëdhënies, në këtë rast regresion linear y=kx+b. Detyra jonë është të gjejmë vlerat e sakta të k dhe b, jo manualisht, por automatikisht. Dhe mundësisht, një metodë universale që nuk varet nga numri i parametrave të përfshirë në formulë.

Në përgjithësi, kjo nuk është e vështirë për t'u bërë. Ideja kryesore është të krijohet një funksion që do të masë nivelin aktual të gabimit total dhe do të "rregullojë" koeficientët në mënyrë që niveli total i gabimit të bjerë gradualisht. Si mund të bëj uljen e nivelit të gabimit? Ne duhet t'i rregullojmë parametrat tanë në drejtimin e duhur.

Imagjinoni dy parametrat tanë që po kërkojmë, të njëjtat k dhe b, si dy drejtime në një plan, si boshtet veri-jug dhe perëndim-lindje. Çdo pikë në një plan të tillë do të korrespondojë me një vlerë të caktuar të koeficientëve, një marrëdhënie të caktuar specifike midis lartësisë dhe peshës. Dhe për secilën pikë të tillë në aeroplan, ne mund të llogarisim nivelin total të gabimit që jep ky parashikim për secilin nga shembujt në kampionin tonë.

Rezulton diçka si një lartësi specifike në një aeroplan, dhe e gjithë hapësira përreth fillon të ngjajë me një peizazh malor. Malet janë pika ku shkalla e gabimit është shumë e lartë, luginat janë vende ku ka më pak gabime. Është e qartë se trajnimi i sistemit tonë nënkupton gjetjen e pikës më të ulët në tokë, pikën ku shkalla e gabimit është minimale.

Si mund ta gjeni këtë pikë? Mënyra më e saktë është të lëvizim gjatë gjithë kohës poshtë nga pika ku e gjetëm veten fillimisht. Pra, herët a vonë do të arrijmë në një minimum lokal - një pikë nën të cilën nuk ka asgjë në afërsi. Për më tepër, këshillohet të ndërmerrni hapa të madhësive të ndryshme: kur pjerrësia është e pjerrët, mund të bëni hapa më të gjerë; kur pjerrësia është e vogël, është më mirë të ngjiteni në minimumin lokal "në majë të gishtave", përndryshe mund të kapërceni.

Kjo është saktësisht se si funksionon metoda e zbritjes së gradientit: ne ndryshojmë peshat e veçorive në drejtim të rënies më të madhe të funksionit të gabimit. Ne i ndryshojmë ato në mënyrë të përsëritur, domethënë me një hap të caktuar, vlera e të cilit është në përpjesëtim me pjerrësinë e pjerrësisë. Ajo që është interesante është se kur numri i veçorive rritet (duke shtuar një kub të gjatësisë së një personi, moshës së tij, madhësisë së këpucëve, e kështu me radhë), në thelb asgjë nuk ndryshon, thjesht peizazhi ynë bëhet jo dydimensional, por shumëdimensional.

Funksioni i gabimit mund të përkufizohet si shuma e katrorëve të të gjitha devijimeve që lejon formula aktuale për njerëzit peshën e të cilëve ne tashmë e dimë saktësisht. Le të marrim disa ndryshore të rastësishme k dhe b, për shembull 0 dhe 50. Atëherë sistemi do të na parashikojë se pesha e secilit person në kampion është gjithmonë e barabartë me 50 kilogramë y=0×x+50 Në grafik, një varësia do të duket si një vijë e drejtë paralele me horizontalen. Është e qartë se ky nuk është një parashikim shumë i mirë. Tani le të marrim devijimin në peshë nga kjo vlerë e parashikuar, ta katrorojmë (në mënyrë që të merren parasysh edhe vlerat negative) dhe ta përmbledhim - ky do të jetë gabimi në këtë pikë. Nëse jeni njohur me fillimet e analizës, atëherë madje mund të sqaroni se drejtimi i rënies më të madhe jepet nga derivati ​​i pjesshëm i funksionit të gabimit në lidhje me k dhe b, dhe hapi është një vlerë që zgjidhet për arsye praktike: hapat e vegjël kërkojnë shumë kohë për t'u llogaritur, dhe ato të mëdha mund të çojnë në faktin se ne do të kalojmë minimumin.

Mirë, po sikur të mos kemi thjesht një regresion kompleks me shumë veçori, por një rrjet të vërtetë nervor? Si të aplikojmë zbritjen gradient në këtë rast? Rezulton se zbritja e gradientit funksionon saktësisht në të njëjtën mënyrë me një rrjet nervor, vetëm trajnimi ndodh 1) hap pas hapi, nga shtresa në shtresë dhe 2) gradualisht, nga një shembull në mostër në tjetrin. Metoda e përdorur këtu quhet përhapje prapa dhe u përshkrua në mënyrë të pavarur në 1974 nga matematikani sovjetik Alexander Galushkin dhe matematikani i Universitetit të Harvardit, Paul John Webros.

Megjithëse për një paraqitje strikte të algoritmit do të jetë e nevojshme të shkruani derivatet e pjesshme (si, për shembull), në një nivel intuitiv gjithçka ndodh mjaft thjesht: për secilin nga shembujt në mostër, ne kemi një parashikim të caktuar në dalje. të rrjetit nervor. Duke pasur përgjigjen e saktë, ne mund të zbresim përgjigjen e saktë nga parashikimi dhe kështu të marrim një gabim (më saktë, një grup gabimesh për çdo neuron të shtresës dalëse). Tani duhet ta transferojmë këtë gabim në shtresën e mëparshme të neuroneve, dhe sa më shumë që ky neuron i veçantë i kësaj shtrese kontribuoi në gabim, aq më shumë duhet të zvogëlojmë peshën e tij (në fakt, ne përsëri po flasim për marrjen e derivatit të pjesshëm, rreth lëvizjes përgjatë pjerrësisë maksimale të peizazhit tonë imagjinar). Kur ta kemi bërë këtë, e njëjta procedurë duhet të përsëritet për shtresën tjetër, duke lëvizur në drejtim të kundërt, pra nga dalja e rrjetit nervor në hyrje.

Duke kaluar përmes rrjetit nervor në këtë mënyrë me çdo shembull të kampionit të trajnimit dhe duke "përdredhur" peshat e neuroneve në drejtimin e dëshiruar, ne përfundimisht duhet të marrim një rrjet nervor të trajnuar. Metoda e përhapjes së pasme është një modifikim i thjeshtë i metodës së zbritjes së gradientit për rrjetet nervore me shumë shtresa dhe për këtë arsye duhet të funksionojë për rrjetet nervore të çdo kompleksiteti. Ne themi "duhet" këtu sepse në fakt ka raste kur zbritja e gradientit dështon dhe nuk ju lejon të bëni një regresion të mirë ose të trajnoni një rrjet nervor. Mund të jetë e dobishme të dini pse lindin vështirësi të tilla.

Vështirësitë e zbritjes së gradientit

Zgjedhja e gabuar e minimumit absolut. Metoda e zbritjes me gradient ndihmon në kërkimin e një ekstremi lokal. Por ne nuk mund ta përdorim gjithmonë atë për të arritur minimumin ose maksimumin absolut global të funksionit. Kjo ndodh sepse kur lëvizim përgjatë një antigradient, ne ndalemi në momentin kur arrijmë minimumin e parë lokal që hasim dhe algoritmi ndalon së punuari.

Imagjinoni sikur jeni duke qëndruar në majë të një mali. Nëse dëshironi të zbrisni në sipërfaqen më të ulët në zonë, metoda e zbritjes me gradient nuk do t'ju ndihmojë gjithmonë, sepse pika e parë e ulët në rrugën tuaj nuk do të jetë domosdoshmërisht pika më e ulët. Dhe nëse në jetë jeni në gjendje të shihni se nëse ngjiteni pak dhe pastaj mund të shkoni edhe më poshtë, atëherë algoritmi në një situatë të tillë thjesht do të ndalet. Shpesh kjo situatë mund të shmanget nëse zgjidhni hapin e duhur.

Zgjedhja e gabuar e hapit. Metoda e zbritjes së gradientit është një metodë përsëritëse. Kjo do të thotë, ne vetë duhet të zgjedhim madhësinë e hapit - shpejtësinë me të cilën zbresim. Duke zgjedhur një hap që është shumë i madh, ne mund të kalojmë ekstremin që na nevojitet dhe të mos gjejmë minimumin. Kjo mund të ndodhë nëse e gjeni veten përballë një zbritjeje shumë të mprehtë. Dhe zgjedhja e një hapi që është shumë i vogël rrezikon ta bëjë algoritmin jashtëzakonisht të ngadalshëm nëse e gjejmë veten në një sipërfaqe relativisht të sheshtë. Nëse përsëri imagjinojmë se jemi në majë të një mali të pjerrët, atëherë mund të lindë një situatë ku, për shkak të një zbritjeje shumë të pjerrët afër minimumit, thjesht fluturojmë mbi të.

Paraliza e rrjetit. Ndonjëherë ndodh që metoda e zbritjes së gradientit nuk arrin të gjejë fare një minimum. Kjo mund të ndodhë nëse ka zona të sheshta në të dy anët e minimumit - algoritmi, kur godet një zonë të sheshtë, zvogëlon hapin dhe përfundimisht ndalon. Nëse jeni duke qëndruar në majë të një mali dhe vendosni të lëvizni drejt shtëpisë tuaj në ultësira, udhëtimi mund të jetë shumë i gjatë nëse aksidentalisht endeni në një zonë shumë të sheshtë. Ose, nëse ka "pjerrësi" pothuajse vertikale përgjatë skajeve të zonave të sheshta, algoritmi, pasi ka zgjedhur një hap shumë të madh, do të kërcejë nga një shpat në tjetrin, praktikisht duke mos lëvizur drejt minimumit.

Të gjitha këto çështje komplekse duhet të merren parasysh gjatë dizajnimit të një sistemi të mësimit të makinerive. Për shembull, është gjithmonë e dobishme të gjurmoni saktësisht se si funksioni i gabimit ndryshon me kalimin e kohës - a bie ai me çdo cikël të ri ose kohë të shënuar, si ndryshon natyra e kësaj rënie në varësi të ndryshimit në madhësinë e hapit. Për të shmangur rënien në një minimum të keq lokal, mund të jetë e dobishme të filloni nga pika të ndryshme të zgjedhura rastësisht të peizazhit - atëherë gjasat për të ngecur janë shumë më të ulëta. Ka shumë më tepër sekrete të mëdha dhe të vogla të përdorimit të zbritjes me gradient, dhe ka gjithashtu mënyra më ekzotike të të mësuarit që janë paksa të ngjashme me zbritjen me gradient. Megjithatë, kjo është një temë për një bisedë tjetër dhe një artikull më vete në kuadër të projektit ABC of AI.

Përgatitur nga Aleksandër Ershov

- A mund të përdorni një shembull krejtësisht primitiv për të na treguar se si funksionon mësimi i makinerive?

Mund. Ekziston një shembull i një teknike të mësimit të makinerive të quajtur Pema e Vendimit, e cila është një nga gjërat më të vjetra. Le ta bëjmë tani. Le të themi se një person abstrakt ju kërkon të dilni në një takim. Çfarë është e rëndësishme për ju?

- Para së gjithash, nëse e njoh apo jo...

(Victor e shkruan këtë në tabelë.)

...Nëse nuk e di, atëherë më duhet t'i përgjigjem pyetjes nëse ai është tërheqës apo jo.

Dhe nëse e dini, atëherë nuk ka rëndësi? Unë mendoj se e kuptoj, kjo është tema e zonës së miqve! Në përgjithësi, po shkruaj, nëse nuk e dini dhe nuk është tërheqëse, atëherë përgjigjja është "jo, ndoshta". Nëse e dini, përgjigjja është "po".

- Nëse e di, kjo është gjithashtu e rëndësishme!

Jo, kjo do të jetë një degë e zonës së miqve.

Mirë, atëherë le të tregojmë këtu nëse është interesante apo jo. Megjithatë, kur nuk njeh një person, reagimi i parë është ndaj pamjes së jashtme; me një të njohur, ne tashmë shikojmë se çfarë mendon dhe si ai.

Le ta bëjmë ndryshe. Pavarësisht nëse ai është ambicioz apo jo. Nëse ai është ambicioz, do ta ketë të vështirë ta miqësoni, sepse do të dëshirojë më shumë. Por joambiciozët do të durojnë.

(Victor përfundon vizatimin e pemës vendimtare.)

Gati. Tani mund të parashikoni se me cilin djalë keni më shumë gjasa të dilni në një takim. Nga rruga, disa shërbime takimesh parashikojnë gjëra të tilla. Për analogji, ju mund të parashikoni se sa mallra do të blejnë klientët dhe ku do të jenë njerëzit në atë kohë të ditës.

Përgjigjet mund të jenë jo vetëm "po" dhe "jo", por edhe në formën e numrave. Nëse dëshironi një parashikim më të saktë, mund të bëni disa pemë të tilla dhe t'i mesatarizoni ato. Dhe me ndihmën e një gjëje kaq të thjeshtë mund të parashikoni të ardhmen.

Tani imagjinoni, a ishte e vështirë për njerëzit të krijonin një skemë të tillë dyqind vjet më parë? Absolutisht jo! Kjo skemë nuk mbart asnjë shkencë raketore. Si fenomen, mësimi i makinerive ekziston për rreth gjysmë shekulli. Ronald Fisher filloi të bënte parashikime të bazuara në të dhëna në fillim të shekullit të 20-të. Mori irise dhe i shpërndau sipas gjatësisë dhe gjerësisë së sepaleve dhe petaleve, duke përdorur këto parametra përcaktoi llojin e bimës.

Në industri, mësimi i makinerive është përdorur në mënyrë aktive në dekadat e fundit: makina të fuqishme dhe relativisht të lira që nevojiten për të përpunuar sasi të mëdha të dhënash, për shembull, për pemë vendimesh të tilla, janë shfaqur jo shumë kohë më parë. Por është ende emocionuese: ne i vizatojmë këto gjëra për çdo detyrë dhe i përdorim ato për të parashikuar të ardhmen.

- Epo, definitivisht jo më mirë se çdo parashikues oktapod i ndeshjeve të futbollit...

Jo, çfarë na interesojnë oktapodët? Edhe pse kemi më shumë ndryshueshmëri. Tani, me ndihmën e mësimit të makinerive, mund të kurseni kohë, para dhe të përmirësoni komoditetin e jetës. Mësimi i makinerive mundi njerëzit disa vite më parë kur bëhet fjalë për klasifikimin e imazheve. Për shembull, një kompjuter mund të njohë 20 raca terrier, por një person i zakonshëm nuk mundet.

- Dhe kur analizoni përdoruesit, a është secili person një grup numrash për ju?

Përafërsisht, po. Kur punojmë me të dhëna, të gjitha objektet, duke përfshirë sjelljen e përdoruesit, përshkruhen nga një grup i caktuar numrash. Dhe këto shifra pasqyrojnë karakteristikat e sjelljes së njerëzve: sa shpesh marrin një taksi, çfarë klase taksie përdorin, në cilat vende shkojnë zakonisht.

Tani po ndërtojmë në mënyrë aktive modele të ngjashme për t'i përdorur ato për të identifikuar grupe njerëzish me sjellje të ngjashme. Kur prezantojmë një shërbim të ri ose dëshirojmë të promovojmë një të vjetër, ua ofrojmë atë atyre që do të ishin të interesuar.

Për shembull, ne tani kemi një shërbim - dy vende për fëmijë në një taksi. Ne mund të dërgojmë mesazhe të padëshiruara për të gjithë me këtë lajm, ose mund t'i informojmë në mënyrë specifike vetëm një rreth të caktuar njerëzish. Gjatë vitit, ne kemi grumbulluar një numër përdoruesish që shkruan në komente se u duheshin dy ndenjëse për fëmijë. Ne i gjetëm ata dhe njerëz të ngjashëm me ta. Në mënyrë konvencionale, këta janë persona mbi 30 vjeç që udhëtojnë rregullisht dhe e duan kuzhinën mesdhetare. Edhe pse, sigurisht, ka shumë më tepër shenja, ky është vetëm një shembull.

- Edhe hollësi të tilla?

Kjo është një çështje e thjeshtë. Gjithçka llogaritet duke përdorur pyetjet e kërkimit.

A mund të funksionojë kjo disi në një aplikacion? Për shembull, a e dini se unë jam një lypës dhe pajtohem në grupe si "Si të mbijetosh me 500 rubla në muaj" - ata më ofrojnë vetëm makina të lira, abonohen në lajmet e SpaceX - dhe herë pas here më shesin një Tesla?

Mund të funksionojë në këtë mënyrë, por gjëra të tilla nuk miratohen në Yandex, sepse është diskriminim. Kur personalizoni një shërbim, është më mirë të ofroni jo më të pranueshmen, por më të mirën e disponueshme dhe atë që i pëlqen personit. Dhe shpërndarja sipas logjikës “këtij i duhet një makinë më e mirë dhe ky ka nevojë për një më pak të mirë” është e keqe.

Të gjithë kanë dëshira të çoroditura, dhe ndonjëherë nuk duhet të gjesh një recetë për një pjatë mesdhetare, por, për shembull, fotografi për koprofilinë. A do të funksionojë akoma personalizimi në këtë rast?

Ekziston gjithmonë një modalitet privat.

Nëse nuk dua që dikush të dijë për interesat e mia ose, le të themi, miqtë vijnë tek unë dhe duan të shikojnë disa plehra, atëherë është më mirë të përdor modalitetin e fshehtë.

Ju gjithashtu mund të vendosni se cilën shërbim të kompanisë do të përdorni, për shembull, Yandex ose Google.

- A ka ndonjë ndryshim?

Çështje komplekse. Nuk di për të tjerët, por Yandex është i rreptë me mbrojtjen e të dhënave personale. Punonjësit monitorohen veçanërisht.

- Kjo do të thotë, nëse u ndava me një djalë, nuk do të mund të zbuloj nëse ai shkoi në këtë vilë apo jo?

Edhe nëse punoni në Yandex. Kjo është, natyrisht, e trishtueshme, por po, nuk ka asnjë mënyrë për ta zbuluar. Shumica e punonjësve nuk kanë as akses në këto të dhëna. Gjithçka është e koduar. Është e thjeshtë: nuk mund të spiunosh njerëzit, ky është informacion personal.

Nga rruga, ne patëm një rast interesant me temën e ndarjes me djemtë. Kur bëmë një parashikim për pikën "B" - pika e destinacionit në taksi, ne prezantuam sugjerime. Ja shikoni.

(Victor regjistrohet në aplikacionin Yandex.Taxi.)

Për shembull, taksi mendon se jam në shtëpi. Ai më sugjeron që të shkoj ose në punë ose në Universitetin RUDN (unë jap leksione atje si pjesë e kursit të mësimit të makinerive Miningja e të dhënave në veprim). Dhe në një moment, ndërsa zhvillonim këto këshilla, kuptuam se duhej të shmangnim kompromentimin e përdoruesit. Çdokush mund të shohë pikën B. Për këto arsye, ne refuzuam të sugjeronim vende bazuar në ngjashmëri. Përndryshe, ulesh në një vend të mirë me njerëz të mirë, porosit një taksi dhe ata të shkruajnë: "Shiko, nuk ke qenë akoma në këtë lokal!"

- Cilat janë ato pika blu që vezullojnë në hartën tuaj?

Këto janë pika të marrjes. Këto pika tregojnë se ku është më e përshtatshme për të thirrur një taksi. Në fund të fundit, mund të telefononi në një vend ku do të ishte krejtësisht e papërshtatshme të shkoni. Por në përgjithësi, ju mund të telefononi kudo.

- Po, në çdo kohë. Unë disi fluturova dy blloqe me këtë.

Kohët e fundit ka pasur vështirësi të ndryshme me GPS, kjo ka çuar në situata të ndryshme qesharake. Njerëzit, për shembull, në Tverskaya, u transportuan me lundrim nëpër Oqeanin Paqësor. Siç mund ta shihni, ndonjëherë ka mungesa dhe më shumë se dy blloqe.

- Dhe nëse rinisni aplikacionin dhe klikoni përsëri, çmimi ndryshon me disa rubla. Pse?

Nëse kërkesa tejkalon ofertën, algoritmi gjeneron automatikisht një koeficient në rritje - kjo i ndihmon ata që duhet të largohen sa më shpejt që të jetë e mundur të përdorin një taksi, edhe gjatë periudhave me kërkesë të lartë. Nga rruga, me ndihmën e mësimit të makinerive mund të parashikoni se ku do të ketë kërkesë më të madhe, për shembull, në një orë. Kjo na ndihmon t'u tregojmë shoferëve se ku do të ketë më shumë porosi në mënyrë që oferta të përputhet me kërkesën.

- A nuk mendoni se Yandex.Taxi së shpejti do të vrasë të gjithë tregun e taksive?

Unë mendoj se jo. Ne jemi për konkurrencë të shëndetshme dhe nuk kemi frikë prej saj.

Për shembull, unë vetë përdor shërbime të ndryshme taksi. Koha e pritjes është e rëndësishme për mua, kështu që shikoj disa aplikacione për të parë se cila taksi do të arrijë më shpejt.

- Ju u bashkuat me Uber. Per cfare?

Nuk është vendi im të komentoj. Unë mendoj se bashkimi është një vendim thellësisht i arsyeshëm.

Në Gjermani, një djalë vendosi një vaskë në drone dhe fluturoi për të marrë një burger. A keni menduar se ka ardhur koha për të zotëruar hapësirën ajrore?

Nuk di për hapësirën ajrore. Ne po ndjekim lajmet si "Uber ka nisur taksitë në anije", por nuk mund të them asgjë për ajrin.

- Po taksitë që drejtojnë vetë?

Këtu ka një pikë interesante. Ne po i zhvillojmë ato, por duhet të mendojmë se si duhet të përdoren saktësisht. Është shumë herët për të parashikuar se në çfarë forme dhe kur do të dalin në rrugë, por ne po bëjmë gjithçka për të zhvilluar teknologjinë për një makinë plotësisht autonome, ku nuk do të nevojitet fare një shofer njerëzor.

- A ka frikë se softueri i dronit do të hakohet për të kontrolluar makinën nga distanca?

Ka rreziqe gjithmonë dhe kudo ku ka teknologji dhe pajisje. Por së bashku me zhvillimin e teknologjisë, po zhvillohet edhe një drejtim tjetër - mbrojtja dhe siguria e tyre. Të gjithë ata që janë të përfshirë në një mënyrë ose në një tjetër në zhvillimin e teknologjisë janë duke punuar në sistemet e sigurisë.

- Çfarë të dhënash përdoruesi grumbulloni dhe si i mbroni ato?

Ne mbledhim të dhëna anonime përdorimi, si p.sh. ku, kur dhe ku është bërë udhëtimi. Çdo gjë e rëndësishme është hash.

- A mendoni se numri i vendeve të punës do të ulet për shkak të dronëve?

Unë mendoj se vetëm do të bëhet më i madh. Megjithatë, këta dronë gjithashtu duhet të mirëmbahen disi. Kjo, sigurisht, është një situatë paksa stresuese, duke ndryshuar specialitetin tuaj, por çfarë mund të bëni?

- Në secilën prej leksioneve të tij, Gref thotë se një person do të ndryshojë profesionin e tij të paktën tre herë rrënjësisht.

Nuk mund të përmend ndonjë specialitet që do të zgjasë përgjithmonë. Një zhvillues nuk punon në të njëjtën gjuhë dhe me të njëjtat teknologji gjatë gjithë jetës së tij. Kudo duhet të rindërtojmë. Me mësimin e makinerive, unë mund të ndjej qartë se si djemtë që janë gjashtë vjet më të rinj se unë mund të mendojnë shumë më shpejt se unë. Në të njëjtën kohë, njerëzit në 40 ose 45 vjeç e ndjejnë këtë edhe më fort.

- Përvoja nuk luan më rol?

Duke luajtur. Por metodat ndryshojnë, mund të vini në një zonë ku, për shembull, mësimi i thellë nuk është përdorur, punoni atje për ca kohë, pastaj metodat e të mësuarit të thellë futen kudo dhe nuk kuptoni asgjë për këtë. Kjo eshte e gjitha. Përvoja juaj mund të jetë e dobishme vetëm në planifikimin e punës së ekipit, dhe madje edhe atëherë jo gjithmonë.

- Dhe profesioni juaj është shkencëtar i të dhënave, a është i kërkuar?

Kërkesa për specialistë të shkencës së të dhënave është thjesht jashtë grafikëve. Natyrisht, kjo është një periudhë e zhurmës së çmendur. Falë Zotit, blockchain ndihmoi që kjo zhurmë të ulet pak. Specialistët e Blockchain merren edhe më shpejt.

Por shumë kompani tani mendojnë se nëse investojnë para në mësimin e makinerive, kopshtet e tyre do të lulëzojnë menjëherë. Kjo eshte e gabuar. Mësimi i makinerisë duhet të zgjidhë probleme specifike, jo vetëm të ekzistojë.

Ka raste kur një bankë dëshiron të bëjë një sistem rekomandimi për shërbimet për përdoruesit. Ne pyesim: "A mendoni se kjo do të justifikohet ekonomikisht?" Ata përgjigjen: “Nuk na intereson. Beje. Të gjithë kanë sisteme rekomandimi, ne do të jemi në trend.”

Dhimbja është se diçka vërtet e dobishme për biznesin nuk mund të bëhet brenda një dite. Ne duhet të shikojmë se si do të mësojë sistemi. Por gjithmonë bën gabime në fillim; mund t'i mungojnë disa të dhëna gjatë stërvitjes. Ju korrigjoni gabimet, pastaj korrigjoni ato përsëri dhe madje ribëni gjithçka. Pas kësaj, ju duhet të konfiguroni sistemin në mënyrë që të funksionojë në prodhim, në mënyrë që të jetë i qëndrueshëm dhe i shkallëzuar, kjo është ende koha. Si rezultat, një projekt merr gjashtë muaj, një vit ose më shumë.

Nëse i shikoni metodat e mësimit të makinerive si një kuti e zezë, mund të humbisni lehtësisht kur fillojnë të ndodhin disa gjëra të çmendura. Ka një histori me mjekër. Ushtria kërkoi të zhvillonte një algoritëm që mund të përdoret për të analizuar nëse ka një tank në foto apo jo. Studiuesit e bënë, e testuan, cilësia është e shkëlqyer, gjithçka është e shkëlqyer, ia dhanë ushtarakëve. Ushtria vjen dhe thotë se asgjë nuk funksionon. Shkencëtarët kanë filluar të kuptojnë me nervozizëm. Rezulton se në të gjitha fotografitë me tankun që sollën ushtarakët, një rriqër ishte vendosur në qoshe me një stilolaps. Algoritmi mësoi në mënyrë të përsosur të gjente pikën e kontrollit; ai nuk dinte asgjë për rezervuarin. Natyrisht, nuk kishte asnjë pikë kontrolli në fotografitë e reja.

Kam takuar fëmijë që zhvillojnë sistemet e tyre të dialogut. A keni menduar ndonjëherë se keni nevojë të bashkëpunoni me fëmijët?

Unë kam qenë duke shkuar në të gjitha llojet e ngjarjeve për nxënësit e shkollave për një kohë të gjatë, duke dhënë leksione për mësimin e makinerive. Dhe, meqë ra fjala, një nga temat ma mësoi një nxënës i klasës së dhjetë. Isha absolutisht i sigurt se historia ime do të ishte e mirë dhe interesante, isha krenare për veten time, fillova të transmetoja dhe vajza tha: "Oh, ne duam ta minimizojmë këtë gjë". Unë shikoj dhe mendoj, me të vërtetë, pse, dhe e vërteta mund të minimizohet, dhe nuk ka asgjë të veçantë për të provuar këtu. Tashmë kanë kaluar disa vite, tani ajo dëgjon leksionet tona si studente në Institutin e Fizikës dhe Teknologjisë. Yandex, meqë ra fjala, ka Yandex.Lyceum, ku nxënësit e shkollës mund të marrin falas njohuritë bazë të programimit.

- Rekomandoni universitetet dhe fakultetet ku aktualisht mësohet mësimi i makinerive.

Ka MIPT, fakultetet e FIVT dhe FUPM. HSE gjithashtu ka një departament të mrekullueshëm të shkencave kompjuterike, dhe në Universitetin Shtetëror të Moskës ka mësimin e makinerive në kompleksin e shkencave kompjuterike. Epo, tani mund të dëgjoni kursin tonë në Universitetin RUDN.

Siç thashë tashmë, ky profesion është në kërkesë. Për një kohë shumë të gjatë, njerëzit që morën arsim teknik bënë gjëra krejtësisht të ndryshme. Mësimi i makinerive është një shembull i mrekullueshëm kur të gjitha gjërat që mësojnë njerëzit me arsim teknik tani nevojiten drejtpërdrejt, të dobishme dhe të paguara mirë.

- Sa e mirë?

Emërtoni shumën.

- 500 mijë në muaj.

Ju mundeni, thjesht pa qenë një shkencëtar i zakonshëm i të dhënave. Por në disa kompani, një praktikant mund të fitojë 50 mijë për punë të thjeshtë.Ka një gamë shumë të gjerë. Në përgjithësi, paga e një shkencëtari të lezetshëm të të dhënave mund të krahasohet me pagën e drejtorit ekzekutiv të një kompanie të mesme. Në shumë kompani, përveç pagës, punonjësi ka edhe shumë përfitime të tjera, dhe nëse është e qartë se personi nuk ka ardhur për të shtuar një markë të mirë në CV, por për të punuar realisht, atëherë gjithçka do të jetë në rregull për të.

Pothuajse një vit ka kaluar nga momenti kur në FIVT filloi një lëndë e pazakontë – një seminar inovativ. Thelbi i tij është krijimi i startupeve të IT nga ekipet studentore nën drejtimin e mentorëve me përvojë. Doli mirë: falë kursit, dikush kaloi një pjesë të verës në Cream Valley, dikush mori një grant në shumën prej 800,000 rubla për zhvillimin e projektit, dhe ABBYY është gati të blejë plotësisht projektin nga dikush. Dhe këto nuk janë të gjitha rezultatet e seminarit!

Në fillim të vitit 2011, studentët e vitit të tretë të FIVT u mblodhën në sallën e Kuvendit dhe u thanë: gjatë vitit të ardhshëm do t'ju duhet të krijoni startup-in tuaj. Studentët nuk e pranuan këtë ide në mënyrë të paqartë: nuk ishte fare e qartë se si ta bënin atë, dhe përgjegjësia ishte e pazakontë - në fund të fundit, ishte e nevojshme të krijohej një biznes teknologjik, dhe jo vetëm një projekt tjetër arsimor. Ja çfarë mendon për këtë fituesi i Olimpiadës Studentore të MIPT-së në fizikë, studenti i departamentit Yandeska, Viktor Kantor:

Kur zgjodha FIVT pas pranimit, shpresoja se do të kishim diçka të ngjashme. Ndaj më vjen mirë që shpresat e mia nuk ishin të kota. Gjatë vitit, u ndje se kursi ishte ende duke u formuar, kishte shumë gjëra të reja në të, shumë çështje rezultuan të diskutueshme jo vetëm për studentët, por edhe për organizatorët, por në përgjithësi, mendoj se tendencat janë pozitive. Më pëlqeu ky kurs.

Për të lehtësuar punën e studentëve, kuratorë të ndryshëm u ftuan për të ofruar idetë e tyre për ndërtimin e bizneseve inovative. Midis tyre kishte njerëz krejtësisht të ndryshëm: nga studentë universitarë dhe të diplomuar të MIPT-së deri te këshilltari i inovacionit të Ernst&Young Yuri Pavlovich Ammosov (ai ishte drejtuesi i të gjithë kursit) dhe Mikhail Batin, i cili merret me mjekësinë rigjeneruese dhe çështjet e zgjatjes së jetës. Si rezultat, studentët e fizikës dhe teknologjisë zgjodhën idetë që ishin më interesante për ta, kuratorët iu bashkuan ekipeve dhe filloi puna e vështirë, por emocionuese.

Në gati një vit që ka kaluar nga ajo kohë, djemtë janë përballur me shumë probleme, disa prej të cilave janë zgjidhur. Tani mund të vlerësojmë rezultatet e tyre - megjithë vështirësitë, djemtë u përballën. Studentët e MIPT-së (përveç Fakultetit Filozofik, procesit iu bashkuan edhe disa studentë nga Fakulteti Filologjik dhe fakultete të tjera) arritën të përgatisin disa projekte mjaft interesante dhe të realizueshme:

Askeroid (më parë Pyet Droid) - kërkoni për telefonat inteligjentë ( Anastasia Uryasheva)

Një aplikacion Android që ju lejon të kërkoni me lehtësi në një numër të madh motorësh kërkimi. Disa ekspertë treguan interes për zhvillimin, dhe si rezultat, Anastasia kaloi gjithë verën e kaluar në një nga inkubatorët më të famshëm në Silicon Valley - Plug&Play. duke mësuar bazat e sipërmarrjes teknologjike dhe duke folur me ekspertë ndërkombëtarë të sipërmarrjes.

1minute.ru – një minutë për të mirë (Lev Grunin)

Ky projekt i jep mundësinë kujtdo që të bëjë punë bamirësie thjesht, shpejt dhe plotësisht pa pagesë. Modeli është i thjeshtë: reklamuesit ofrojnë një grup të caktuar aktivitetesh në faqe, përdoruesit marrin pjesë vullnetarisht në to dhe të gjitha paratë nga reklamat transferohen në një fondacion bamirësie. Brenda një jave nga fillimi i tij, projekti mblodhi më shumë se 6500 përdorues dhe nuk do të ndalet me kaq. Si rezultat, falë Levit dhe ekipit të tij, 600 fëmijë nga jetimoret do të marrin dhurata të dashura nga Santa Claus për Vitin e Ri. A keni shpenzuar tashmë një minutë për një vepër të mirë?!

Desktop i integruar - një kompjuter në telefonin tuaj (Alexey Vukolov)

Një aplikacion që ju lejon të kombinoni aftësitë e një kompjuteri dhe lëvizshmërinë e një telefoni në një paketë - një produkt jashtëzakonisht i dobishëm për njerëzit e zënë që shpesh udhëtojnë në udhëtime pune. Mjafton ta instaloni atë në një smartphone, dhe përdoruesi do të jetë në gjendje të "merr" kompjuterin e tij në çdo hotel, zyrë dhe në të vërtetë kudo ku mund të gjejë një monitor (një televizor është gjithashtu i përshtatshëm), një tastierë dhe një miun. Projekti mori një grant për zhvillimin e idesë dhe u prezantua në ekspozitën Technovation Cup, dhe me paratë e marra, ekipi tashmë po blen në mënyrë aktive pajisje. Prodhuesi amerikan i procesorëve MIPS është jashtëzakonisht i interesuar për zhvillimin.

Smart Tagger – kërkim semantik përmes dokumenteve (Victor Kantor)

Çfarë duhet të bëni nëse kujtoni se diku në kutinë tuaj postare kishte një letër shumë të rëndësishme që fliste për episodin e fundit të Big Bang Theory, por nuk mbani mend asnjë fjalë kyçe nga teksti? Yandex dhe kërkimi Google janë të pafuqishëm. Zhvillimi i Smart Tagger do të vijë në shpëtim - një program "i zgjuar" që përdor kërkimin semantik do t'ju japë të gjitha tekstet, kuptimi i të cilave është i ndërthurur me serialet e njohura televizive. Projekti fitoi një grant në konkursin U.M.N.I.K. në total 400,000 rubla!

MathOcr – njohja e formulës (Viktor Prun)

ABBYY propozoi një detyrë interesante për zbatim - krijimin e një programi që do të njihte formula matematikore të çdo kompleksiteti. Studentët e FIVT-së, pasi kanë bashkëpunuar me studentët e interesuar, kanë përfunduar detyrën - moduli në të vërtetë njeh formulat e skanuara nga tekstet shkollore të matematikës ose fizikës. Rezultati: ABBYY është gati ta blejë këtë produkt për shumë para.