Tekoälyllä toimivat robotit oppivat ihmisen huulten liikkeen

Columbian insinöörit ovat luoneet robotin, joka pystyy matkimaan ja oppimaan ihmisen huulten liikkeitä puheen aikana. Päivitetty muotoilu yhdistää edistyneen robotiikan tekoälyyn, minkä ansiosta laite – nimeltään Emo – voi oppia tarkkailemalla ihmisten ilmeitä ja jäljitellä ihmisten tunteita tarvittaessa. Tässä on mitä sinun tulee tietää.

Miksi humanoidirobotit laukaisevat Outon laakson

Robotiikan alkuajoista lähtien on pyritty luomaan humanoidirobotteja. Tämä tehtävä on paljon helpommin sanottu kuin tehty, sillä robotti-insinöörit ovat jatkuvasti edistyneet tähän suuntaan, mutta eivät ole koskaan täysin saavuttaneet tavoitettaan luoda laitetta, joka näyttää ja tuntuu oikealta ihmiseltä.

Jokainen, joka on ollut tekemisissä edes kaikkein perustavimpien humanoidirobottien kanssa, voi todistaa, kuinka levotonta laitteet aiheuttavat kyvyssään sulautua ihmisjoukkoon. Pienimmätkin epätarkkuudet, kuten luonnottomat silmänliikkeet tai ilmeet, voivat luoda tällaisen tunteen tarkkailijoissa.

Uncanny Valley

Japanilainen robotiikan asiantuntija Masahiro Mori huomasi tämän ilmiön 1970-luvulla. Nykyään kuuluisassa teoksessaan ”Bukimi no Tani Gensho” (Valley of Eeriness) -esseessään hän käsittelee konseptia yksityiskohtaisesti. Artikkelissa kuvataan, kuinka humanoidirobotit ajautuvat aina jyrkkään yhteyden katkaisemiseen tarkkailijoihinsa hienovaraisten puutteiden vuoksi.

Vuonna 1978 termi levisi länsimaisiin tiedepiireihin Jasia Reichardtin kirjan "Robotit: faktaa, fiktiota ja ennustusta”, joka käänsi termin nykyään yleiseen käyttöön, ”oudon laakson”. Tämä teos pohjautuu Morin pohdintaan, jossa kuvataan, kuinka pienimmätkin erot voivat aiheuttaa kielteisiä reaktioita tarkkailijan yhteydessä.

Ihmiskasvot ovat yhtälön vaikein osa

Viime vuosikymmenten aikana on saavutettu useita virstanpylväitä humanoidirobottien kehittämisessä. Uusi teknologia, kuten oikeustieteen maisteriohjelmat (LLM), mahdollistaa näiden laitteiden kommunikoinnin luonnollisen kielen avulla, mikä auttaa kuromaan umpeen kuilua. Yksi suurimmista alueista, joka vaatii edelleen paljon huomiota, on kuitenkin ihmiskasvot.

Ihmisen kasvot ovat monimutkainen kudosten, hermojen ja lihasten yhdistelmä, joka kykenee ilmaisemaan tuhansia erilaisia ​​ilmeitä, joista monet auttavat välittämään tunteita muille. Tällä tavoin kasvoja pidetään perimmäisenä viestintävälineenä.

Robotiikkainsinöörit ovat jo pitkään tunnustaneet ihmisen tavoin toimivien robottikasvojen luomisen tärkeyden ja vaikeuden. Vuosien kovan työn tuloksena robotit ovat onnistuneet luomaan ihmisen näköisiä kasvoja, joissa on iho ja ilmeet. Miljardien tutkimustulosten ansiosta yhteyttä näiden kahden välillä ei kuitenkaan vieläkään ole.

Pyyhkäise vierittääksesi →

Huulten merkitys viestinnässä

Robotiikan asiantuntijat ovat jatkuvasti törmänneet yhteen merkittävään ongelmaan luodessaan humanoidilaitteita – huulten liikettä on lähes mahdotonta toistaa. Huulet tekevät muutakin kuin ohjaavat äänesi ääntä ja auttavat sinua lausumaan sanoja.

Huulet itse asiassa ilmaisevat tunteita hienovaraisemmalla tasolla, mikä on vuosituhansien evoluution aikana tullut elintärkeäksi ihmisen kommunikaatiossa. Huomionarvoista on, että huulten liikkeet ovat yksi kasvojesi keskittyneimmistä piirteistä keskustelujen aikana. Näin ollen aivosi käyttävät enemmän ajatteluvoimaa näihin eleisiin kuin muihin toimiin, kuten otsan rutistamiseen tai silmäniskuihin.

Robottien huulet näyttävät luonnottomilta

Vaikka robotit ovat oppineet näyttämään lähes ihmisiltä, ​​niiden huulten ilmeet ovat edelleen puutteelliset. Vuosikymmenten tutkimus on osoittanut, ettei ole olemassa teknologiaa, jolla saavutettaisiin realistisen käyttäytymisen luomiseen tarvittava huulten ja äänen synkronointi. Tästä syystä robottien keskustelut näyttävät aina olevan jälkiäänitettyjä eivätkä puhuttuja. Tämä jälkiäänitysvaikutus saa nämä laitteet näyttämään kömpelöiltä ja elottomilta.

Ihmiskasvot perustuvat toki kymmeniin lihaksiin emotionaalisten reaktioiden luomisessa, ja robottien huulilla ei ole vielä tätä monimutkaisuuden tasoa. Tämän monimutkaisuustason saavuttaminen vaatisi uudenlaista suunnittelua. Lisäksi suurin osa robottien huulten liikkeistä on ennalta määriteltyjä liikkeitä, jotka on asetettu vastaamaan tiettyjä äänilähetyksiä, eivätkä liikkeitä, jotka on suunniteltu luomaan sana luonnollisesti. Koska robotit eivät itse asiassa tuota ääntä huulillaan, liikkeet vaikuttavat luonnottomilta ja omituisilta.

Columbian tutkimus: Opettaa roboteille realistista huulten liikettä

Onneksi Columbian insinööritiimi on ehkä keksinyt, miten ylitetään tuo outo laakso.Realististen huuliliikkeiden oppiminen humanoidikasvoisille roboteille¹” -tutkimuksessa esitellään uudentyyppinen robottimainen kasvomalli, joka keskittyy ensisijaisesti huulten liikkeeseen ja synkronointiin.

Erikoistunut laitteisto

Yksi suurimmista haasteista, jotka tiimin oli voitettava, oli nykyisten robottikasvojen jäykkyys. Vaikka on kehitetty monia uusia malleja, jotka mahdollistavat moottorikäyttöiset reaktiot kasvoissa, mikään ei pysty tukemaan realististen huulten liikkeiden edellyttämää monimutkaisuutta.

Tämän rajoituksen voittamiseksi insinöörit käyttivät tarkoitukseen rakennettuja silikonihuulia, jotka oli suunniteltu maksimaalisen ilmeen saavuttamiseksi. Sitten he upottivat laitteeseen 26 kasvomoottoria, kasvojen toimintamuuntajan ja variaatioautoenkooderin (VAE).

Visiosta toimintaan (VLA)

Tämän teknologisen läpimurron ytimessä on visiosta toimintaan -tekoälymalli. Tämän mallin avulla robottimainen kasvo voi itsenäisesti luoda realistisia huulia, jotka eivät ole riippuvaisia ​​ennalta määritellyistä mekaanisista asetuksista liikkuakseen.

Mallin luomiseksi tiimi käytti havainnointiin perustuvia oppimismenetelmiä. Tämän tyyppinen ohjelmointi mahdollistaa laitteen määrittää huulten tarkan dynamiikan puheen aikana reaaliajassa. Ensimmäinen askel oli siis syöttää algoritmi itseohjautuvaan oppimisprosessiin.

Tässä vaiheessa insinöörien piti asettaa robotin kasvot peilin eteen ja käskeä sitä luomaan tuhansia kasvoja. Tämän toiminnan ansiosta algoritmi pystyi tallentamaan robotin ilmeominaisuudet. Sen jälkeen robotti katsoi tuntikausia YouTube-sisältöä.

Äänen ja huulten liikkeiden yhdistelmää seurattiin tarkasti ja käytettiin robotin kasvojen ja huulten tekoälyalgoritmin ohjelmointiin. Muutaman päivän aikana se oppi tarkalleen, miltä sen kasvojen tulisi näyttää ihmisen ilmeiden perusteella syöttöparametrien sijaan. Sitten insinöörit lisäsivät äänen ja aloittivat testauksen.

Kuinka Lip-Sync-tekoälyä testattiin eri kielillä

Tiimi testasi teoriaansa kymmenellä eri kielellä ja kielitieteellisessä kontekstissa. Testissä käytettiin malliin verrattuna täysin uusia kieliä, mikä varmisti, että sen oli laskettava oikeat ilmeet ja huulten liikkeet aiemmin opetettujen sanojen muistamisen sijaan. Mielenkiintoista kyllä, testissä käytettiin myös kontekstia ja lauluja.

Outojen robottien testitulokset

Testitulokset osoittivat visuaalisesti yhtenäistä huulten ja äänen synkronointia kautta linjan. Merkittävää oli, että algoritmipohjainen robotti tuotti realistisia huulten liikkeitä, jotka vastasivat tarkasti useita äänileikkeitä. Vaikuttavaa kyllä, se synkronoi huulten liikkeet onnistuneesti kymmenellä kielellä ja jopa lauloi kappaleen tekoälyn luomalta debyyttialbumiltaan. hei maailma_.

Merkillepantavaa on, että tiimi löysi tekniikasta joitakin rajoituksia. Ensinnäkin robotti ei pystynyt johdonmukaisesti toistamaan kovia huulten liikkeitä, jotka liittyivät sanoihin kuten "pop". Se kamppaili myös rypistyneiden sanojen, kuten "whistle", kanssa. Insinöörit huomauttivat, että nämä pienet epätäydellisyydet korjaantuvat algoritmin kehittyessä ajan myötä. Tämä itseoppiva ominaisuus on algoritmin paras puoli. Se paranee jatkuvasti, kun se kerää ajan myötä enemmän dataa ihmisiltä, ​​mikä avaa oven merkityksellisemmälle ihmisen ja koneen väliselle vuorovaikutukselle tulevaisuudessa.

Realistisen humanoidirobotiikan tärkeimmät edut

Tällä teknologialla on useita etuja markkinoille. Ensinnäkin se mahdollistaa ihmisten ja koneiden syvemmän yhteyden muodostamisen. Useimmat ihmiset eivät ole tietoisia siitä, kuinka paljon viestintää tapahtuu alitajuisesti ilmeiden kautta.

Tämä tutkimus avaa oven huulisynkroniteknologialle ja keskustelevalle tekoälylle luodakseen ihmismäisiä kokemuksia, jotka voisivat auttaa torjumaan yksinäisyyden epidemiaa ja muita ongelmia. Tämän teknologian avulla humanoidirobotit voivat päästä askeleen lähemmäksi outoa laaksoa ja viedä robotiikan uudelle tasangolle.

Reaalimaailman sovellukset ja aikajana

Tälle teknologialle on monia sovelluksia useilla eri toimialoilla. Tämän teknologian ilmeinen käyttötarkoitus on auttaa edistämään humanoidirobottiteknologiaa. Kyky heijastaa pehmeitä, lämpimiä kasvoja kylmiin robotteihin voisi auttaa edistämään käyttöönottoa. Tässä on joitakin muita sovelluksia, joita kannattaa harkita.

Vanhustenhoito

Vaikka ikääntyneitä ei pidetäkään tekniikan taitavimpina ihmisinä, he ovat alkaneet omaksua robotiikan aivan uudella tasolla. Ikäihmisten avustusrobottien markkinat ovat nousussa, ja tilasto osoittaen sen saavuttaneen 3.38 miljardia dollaria vuonna 2025. Samat raportit ennustavat sen ylittävän 9.85 miljardia dollaria vuoteen 2033 mennessä.

Ikääntyneet olisivat halukkaampia olemaan vuorovaikutuksessa robottien kanssa ja hyväksymään ne, jos ne eivät vaikuttaisi teknisesti monimutkaisilta. Siksi robottiavustaja, joka pystyisi kommunikoimaan puheen ja realististen kasvonliikkeiden avulla, voisi olla täydellinen ratkaisu. Iäkkäät potilaat voisivat löytää yhteyden ja saada kipeästi kaivattua apua.

Viihdepalvelut

Viihdeteollisuus saattaa olla ensimmäisten joukossa, jotka ottavat tämän teknologian käyttöön. Elokuvantekijät luottavat vahvasti robotiikkaan nykypäivän viihdeteollisuudessa. Animatronisista laitteista, kuten Disneyn teemapuistoissa käytetyistä laitteista, suurissa elokuvissa käytettyihin liikkeenkaappausrobotteihin, laitteet ovat vieneet viihdeteollisuutta eteenpäin.

Viihderobottien sektorin arvo ylittää tänä päivänä 4.72 miljardia dollaria. Tämän arvon ennustetaan kasvavan 26.94 miljardiin dollariin vuoteen 2034 mennessä realististen tietokoneella luotujen hahmojen kasvavan kysynnän ansiosta. Lähitulevaisuudessa tämä teknologia voisi täyttää tämän markkinaraon ja antaa näyttelijöille mahdollisuuden jakaa kasvonsa hahmojen kanssa uusilla ja suoremmilla tavoilla.

Oppilaitokset

Koulutusala on toinen alue, jossa tämä teknologia voisi kukoistaa. Siellä näitä laitteita voitaisiin käyttää henkilökohtaisina opettajina. Jo nyt jotkut raportit ovat osoittaneet, että oppilaiden matematiikan ymmärrys parani 30 % käyttämällä robottien mukauttamia oppitunteja.

Adoption aikajana

Voit odottaa tämän teknologian alkavan levitä arkeen seuraavien 5–10 vuoden aikana. Robotteja on jo monissa tehtaissa ja työpaikoilla, ja integraation ennustetaan vain lisääntyvän. Robotiikan asiantuntijat ymmärtävät, että tämän tyyppisen teknologian integrointi voi auttaa tekemään laitteista helpommin lähestyttäviä.

Columbian yliopiston keskeiset tutkijat

Tutkimuksen isännöi Columbian Creative Machines Lab. Lehden avustajina ovat Yuhang Hu, Jiong Lin, Judah Allen Goldfeder, Philippe M. Wyder, Yifeng Cao, Steven Tian, ​​Yunzhe Wang, Jingran Wang, Mengmeng Wang, Jie Zeng, Cameron Mehlman, Yingke Wang, Delin Zeng, Boyuan Chen ja Hod Lipson.

Mitä seuraavaksi tapahtuu ihmisen kaltaisille roboteille

Tiimi keskittyy nyt algoritmin jatkokehittelyyn. Tämä vaihe edellyttää enemmän ihmisten välistä vuorovaikutusta ja voi jopa kehittyä useiksi yksiköiksi, jotka pystyvät oppimaan reaaliajassa ja jakamaan dataa keskitetyn mallin kanssa.

Robotiikkainnovaatioihin investoiminen

Robotiikkateollisuus on nopeasti kehittyvä ala, joka on kasvanut voimakkaasti viimeisten viiden vuoden aikana. Uusien teknologioiden, kuten oikeustieteen maisterin ja 3D-tulostimien, käyttöönotto on auttanut viemään innovaatioita uudelle tasolle. Saat kattavan katsauksen laajempiin markkinamahdollisuuksiin lukemalla oppaamme. investoinnit fyysiseen tekoälyyn ja humanoidirobotteihin vuonna 2026.

Tässä on yksi yritys, joka on ollut tämän vallankumouksen eturintamassa.

Teradyne (36 miljardia dollaria)

Teradyne, Inc. (TER ) on Universal Robotsin (UR) emoyhtiö. Universal Robots on markkinajohtaja yhteistyörobottien (cobottien) alalla. Vaikka Teradyne ei rakenna humanoidikasvoja, se on tällä hetkellä johtava toimija Columbian tutkimuksessa kuvatun "katso ja opi" -tekoälyn tuomisessa tehtaan lattialle.

Ratkaisevasti Teradyne on solminut strategisen kumppanuuden Nvidian kanssa. (NVDA ) integroimaan ”Isaac Manipulator” -alustan. Tämä mahdollistaa Teradynen robottien käyttää tekoälykameroita ympäristönsä ”näkemiseen” ja liikeradan dynaamiseen säätämiseen – aivan kuten Emo-robotti oppii säätämään huuliaan – sen sijaan, että ne turvautuisivat jäykään, valmiiksi kirjoitettuun koodiin.

Vuoden 2026 tuotto ja arvostus: Teradyneä pidetään laajalti robotiikka-alan blue chip -osakkeena. Sen osakkeet nousivat lähes 50 % vuonna 2025 ja jatkoivat nousuaan vuoden 2026 alussa, käyden kauppaa lähellä 230 dollarin haarukkaa.

Teradynen (TER) uusimmat uutiset ja suorituskyky

Yhteenveto

Realististen robottikasvojen käyttöönotto on täysin järkevää. Oikeustieteen maisterit pystyvät nyt toistamaan ihmisen puhetta, ja yhdistettynä realistisiin ilmeisiin nämä laitteet tarjoavat uuden tason koulutuksessa, oppimisessa, terveydenhuollossa ja muussa. Toistaiseksi tiimi keskittyy epätäydellisyyksien korjaamiseen sekä strategisten kumppaneiden ja rahoituksen löytämiseen.

Lue lisää muista hienoista robotiikan läpimurroista täältä.

Viitteet

1. Yuhang Hu et ai., Realististen huulten liikkeiden oppiminen humanoidikasvoisille roboteille. tiede ^{Ohjelmistorobotiikka} 11, eadx3017 (2026). DOI:10.1126/scirobotics.adx3017