Robot Bertenaga AI Mempelajari Gerakan Bibir Manusia

Columbia Engineers telah menciptakan robot yang mampu meniru dan mempelajari gerakan bibir manusia saat berbicara. Desain yang ditingkatkan ini menggabungkan robotika canggih dengan AI, memungkinkan perangkat—yang diberi nama Emo—untuk belajar dari pengamatan ekspresi manusia dan meniru emosi manusia bila diperlukan. Berikut yang perlu Anda ketahui.

Mengapa Robot Humanoid Memicu Uncanny Valley?

Sejak awal perkembangan robotika, telah ada upaya untuk menciptakan robot humanoid. Tugas ini jauh lebih mudah diucapkan daripada dilakukan, karena para insinyur robotika terus membuat kemajuan ke arah itu, tetapi belum pernah sepenuhnya mencapai tujuan mereka untuk menciptakan perangkat yang terlihat dan terasa seperti manusia sungguhan.

Siapa pun yang pernah berada di dekat robot humanoid paling sederhana sekalipun dapat membuktikan rasa tidak nyaman yang ditimbulkan oleh perangkat tersebut dalam hal kemampuannya untuk berbaur sebagai manusia. Ketidakakuratan sekecil apa pun, seperti gerakan mata atau ekspresi wajah yang tidak alami, dapat menciptakan perasaan ini pada pengamat.

Lembah Luar Biasa

Ahli robotika Jepang, Masahiro Mori, memperhatikan fenomena ini pada tahun 1970-an. Dalam karyanya yang kini terkenal, “Bukiti no Tani GenshoDalam esai ” (Lembah Kengerian), ia membahas konsep tersebut secara detail. Makalah ini menjelaskan bagaimana robot humanoid selalu mencapai titik ketidaksesuaian yang tajam dengan pengamatnya karena kekurangan yang halus.

Pada tahun 1978, istilah tersebut masuk ke kalangan ilmiah Barat melalui buku karya Jasia Reichardt yang berjudul “Robot: Fakta, Fiksi, dan Prediksi,” yang menerjemahkan istilah tersebut ke dalam penggunaan yang populer saat ini, “lembah yang aneh” (uncanny valley). Karya ini melanjutkan pembahasan Mori, menjelaskan bagaimana perbedaan terkecil pun dapat menyebabkan reaksi negatif dalam koneksi pengamat.

Wajah Manusia adalah Bagian Tersulit dari Persamaan Ini

Selama beberapa dekade terakhir, beberapa tonggak penting telah dicapai dalam menciptakan robot humanoid. Teknologi baru, seperti LLM (Language Language Modules), memungkinkan perangkat ini untuk berkomunikasi menggunakan bahasa alami, membantu menjembatani kesenjangan tersebut. Namun, salah satu area terbesar yang masih membutuhkan banyak perhatian adalah wajah manusia.

Wajah manusia adalah campuran kompleks dari jaringan, saraf, dan otot yang mampu menunjukkan ribuan ekspresi berbeda, banyak di antaranya membantu mengkomunikasikan perasaan kepada orang lain. Dengan cara ini, wajah dipandang sebagai alat komunikasi utama.

Para insinyur robotika telah lama menyadari pentingnya dan kesulitan dalam menciptakan wajah robot yang berfungsi seperti manusia. Melalui kerja keras selama bertahun-tahun, robot telah berhasil memperoleh wajah yang tampak seperti manusia, dengan kulit dan ekspresi. Namun, meskipun miliaran dolar telah diinvestasikan dalam penelitian, koneksi tersebut masih belum terjalin.

Geser untuk menggulir →

Pentingnya Bibir dalam Komunikasi

Para ahli robotika terus-menerus menghadapi satu masalah signifikan saat menciptakan perangkat humanoid—hampir mustahil untuk meniru gerakan bibir. Bibir Anda melakukan lebih dari sekadar mengarahkan suara dan membantu Anda mengucapkan kata-kata.

Bibir Anda sebenarnya menampilkan emosi pada tingkat yang halus, yang, melalui evolusi selama ribuan tahun, telah menjadi vital bagi komunikasi manusia. Terutama, gerakan bibir Anda adalah salah satu ciri wajah yang paling banyak diperhatikan selama percakapan. Akibatnya, otak Anda mencurahkan lebih banyak daya pikir untuk gerakan-gerakan ini daripada tindakan lain seperti mengerutkan dahi atau mengedipkan mata.

Bibir Robot Terlihat Tidak Alami

Meskipun robot semakin mampu terlihat hampir seperti manusia, mereka masih kurang dalam hal ekspresi wajah bibir. Penelitian selama beberapa dekade telah membuktikan bahwa teknologi untuk mencapai sinkronisasi bibir-suara yang tepat yang diperlukan untuk menciptakan perilaku realistis belum ada. Akibatnya, robot selalu tampak berbicara dengan suara yang disulih suara daripada diucapkan. Efek suara yang disulih suara ini menyebabkan perangkat-perangkat ini terlihat canggung dan tidak bersemangat.

Perlu dicatat, wajah manusia mengandalkan puluhan otot untuk menciptakan respons emosional, dan bibir robot belum memiliki tingkat kompleksitas ini. Diperlukan jenis desain baru untuk mencapai tingkat kompleksitas ini. Selain itu, sebagian besar gerakan bibir robot adalah gerakan yang telah ditentukan sebelumnya untuk menyesuaikan dengan siaran vokal tertentu, bukan gerakan yang dirancang untuk menghasilkan kata secara alami. Karena robot sebenarnya tidak menghasilkan suara dengan bibir mereka, gerakan tersebut tampak tidak alami dan aneh.

Studi Columbia: Mengajari Robot Gerakan Bibir yang Realistis

Untungnya, tim dari Columbia Engineers mungkin telah menemukan cara untuk melewati lembah ketidaknyamanan (uncanny valley). “Mempelajari gerakan bibir realistis untuk robot wajah humanoid¹Studi ini memperkenalkan jenis wajah robot baru yang berfokus terutama pada gerakan dan sinkronisasi bibir.

Perangkat Keras Khusus

Salah satu kendala utama yang harus diatasi tim adalah kekakuan wajah robot saat ini. Meskipun telah banyak desain baru yang menyediakan reaksi bertenaga motor pada wajah, tidak ada yang mampu mendukung kompleksitas yang dibutuhkan untuk memungkinkan gerakan bibir yang realistis.

Untuk mengatasi keterbatasan ini, para insinyur menggunakan bibir silikon yang dirancang khusus untuk memberikan ekspresi maksimal. Kemudian, mereka menanamkan 26 motor wajah, sebuah transformator aksi wajah, dan sebuah autoencoder variasional (VAE).

Visi Menuju Aksi (VLA)

Inti dari terobosan teknologi ini adalah model AI visi-ke-aksi. Dengan menggunakan model ini, wajah robot dapat secara otomatis menciptakan bibir realistis yang tidak bergantung pada pengaturan mekanis yang telah ditentukan sebelumnya untuk pergerakan.

Untuk membuat model tersebut, tim menggunakan metode pembelajaran observasional. Gaya pemrograman ini memungkinkan perangkat untuk memastikan dinamika bibir yang tepat selama berbicara secara real-time. Dengan demikian, langkah pertama adalah memasukkan algoritma ke dalam alur kerja pembelajaran mandiri (self-supervised learning).

Langkah ini mengharuskan para insinyur untuk menempatkan wajah robot di depan cermin dan menginstruksikannya untuk membuat ribuan wajah. Tindakan ini memungkinkan algoritma untuk menangkap kemampuan ekspresi wajahnya. Dari situ, robot kemudian menonton konten YouTube selama berjam-jam.

Kombinasi audio dan gerakan bibir dilacak dengan cermat dan digunakan untuk memprogram algoritma AI bibir wajah robot. Dalam beberapa hari, robot tersebut mempelajari dengan tepat bagaimana seharusnya wajahnya terlihat berdasarkan ekspresi manusia, bukan menggunakan parameter masukan. Para insinyur kemudian menambahkan audio dan mulai melakukan pengujian.

Bagaimana AI Sinkronisasi Bibir Diuji di Berbagai Bahasa

Tim tersebut menguji teori mereka di 10 bahasa dan konteks linguistik yang berbeda. Tes tersebut menggunakan bahasa yang sepenuhnya baru bagi model, memastikan bahwa model tersebut harus menghitung ekspresi wajah dan gerakan bibir yang tepat, bukan mengingat kata-kata yang telah dilatih sebelumnya. Menariknya, tes tersebut juga menggunakan konteks dan lagu.

Hasil Tes Robot Aneh

Hasil pengujian menunjukkan sinkronisasi bibir-audio yang koheren secara visual di semua pengujian. Yang menarik, robot yang didukung algoritma ini memberikan gerakan bibir realistis yang secara akurat sesuai dengan beberapa klip audio. Lebih mengesankan lagi, robot ini berhasil menyinkronkan gerakan bibirnya di 10 bahasa dan bahkan menyanyikan sebuah lagu dari album debut yang dihasilkan AI-nya. halo dunia_.

Yang perlu diperhatikan, tim tersebut memang menemukan beberapa keterbatasan pada teknologi tersebut. Misalnya, robot tersebut tidak mampu secara konsisten mereproduksi gerakan bibir yang tegas yang terkait dengan kata-kata seperti "pop". Robot itu juga kesulitan dengan kata-kata yang bibirnya mengerucut seperti "whistle". Dengan cermat, para insinyur mencatat bahwa ketidaksempurnaan kecil ini akan teratasi seiring dengan peningkatan algoritma dari waktu ke waktu. Fitur pembelajaran mandiri ini adalah aspek terbaik dari algoritma tersebut. Algoritma ini akan terus meningkat seiring dengan pengumpulan lebih banyak data dari manusia dari waktu ke waktu, membuka pintu bagi interaksi manusia-mesin yang lebih bermakna di masa depan.

Manfaat Utama Robot Humanoid Realistis

Teknologi ini membawa beberapa manfaat ke pasar. Pertama, teknologi ini memungkinkan manusia untuk menjalin hubungan yang lebih dalam dengan mesin. Kebanyakan orang tidak menyadari betapa banyak komunikasi yang terjadi melalui ekspresi wajah secara tidak sadar.

Studi ini membuka pintu bagi teknologi sinkronisasi bibir dan AI percakapan untuk menciptakan pengalaman mirip manusia yang dapat membantu memerangi epidemi kesepian dan banyak lagi. Dengan menggunakan teknologi ini, robot humanoid akan mampu selangkah lebih dekat untuk melewati lembah ketidaknyamanan (uncanny valley) dan mendorong robotika ke tingkat yang baru.

Aplikasi dan Garis Waktu di Dunia Nyata

Teknologi ini memiliki banyak aplikasi yang mencakup berbagai industri. Penggunaan yang paling jelas dari teknologi ini adalah untuk membantu mendorong kemajuan teknologi robot humanoid. Kemampuan untuk memproyeksikan wajah yang lembut dan hangat pada robot yang dingin dapat membantu mendorong adopsi. Berikut beberapa aplikasi lain yang perlu dipertimbangkan.

Perawatan Lansia

Meskipun tidak dianggap sebagai orang yang paling melek teknologi, para lansia telah mulai merangkul robotika pada tingkat yang sama sekali baru. Pasar robot bantu perawatan lansia sedang meningkat, dengan statistika Laporan tersebut menunjukkan bahwa pendapatan mencapai $3.38 miliar pada tahun 2025. Laporan yang sama memprediksi bahwa pendapatan akan melampaui $9.85 miliar pada tahun 2033.

Para lansia akan lebih bersedia berinteraksi dan menerima robot jika robot tersebut tidak tampak rumit secara teknologi. Dengan demikian, asisten robot yang dapat berkomunikasi menggunakan suara bersamaan dengan gerakan wajah yang realistis bisa menjadi solusi yang tepat. Pasien lansia dapat menemukan koneksi sekaligus mendapatkan bantuan yang sangat dibutuhkan.

Menghibur

Industri hiburan bisa menjadi salah satu yang pertama mengadopsi teknologi ini. Para pembuat film sangat bergantung pada robotika di industri hiburan saat ini. Mulai dari animatronik seperti yang digunakan di taman hiburan seperti Disney hingga robot penangkap gerakan yang digunakan dalam film-film besar, perangkat-perangkat ini telah mendorong industri hiburan maju.

Sektor robot hiburan saat ini melampaui angka $4.72 miliar. Nilai ini diprediksi akan tumbuh menjadi $26.94 miliar pada tahun 2034, didorong oleh permintaan yang lebih kuat untuk karakter CGI yang realistis. Dalam waktu dekat, teknologi ini dapat mengisi celah tersebut, memungkinkan aktor untuk berbagi wajah mereka dengan karakter dengan cara yang baru dan lebih langsung.

Pendidikan

Sektor pendidikan adalah tempat lain di mana teknologi ini dapat berkembang. Di sini, perangkat-perangkat ini dapat diatur sebagai tutor pribadi. Saat ini, beberapa laporan Telah menunjukkan bahwa siswa mencapai peningkatan pemahaman matematika sebesar 30% dengan menggunakan pelajaran yang diadaptasi oleh robot.

Garis Waktu Adopsi

Anda dapat memperkirakan teknologi ini akan mulai merambah kehidupan sehari-hari dalam 5-10 tahun ke depan. Robot sudah ada di banyak pabrik dan tempat kerja, dan integrasinya diprediksi akan terus meningkat. Para ahli robotika memahami bahwa mengintegrasikan teknologi jenis ini dapat membantu membuat perangkat mereka lebih mudah dipahami.

Peneliti Utama di Columbia

Penelitian ini diselenggarakan oleh Creative Machines Lab Columbia. Makalah ini mencantumkan Yuhang Hu, Jiong Lin, Judah Allen Goldfeder, Philippe M. Wyder, Yifeng Cao, Steven Tian, ​​Yunzhe Wang, Jingran Wang, Mengmeng Wang, Jie Zeng, Cameron Mehlman, Yingke Wang, Delin Zeng, Boyuan Chen, dan Hod Lipson sebagai kontributor.

Apa yang Akan Terjadi Selanjutnya untuk Robot Mirip Manusia?

Tim tersebut kini akan memfokuskan perhatiannya pada penyempurnaan algoritma lebih lanjut. Langkah ini akan melibatkan lebih banyak interaksi manusia dan bahkan dapat berkembang menjadi beberapa unit yang mampu belajar secara real-time dan berbagi data tersebut dengan model terpusat.

Berinvestasi dalam Inovasi Robotika

Industri robotika adalah sektor yang berkembang pesat dan mengalami pertumbuhan pesat selama 5 tahun terakhir. Pengenalan teknologi baru seperti LLM dan printer 3D telah membantu mendorong inovasi ke tingkat yang lebih tinggi. Untuk melihat peluang pasar yang lebih luas secara komprehensif, baca panduan kami tentang... Berinvestasi dalam AI Fisik dan robot humanoid pada tahun 2026..

Berikut adalah salah satu perusahaan yang berada di garis depan revolusi ini.

Teradyne ($36 miliar)

Teradyne, Inc. (TER ) adalah perusahaan induk dari Universal Robots (UR), pemimpin pasar dalam "cobot" (robot kolaboratif). Meskipun Teradyne tidak membuat wajah humanoid, saat ini perusahaan ini merupakan pemain utama dalam membawa AI "mengamati dan belajar" yang dijelaskan dalam studi Columbia ke lantai pabrik.

Yang terpenting, Teradyne telah menjalin kemitraan strategis dengan Nvidia. (NVDA ) untuk mengintegrasikan platform “Isaac Manipulator”. Hal ini memungkinkan robot Teradyne untuk menggunakan kamera AI untuk “melihat” lingkungannya dan menyesuaikan jalur pergerakannya secara dinamis—mirip dengan cara robot Emo belajar menyesuaikan bibirnya—alih-alih bergantung pada kode yang kaku dan sudah ditulis sebelumnya.

Kinerja & Valuasi Tahun 2026: Teradyne secara luas dianggap sebagai saham robotika "unggulan". Sahamnya melonjak hampir 50% pada tahun 2025 dan terus menguat pada awal tahun 2026, diperdagangkan di kisaran $230.

Berita dan Kinerja Terbaru Teradyne (TER)

Kesimpulan

Pengenalan wajah robot realistis sangatlah masuk akal. LLM (Learning Learning Machine) kini mampu meniru ucapan manusia, dan jika dikombinasikan dengan ekspresi wajah realistis, perangkat ini akan memberikan tingkat pelatihan, pembelajaran, perawatan kesehatan, dan banyak lagi yang baru. Untuk saat ini, tim akan fokus pada penyempurnaan kekurangan dan mencari mitra strategis serta pendanaan.

Pelajari terobosan robotika keren lainnya di sini.

Referensi

1. Yuhang Hu et al.Mempelajari gerakan bibir yang realistis untuk robot wajah humanoid. Ilmu ^Robotika 11, eadx3017 (2026). DOI:10.1126/scirobotics.adx3017