ഡബ് ചെയ്തതെന്ന് തോന്നില്ല

ഇഷ്ടപെട്ട ഒരു സ്പാനിഷ് സിനിമ തമിഴിൽ ഡബ്ബ് ചെയ്ത് കാണണമെന്ന് ആഗ്രഹം തോന്നിയാൽ എന്ത് ചെയ്യും. ഡബ്ബിങ് എത്ര നന്നായി ചെയ്തിരിക്കുന്നുവോ അത്ര ആസ്വദിച്ചു ആ സിനിമ തമിഴിൽ കാണാൻ സാധിക്കും. അല്ലെങ്കിൽ ആ സിനിമ കാണുന്നത് മാറ്റിവയ്‌ക്കേണ്ടി വരും.

എന്നാൽ  സ്പാനിഷ് അഭിനേതാക്കൾക്ക് യും തമിഴ് സംസാരിക്കാനായാലോ? അതും സ്വാഭാവികമായി തമിഴ് സംസാരിക്കുന്ന ഒരു ഫീൽ ലഭിക്കുമോ? ഒരു സ്റ്റാർട്ടപ്പിനു അങ്ങനെ ചെയ്തു നൽകാൻ സാധിച്ചാൽ സിനിമ ഡബ്ബിങ് മേഖലയിൽ അതൊരു വലിയ മാറ്റമുണ്ടാക്കില്ലേ?

അങ്ങനെയൊരു ദൃശ്യ ഫീൽ ലഭിക്കും, അത് സിനിമാ മേഖലയിൽ വൻ ചലനങ്ങളുണ്ടാക്കും എന്ന് കാട്ടിത്തരുകയാണ് ബെംഗളൂരു ആസ്ഥാനമായുള്ള ഡീപ് ടെക് സ്റ്റാർട്ടപ്പ് ന്യൂറൽ ഗാരേജ് (NeuralGarage)
ഇനി ഏതു ഭാഷയിൽ ഇന്നും ഏതു ഭാഷയിലേക്കും സിനിമ ഡബ്ബ് ചെയ്യാം. നന്നായി ആസ്വദിച്ചു തന്നെ കാണുകയും ചെയ്യാം.

ഡബ്ബ് ചെയ്‌ത ഷോകൾ കൂടുതൽ സ്വാഭാവികമായി ദൃശ്യമാക്കാൻ ന്യൂറൽ ഗാരേജ് ജനറേറ്റീവ് എഐയിൽ -VisualDub -എന്ന പുതിയ മോഡൽ തയാറാക്കി. എക്‌സ്‌ഫിനിറ്റി വെഞ്ചേഴ്‌സിന്റെയും ഏഞ്ചൽ നിക്ഷേപകനായ അമിത് പട്‌നിയുടെയും പിന്തുണയുള്ള ബെംഗളൂരു ആസ്ഥാനമായുള്ള ഡീപ് ടെക് സ്റ്റാർട്ടപ്പ് ന്യൂറൽ ഗാരേജ്, അതിന്റെ ജനറേറ്റീവ് എഐ ഉൽപ്പന്നമായ വിഷ്വൽ ഡബ് ഉപയോഗിച്ച് ഡബ്ബ് ചെയ്ത ഉള്ളടക്കത്തിലെ ഓഡിയോ-വിഷ്വൽ ഡിസോണൻസ് കുറയ്ക്കാൻ ശ്രമിക്കുന്നു. ആമസോൺ ഇന്ത്യ, മൈക്രോസോഫ്റ്റ്, ഹിപ്പോ വീഡിയോ, പിക്‌സിസ് എന്നിവ സ്റ്റാർട്ടപ്പിന്റെ ക്ലയന്റുകളിൽ ഉൾപ്പെടുന്നു. ജനറേറ്റീവ് AI യുടെ ഇടപെടലിലൂടെയാണ് ഇത് സാധ്യമാകുന്നതെന്ന് ബെംഗളൂരു ആസ്ഥാനമായുള്ള ഡീപ് ടെക് സ്റ്റാർട്ടപ്പായ ന്യൂറൽ ഗാരേജിന്റെ സ്ഥാപകർ പറയുന്നു.

കൂടുതൽ പ്രേക്ഷകരിലേക്ക് എത്താൻ ഇന്ന്, കണ്ടന്റിന്റെ ഉടമകളും വിതരണക്കാരും നിരവധി ഭാഷകളിൽ ഉള്ളടക്കം ഡബ് ചെയ്യുന്നു. എന്നിരുന്നാലും, അഭിനേതാക്കളുടെ ചുണ്ടിന്റെയും താടിയെല്ലിന്റെയും ചലനങ്ങൾ അവരുടെ വായിൽ നിന്ന് വരുന്ന വാക്കുകളുമായി പൊരുത്തപ്പെടാത്തതിനാൽ ഡബ്ബ് ചെയ്ത ഉള്ളടക്കം ഒരു യോജിച്ച കാഴ്ചാനുഭവം നൽകുന്നില്ല. ന്യൂറൽ ഗാരേജ് അതിന്റെ മുൻനിര ഉൽപ്പന്നമായ VisualDub ഉപയോഗിച്ച് പരിഹരിക്കാൻ ലക്ഷ്യമിടുന്ന പ്രശ്‌നം ഇതാണ്.

താൻ കണ്ട ഒരു കൊറിയൻ സിനിമയുടെ പരിഭാഷയിൽ വന്ന പൊരുത്തക്കേടുകൾ ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസിന്റെ പുരോഗതി കൊണ്ട്  പരിഹരിക്കാൻ സഹായിക്കുമോ എന്ന്  ന്യൂറൽ ഗാരേജിലെ ചീഫ് പ്രൊഡക്റ്റ് ഓഫീസർ ബാനർജി അന്വേഷിക്കാൻ തുടങ്ങി. അങ്ങനെ  ഈ സാങ്കേതികവിദ്യയുടെ സാധ്യതകൾ ഉപയോഗിക്കാൻ തീരുമാനിച്ചു. ഓഡിയോയും വീഡിയോയും തമ്മിലുള്ള വിടവ് നികത്താനുള്ള ആഗ്രഹത്താൽ  ബാനർജി, ഐഐടി കാൺപൂർ, സുഭബ്രത ദേബ്നാഥ്, സുഭാഷിഷ് സാഹ എന്നിവരോടൊപ്പം AI യുടെ സാധ്യതകളെക്കുറിച്ച് പഠിക്കാൻ തുടങ്ങി.
ഓഡിയോ-വിഷ്വൽ ഡിസോണൻസ് പരിഹരിക്കുന്നതിനായി മൂവരും വിഷ്വൽ ഡബ് സാങ്കേതികവിദ്യ നിർമ്മിക്കാൻ ശ്രമം തുടങ്ങുകയായിരുന്നു .

ന്യൂറൽ ഗാരേജിന്റെ ജനനം

2015ൽ ദേബ്‌നാഥ്, ബാനർജി, സാഹ എന്നിവർ ചേർന്ന് വിസേജ് മാപ്പ് എന്ന ഫേഷ്യൽ റെക്കഗ്നിഷൻ സ്റ്റാർട്ടപ്പ് സ്ഥാപിച്ചു, ഇത് പിന്നീട് യുഎസ് ആസ്ഥാനമായുള്ള ഫേഷ്യൽ ടെക് കമ്പനിയായ ഫേസ് ഫസ്റ്റ് ഏറ്റെടുത്തു. അവർ 2021-ൽ FaceFirst വിടുകയും VisualDub സാങ്കേതികവിദ്യയിൽ പ്രവർത്തിക്കാൻ തുടങ്ങുകയും ചെയ്തു. അതേ വർഷം തന്നെ, Viacom18, Times Television Network, Turner International, Reliance Entertainment, Sony തുടങ്ങിയ കമ്പനികളിൽ 20 വർഷത്തെ സമ്പന്നമായ അനുഭവസമ്പത്തുള്ള നടേക്കറുമായി ചേർന്ന് NeuralGarage എന്ന ഡീപ് ടെക് സ്റ്റാർട്ടപ്പ് അവർ സ്ഥാപിച്ചു. “എഐയുടെ ശക്തിയിലൂടെ ദൃശ്യപരമായി ഭാഷയുടെ എല്ലാ തടസ്സങ്ങളിലൂടെയും ആശയവിനിമയം തടസ്സമില്ലാത്തതാക്കുക എന്നതാണ് ന്യൂറൽ ഗാരേജിലെ ഞങ്ങളുടെ കാഴ്ചപ്പാട്,” ന്യൂറൽ ഗാരേജിന്റെ സഹസ്ഥാപകനും സിഇഒയുമായ നടേക്കർ പറയുന്നു.

എങ്ങിനെ Visual Dub ഒരു സിനിമ ഡബ്ബ് ചെയ്യും?

NeuralGarage-ന്റെ മുൻനിര ഉൽപ്പന്നമായ Visual Dub, ഓഡിയോയുമായി അഭിനേതാക്കളുടെ ചുണ്ടിന്റെയും താടിയെല്ലിന്റെയും ചലനങ്ങൾ സമന്വയിപ്പിച്ച് ഡബ്ബ് ചെയ്ത ഉള്ളടക്കത്തിലെ ഓഡിയോ-വിഷ്വൽ വ്യത്യാസം കുറയ്ക്കുന്നു.

വിഷ്വൽഡബ്, ഫൊൺമെമുകൾ മാപ്പ് ചെയ്യുന്ന പ്രൊപ്രൈറ്ററി അൽഗോരിതങ്ങളിൽ പ്രവർത്തിക്കുന്നു, അങ്ങനെ ദൃശ്യ-ശ്രാവ്യ വിയോജിപ്പ് ഇല്ലാതാക്കുന്നു. ലോകത്തിലെ എല്ലാ ഭാഷകൾക്കും സാർവത്രികമായി തനതായ മാപ്പിംഗുകളാണിത്.

ഓഡിയോ സൂചകങ്ങളും വിഷ്വൽ സൂചകങ്ങളും സമന്വയിപ്പിക്കാത്തപ്പോൾ വിഷ്വൽ ഡിസോണൻസ് സംഭവിക്കുന്നു. VisualDub-ന്റെ പ്രൊപ്രൈറ്ററി ജനറേറ്റീവ് AI സാങ്കേതികവിദ്യ, സംസാരിക്കുന്ന വാക്കുകളുമായി അഭിനേതാക്കളുടെ താടിയെല്ലിന്റെയും ചുണ്ടിന്റെയും ചലനങ്ങൾ സമന്വയിപ്പിച്ച് ഡബ്ബ് ചെയ്ത ഉള്ളടക്കത്തിൽ പ്രകടമായ പൊരുത്തക്കേടുകൾ നീക്കംചെയ്യുന്നു.

ജനറേറ്റീവ് AI ഓഡിയോ ആക്റ്റിവേഷനുകൾ ഉപയോഗിച്ച് മുഖഭാഗങ്ങളെ പരിവർത്തനം ചെയ്യുന്നു, അവയെ ബാക്കിയുള്ള സീനുമായി സംയോജിപ്പിക്കുന്നു. അക്ഷരങ്ങൾ പൊരുത്തപ്പെടുത്തുന്നതിന് ചുണ്ടുകളുടെ ചലനങ്ങൾ ട്വീക്ക് ചെയ്‌തിരിക്കുന്നു, ഒപ്പം താടിയെല്ലിന്റെയും താടിയുടെയും ചലനങ്ങളും പുഞ്ചിരി വരകളും ഇതുമായി യോജിപ്പിച്ച് ഡബ്ബ് ചെയ്ത ഉള്ളടക്കം ദൃശ്യപരമായി യാഥാർത്ഥ്യവും സ്വാഭാവികവുമാക്കുന്നു.  

API ഇന്റഗ്രേഷൻ, SaaS, ഡെസ്‌ക്‌ടോപ്പ് സോഫ്റ്റ്‌വെയർ എന്നിവയിലൂടെ NeuralGarage ഈ സാങ്കേതികവിദ്യ വാഗ്ദാനം ചെയ്യുന്നു. രണ്ട് മാസം മുമ്പാണ് സോഫ്‌റ്റ്‌വെയറിന്റെ ബീറ്റാ പതിപ്പ് പുറത്തിറങ്ങിയത്.

ക്ലയന്റ് ഡെലിവറിക്കും സുരക്ഷയും സ്വകാര്യതയും ഉറപ്പാക്കാനും സ്റ്റാർട്ടപ്പ് ആമസോൺ വെബ് സേവനങ്ങൾ ഉപയോഗിക്കുന്നു. കൂടാതെ, ഉള്ളടക്ക ഉപഭോഗം, ഡെലിവറി, സൃഷ്ടിക്കൽ എന്നിവ മെച്ചപ്പെടുത്തുന്നതിന് സങ്കീർണ്ണമായ AI, കമ്പ്യൂട്ടർ വിഷൻ അൽഗോരിതം എന്നിവ ഇത് പ്രയോജനപ്പെടുത്തുന്നു.

നിരവധി ഇന്ത്യൻ ഭാഷകളും ഇറ്റാലിയൻ, ജർമ്മൻ, സ്പാനിഷ്, ജാപ്പനീസ്, കൊറിയൻ, മന്ദാരിൻ തുടങ്ങിയ അന്താരാഷ്ട്ര ഭാഷകളും ഉൾപ്പെടെ ലോകമെമ്പാടുമുള്ള 30-ലധികം ഭാഷകളിൽ ഈ സാങ്കേതികവിദ്യ പരീക്ഷിച്ചു.

പരസ്യം ചെയ്യൽ, വിപണനം, ഉള്ളടക്കം സൃഷ്ടിക്കൽ, OTT, സിനിമകൾ എന്നിവ പോലുള്ള മേഖലകളിൽ നിന്ന് NeuralGarage ബിസിനസ്സ് സൃഷ്ടിക്കുന്നു. സിനിമയും എഡ്‌ടെക് ഉള്ളടക്കവും അതിന്റെ വരുമാനത്തിന്റെ 90 ശതമാനത്തിലധികം വരും.

സ്റ്റാർട്ടപ്പിന് ആമസോൺ ഇന്ത്യ, മൈക്രോസോഫ്റ്റ്, ഹിപ്പോ വീഡിയോ, പിക്സിസ് എന്നിവയുൾപ്പെടെ 10 ക്ലയന്റുകളാണുള്ളത്.ന്യൂറൽ ഗാരേജ്-ഇൻസ്റ്റിറ്റിയൂഷണൽ വിസി ഫണ്ട് എക്സ്ഫിനിറ്റി വെഞ്ച്വർ പാർട്ണർമാരും അമിത് പട്നി ഉൾപ്പെടെയുള്ള സമൃദ്ധമായ എയ്ഞ്ചൽ നിക്ഷേപകരും പിന്തുണയ്ക്കുന്നു-ഇതുവരെ അതിന്റെ സീഡ് റൗണ്ടിൽ $1.45 മില്യൺ സമാഹരിച്ചിട്ടുണ്ട്.

നാസ്‌കോമിന്റെ അഭിപ്രായത്തിൽ, ഇന്ത്യയിൽ ജനറേറ്റീവ് AI ലാൻഡ്‌സ്‌കേപ്പിൽ 60-ലധികം സ്റ്റാർട്ടപ്പുകൾ ഉണ്ട്, വിവിധ വ്യവസായ ലംബങ്ങളിലുടനീളം ഉപഭോക്താക്കൾക്ക് പരിഹാരങ്ങളും സേവനങ്ങളും വാഗ്ദാനം ചെയ്യുന്നു.  

“വീഡിയോ, സംഭാഷണം, ടെക്‌സ്‌റ്റ്, ഇമേജുകൾ എന്നിവയാണ് ഇന്നത്തെ മിക്ക ജെൻ എഐ സ്റ്റാർട്ടപ്പുകളുടെയും ശ്രദ്ധാകേന്ദ്രം. മാധ്യമങ്ങൾ, വിനോദം, മാർക്കറ്റിംഗ് സേവനങ്ങൾ എന്നിവയ്ക്ക് ഈ സാങ്കേതികവിദ്യയ്ക്ക് വലിയ ഡിമാൻഡുണ്ട്,” നടേക്കർ ചൂണ്ടിക്കാട്ടുന്നു.

NeuralGarage-ന്റെ ലക്ഷ്യം ഈ വർഷം അവസാനത്തോടെ ഒരു മില്യൺ ഡോളറിന്റെ വരുമാനവും 50 ക്ലയന്റുകളുമാണ്.