Ключови изводи
- Navi използва SharePlay и вграденото преобразуване на реч в текст на Apple, за да предлага субтитри и преводи във FaceTime.
- Далеч не е перфектно, но вече е достатъчно добро.
- Субтитрите са чудесни за достъпност.
Navi е приложение, което добавя субтитри на живо и преводи в реално време към вашите FaceTime разговори.
Приложението използва SharePlay и вградено разпознаване на реч, за да добави субтитри и преводи на 20 езика към вашите разговори с FaceTime. Това е невероятно използване на SharePlay, което повечето от нас смятат за измамен начин за гледане на синхронизирани филми с хора на други места. Може все още да не се налага да уволнявате своя преводач, но приложение, което прави това добре, може да бъде безумно полезно.
"Не получавам аудиото от разговора с FaceTime", пише разработчикът на Navi Jordi Bruin в Twitter, "но използвам SharePlay, за да го споделя между участниците в разговора."
SharePlay
SharePlay е нова функция в iOS 15 и macOS 12.1, която ви позволява да споделяте и синхронизирате неща в FaceTime разговори. С примера за гледане на филм по-горе, всеки участник може да постави на пауза или да пусне филма, например, докато всички чатите в FaceTime разговора. Видеоклипът FaceTime остава отворен в малък, плаващ панел с картина в картина и всеки участник стартира приложението локално на своето устройство. Номерът на SharePlay е да синхронизира всичко, което се случва в тези локални приложения, така че всеки да споделя изживяването, било то филм, фитнес+ тренировка или електронна таблица.
Navi използва същата технология, само че приложението по време на разговор не е филм – то е механизъм за превод в реално време. За да го използвате, стартирате приложението по време на разговор с FaceTime и докоснете бутона „Включване на субтитри“. Тогава други участници също могат да се присъединят към действието и да видят субтитри на живо за текущия говорител. Ако някой говори монолог, неговият речев балон расте и остава малко по-дълго.
За глухите това може да означава разликата между обаждането на хора или не. А за всеки това означава, че можете да водите полезни разговори между хора, които не споделят един език.
Универсален текст
Интернет е изграден върху текст и това е страхотно. Той е малък и лесен за създаване, четене и превод. Също така е лесно да се превърне в синтезирана реч. Резултатът е, че всеки отвсякъде може да участва във всеки разговор. Езикът не е бариера, както и глухотата или някакъв вид слепота – стига да използвате устройство с добри инструменти за достъпност за увредено зрение или слух.
Но изговорената дума е много по-трудна за обработка. Диктовката от реч към текст е впечатляваща, но едва сравнително наскоро общото разпознаване на реч стана достатъчно добро за обща употреба - приложението Translate на Apple е добър пример. Въведен в iOS 15, той предлага аудио преводи в реално време. Ако все още ходим на ваканции в чужбина, би било идеално.
Сега използваме видео все повече и повече за работа и за поддържане на връзка с приятели и семейство. Без значение как ще работим в бъдеще, бариерата пред видео разговорите е напълно премахната. Вече е често срещан инструмент, но му липсва много от финеса на инструментите за писмена комуникация.
Нещо като Navi, което предлага субтитри и превод в реално време, може да бъде важно. Достъпността е един от аспектите, но способността да разговаряте с хора, чийто език не говорите, отваря международния бизнес до изумителна степен.
В действие
Тествах Navi с разработчик на приложения, автор и потребител на слухови апарати Греъм Бауър. Доста е добър, но все още не е готов за критични задачи. Някои от транскрипциите бяха комично лоши и твърде вулгарни, за да бъдат свързани. Докато разговорът ни продължаваше обаче, той стана много по-добър в точното разпознаване на речта му. Това има смисъл, защото системата за диктовка на iOS се адаптира към вашия глас с течение на времето.
Преводът също работи, въпреки че качеството на неговите преводи зависи от точността на въвеждането.
Лесно е да проектирате този вид технология в бъдещите Apple Glasses или какъвто и да е слухов AR/VR продукт, върху който работи тази седмица.
"Виждам как това работи в AR очила", каза Бауър по време на нашия разговор. „Някои хора, дори с нормален слух, предпочитат субтитри във филми. Това би било като субтитри за реалния живот.“
Въпреки че е впечатляваща техническа демонстрация, Navi все още не е там. За надеждна бизнес употреба, първоначалното разпознаване на реч на Apple ще трябва да стане много по-точно. Но що се отнася до скоростта, всичко е наред и преводите са също толкова добри.
Но сега сме на път и този вид неща ще се подобряват.
