Inzerce      O nás     CzechCrunch  
Ve srovnání asistentů je stále nejlepší Google Assistant. Siri ho ale převyšuje při plnění povelů
Foto: MacRumors / YouTube

V posledních týdnech se u všech velkých technologických společností vyvíjejících hlasové asistenty objevily zprávy, že nahrávky povelů (a v několika případech více než to) analyzují lidští pracovníci. Tato praxe byla médii v zásadě univerzálně kritizována nezávisle na tom, že ůčelem analýz mělo být zlepšení rozeznávání hlasu. Existuje pro tento argument dostatečná opora? Aktuálně zveřejněné srovnání několika hlasových asistentů naznačuje, že možná ano.

Loup Venture, investiční firma založená na výzkumu moderních technologií, každoročně porovnává schopnosti tří nejrozšířenějších asistentů na trhu – Google Assistant, Siri a Alexy od Amazonu. Přistupuje k tomu s metodologií vědeckých statistik a dochází k několika různým kategoriím zjištění.

Základem výzkumu je 800 otázek pro každého z asistentů v pěti různých kategoriích podle požadovaného typu informace. Odpovědi virtuálních hlasů jsou pak vyhodnocovány podle dvou kritérií, jestli asistent správně rozuměl a jestli poskytl správnou odpověď. Kategorie a příklady otázek byly:

Místní informace: Where is the nearest coffee shop? (Kde je nejbližší kavárna?)

Nakupování: Order me more paper towels. (Objednej víc papírových utěrek.)

Navigace: How do I get to Uptown on the bus? (Jako se autobusem dostanu do Uptownu?)

Informace: Who do the Twins play tonight? (S kým dnes hrají Twins?)

Povel: Remind me to call Jerome at 2pm today (Připomeň mi, ať dnes ve dvě odpoledne zavolám Jeromovi)

Siri je ze všech konzistentně nejlepší ve správném plnění povelů

Dotazování je dále rozděleno do několika kol, přičemž v každém se otázky mírně obměňují pro otestování schopnosti porozumět různým stylům vyjadřování. Důležité je ještě zmínit, že všichni tři asistenti byli testováni v telefonech s nejnovějšími verzemi operačních systémů – Siri na iOS 12.4, Google Assistant na Pixelu XL s Androidem 9 a Alexa přes iOS aplikaci.

Obecné pořadí se oproti loňskému červencovému testování nezměnilo, všichni tři asistenti však zaznamenali poměrně výrazné zlepšení ve všech kategoriích. Na prvním míste i nadále zůstává Google Assistant, na druhém Siri a Alexa na třetím. V jednotlivých kategoriích otázek Google vedl všude s výjimkou povelů, pořadí dalších dvou se měnilo častěji.

Zatímco loni Google Assistant správně odpověděl v 86% případů, Siri v 79% a Alexa pouze 61%, letošní výsledky se pro totéž pořadí zvedly na 93%, 83% a 80 procent. Nejvýraznější zlepšení tety zaznamenal produkt Amazonu a naopak nejméně zmoudřela Siri. Co se správnému porozumění vyslovených povelů týče, všichni asistenti se pohybovali na hraně sta procent.

Pokročilejší uživatelé mohou Siri používat také k vykonávání souborů několika akcí po sobě jediným povelem.

Právě tento aspekt má zlepšovat analyzování nahrávek povelů lidskými pracovníky, což by počítač kvůli vlastním omezením nebyl schopen spolehlivě provádět. Kontroverze ovšem nespočívala ani tak v samotném faktu procesu vyvíjení hlasových asistentů, jako spíš v nedostatečném informování uživatelů o tom, co přesně se dějě nebo může dít, když mluví v blízkosti svých zařízení.

Pakliže by nebyli s danou situací smířeni, měli by mít možnost zakázat, aby je jejich telefony, chytré reproduktory a další zařízení nahrávaly. Všechny ze zmíněných společností slíbily, že tyto vlastnosti do svých operací v blízké době zavedou a do té doby nahrávání zcela pozastaví.

Ve výsledcích testování spolehlivosti asistentů Loup Ventures konstatuje neustálé překvapení nad rychlostí zlepšování. Poměrně intenzivní testy provádí dvakrát ročně a pokaždé zaznamenává silnější výsledky, než minule.

Chytré reproduktory do výzkumu zařazeny nebyly, protože prý stanoví jiný typ interakce s hlasovým asistentem

Zároveň ovšem upozorňuje, že ačkoliv se stabilně přibližují stoprocentně správnému reagování na vyslovené povely, v žádném případě to zároveň neznamená blížící se schopnost porozumět všemu, co slyší. Jak nedávno upozornil bývalý šéf vývoje Siri, všichni jsou stále založení na identifikaci některých klíčových slov a naprogramované adekvátní reakci na ně. Nelze tedy mluvit o tom, že by rozuměli stejným způsobem jako lidé stále ovšem mohou zkrátka čím dál tím lépe reagovat čím dál tím více otázek a povelů. Siri například se možná v září konečně dočká schopnosti ovládání Spotify.

 

Komentáře