Adam Cheyer: le plan de Samsung pour gagner avec Bixby renforce les développeurs tiers

Adam Cheyer, alun des universités Brandeis et UCLA, diplômé en informatique et en intelligence artificielle, en sait quelque chose sur les assistants numériques. Auparavant, il avait dirigé le projet CALO (Assistant cognitif apprenant et organisé) au centre d’intelligence artificielle de SRI International, qui visait à intégrer des techniques d’apprentissage automatique de pointe dans un assistant cognitif indépendant de la plate-forme. Cheyer faisait partie de l'équipe fondatrice de Siri, la création de la technologie éponyme d'assistant pour l'intelligence artificielle acquise par Apple en 2010 pour 200 millions de dollars. Il a cofondé Viv Labs, sorti furtivement en 2016 après quatre années de développement d'une plate-forme d'assistance conçue pour gérer requêtes.

Samsung a acquis Viv en octobre 2016 pour environ 215 millions de dollars. Peu de temps après, Cheyer et ses collègues avaient été chargés d’intégrer la technologie de leur startup dans l’assistant Bixby de la société, qui a été lancé en mars 2017 aux côtés des Samsung Galaxy S8 et S8 +. Le fruit de leur travail – Bixby 2.0 – a fait ses débuts en octobre 2017 lors de la conférence des développeurs Bixby de Samsung et a officiellement été lancé sur le Galaxy Note9 en août 2018.

Aujourd'hui, Bixby est disponible dans plus de 200 pays et sur plus de 500 millions d'appareils, notamment les réfrigérateurs Family Hub 2.0 de Samsung, sa gamme de téléviseurs Smart TV de dernière génération, ainsi que les séries de smartphones et de tablettes, notamment le Galaxy S, le Galaxy Note et le Galaxy C de milieu de gamme. , J et A. (Cette année, le tout premier haut-parleur intelligent intégrant Bixby, le Galaxy Home, rejoindra le club.) En ce qui concerne les fonctionnalités, Bixby a appris à reconnaître des milliers de commandes et à parler allemand, français , Italien, anglais britannique et espagnol. Et grâce à une boîte à outils de développement récemment publiée – Bixby Developer Studio -, elle prend en charge plus d'applications et de services tiers que jamais auparavant.

Mais l’équipe Bixby doit faire face à d’énormes défis, dont le plus important est de stimuler l’adoption. L'étude de marché Ovum estime que 6% des Américains utilisaient Bixby en novembre 2018, contre 24% et 20% des utilisateurs d'Alexa et de Google Assistant, respectivement. Pour en savoir plus sur le développement de Bixby et un aperçu de ce que pourrait être l’avenir, VentureBeat s’est entretenu avec Cheyer avant la session des développeurs de Bixby à Brooklyn aujourd’hui.

Voici une transcription légèrement modifiée de notre discussion.

VentureBeat: J'aimerais en savoir plus sur Bixby Marketplace, le prochain App Store de Bixby. À quoi les clients peuvent-ils s'attendre? Devront-ils rechercher des applications Bixby et les ajouter manuellement, ou pourront-ils lancer des applications avec des mots et des expressions de déclenchement?

Adam Cheyer: Bixby Marketplace sera éventuellement disponible dans le cadre du Galaxy Store, l’app store [on Galaxy phones, Samsung Gear wearables, and feature phones]. Samsung s’engage à créer un lieu unique où vous pouvez acheter des applications, des visages et d’autres objets. Vous pourrez également y trouver des capsules, et les capsules fournies par les développeurs du programme de développement de Samsung auront un placement clé. Mais je pense que le moyen le plus cool d’interagir avec le Marketplace sera de passer par Bixby lui-même.

Vous pouvez déjà prendre un certain nombre d’approches. On est Bixby Home, [the left-most dashboard] sur les écrans d'accueil des téléphones Galaxy. Sur [smartphones], il vous suffit de cliquer sur le bouton Bixby et de glisser pour voir les capsules en vedette et d’autres capsules dans toutes sortes de catégories.

Vous pouvez également découvrir Capsules automatiquement via le langage naturel. Par exemple, si vous dites quelque chose comme: «Emmenez-moi en voiture à San Francisco», répond Bixby «Eh bien, aucun fournisseur de covoiturage n'est activé pour le moment, mais il existe plusieurs fournisseurs sur le marché.» être invité à essayer [the different options] et décidez si vous aimez une marque, une autre ou les deux. Si vous en activez plusieurs, Bixby vous demandera ce que vous souhaitez utiliser par défaut.

En outre, comme vous l'avez suggéré, vous pouvez appeler Capsules avec un nom ou une phrase. Par exemple, vous pouvez dire «Uber, emmène-moi à San Francisco.

VentureBeat: C'est vrai. Alors, à terme, les développeurs pourront-ils facturer leurs expériences vocales – soit pour Capsules elles-mêmes, soit pour les fonctionnalités de Capsule? Je pense à quelque chose qui ressemble à Achats In-Skill d’Amazon, qui prend en charge les achats ponctuels et les abonnements.

Cheyer: Absolument. La première version de Bixby Marketplace ne comportera pas ce que j'appelle des «capsules premium», c'est-à-dire des applications payantes ou des applications avec abonnement. Mais nous travaillons dur pour cela, et nous ferons bientôt des annonces à ce sujet. Nous savons que les fournisseurs de contenu du monde doivent gagner leur vie, et nous allons absolument soutenir cela.

Les capsules transactionnelles peuvent facturer de l’argent. Nous avons des fournisseurs comme Ticketmaster et 1-800-Flowers qui acceptent les achats aujourd’hui, et nous avons travaillé très fort pour réduire le frottement des achats de nos partenaires commerciaux. Si vous avez enregistré votre carte quelque part dans l'écosystème Samsung, Bixby le saura. Vous n'avez qu'à dire «Envoyez des fleurs à ma mère» et la capsule 1-800-Flowers indiquera «Génial – voulez-vous payer avec votre carte habituelle? "

De plus, nous prenons en charge OAuth pour des partenaires tels qu'Uber, qui ont des cartes enregistrées dans des comptes d'utilisateurs. Vous pouvez connecter Bixby et lui attribuer les privilèges d’accès au compte afin que vous puissiez effectuer des achats dans les flux de paiement de ces partenaires.

VentureBeat: Vous avez récemment ajouté de nouvelles langues à Bixby – ils ont rejoint l'anglais, le coréen et le chinois mandarin. Quelles sont quelques-unes des barrières de localisation rencontrées par l’équipe qui amène Bixby sur de nouveaux territoires?

Cheyer: Nous travaillons fort pour lancer au moins cinq nouvelles langues par an, et nous pourrions augmenter ce nombre à l’avenir.

Nous pensons qu’offrir les bons outils et créer un écosystème évolutif permettra aux développeurs du monde entier de créer un contenu fantastique pour les utilisateurs finaux. Ceci est particulièrement important en ce qui concerne la mondialisation, car cela signifie que nous n’avons pas à localiser chaque service. Au lieu de cela, nous fournissons une plate-forme qui offre les mêmes fonctionnalités dans chaque langue.

VentureBeat: En ce qui concerne les outils de développement, l’équipe Bixby a-t-elle étudié les voix neuronales comme celles adoptées par Amazon et Google? Je fais référence à des voix générées par des réseaux de neurones profonds qui paraissent bien plus humains que la génération précédente de voix synthétiques.

Cheyer: Je ne vais pas annoncer quoi que ce soit qui n’est pas encore en production, mais je dirai que Samsung dispose de capacités importantes non seulement du point de vue text-to-speech, mais également de la reconnaissance vocale. L’intelligence artificielle a fait d’importants progrès, et la voix des réseaux de neurones en fait certainement partie. Il y a aussi beaucoup de travail en cours sur la reconnaissance vocale automatique (ASR) – nous passons des approches de modèle de Markov cachées aux réseaux neuronaux purs de bout en bout – et nous voyons les modèles ASR passer du cloud aux dispositifs de pointe tels que les téléphones .

Nous sommes absolument conscients de tout cela et vous pouvez être assurés que nous travaillons dur dans ces domaines.

VentureBeat: Vous avez brièvement mentionné la vie privée. Comme vous le savez probablement, on s'inquiète de la façon dont les commandes enregistrées des assistants vocaux sont stockées et utilisées. Bixby offre déjà un moyen de supprimer des enregistrements, mais l’équipe envisagerait-elle d’introduire de nouvelles commandes ou des paramètres in-app permettant de supprimer encore plus facilement ces données?

Cheyer: Bien sûr, nous sommes ouverts à toutes ces choses. La vie privée est une question importante et à multiples facettes. Pour moi personnellement, ce n’est pas seulement le fait que ma voix a été utilisée pour accorder un modèle particulier de reconnaissance vocale quelque part. Je suis beaucoup plus préoccupé par ce que fait un assistant sur le plan sémantique – ce qu’il sait de moi et pourquoi il me montre certaines informations.

Mais différents utilisateurs vont s'inquiéter de différentes choses. Vous devez proposer différentes méthodes pour permettre aux utilisateurs de contrôler les données des entreprises et leur utilisation de ces données.

Une chose importante à noter est que nous avons laissé le contrôle sur ce que Bixby apprend d’une capacité de plate-forme fondamentale. Je vais vous donner un exemple: avec Bixby, les développeurs peuvent choisir d’utiliser l’apprentissage automatique pour traiter les demandes des utilisateurs. Si je demande à Bixby quel temps il fait à Boston, ce n’est peut-être pas évident, mais je préfère parler de «Boston». La plupart des gens vont choisir Boston, dans le Massachusetts, mais ceux qui vivent au Texas pourraient choisir Boston, au Texas. C’est un peu gênant de devoir spécifier à plusieurs reprises quel Boston vous voulez, c’est pourquoi Bixby est conçu pour connaître les préférences concernant les restaurants, les produits et le covoiturage, aux niveaux mondial et local.

Nous présentons ces connaissances aux utilisateurs dans la page Compréhensions. Ils verront que Bixby a deviné qu’ils parlaient de Boston, au Massachusetts, la dernière fois qu’ils ont posé des questions sur le temps. Si ce n’est pas le cas, ils peuvent le mettre à jour ou préciser qu’ils ne veulent pas que Bixby connaisse ces informations à leur sujet. Ils ont toujours une visibilité totale sur ce que l’on sait de eux et sur la manière dont ils sont utilisés à un niveau très granulaire.

VentureBeat: Diriez-vous que ce degré de personnalisation et de personnalisation est l’un des points forts de Bixby?

Cheyer: Oui. À un haut niveau, la plupart des concurrents fournissent aux développeurs la reconnaissance de la parole et la compréhension du langage, mais c’est à peu près tout. À partir de là, le développeur doit câbler chaque cas d'utilisation et coder à la main tout ce qui se passe ensuite, qu'il s'agisse de demander à un serveur de cartographie de déterminer à quel «Boston» fait référence l'utilisateur.

Bixby est une plate-forme radicalement différente où chaque question posée à l'utilisateur passe par un processus d'apprentissage automatique. Aucune autre plate-forme sur le marché d'aucun concurrent n'a quelque chose comme ça. Nous avons un outil d'intelligence artificielle et, pour chaque cas d'utilisation proposé par un développeur, il écrit le code et s'occupe de l'assemblage, en appelant différentes API, en convertissant les informations d'une API à une autre, en interagissant avec l'utilisateur et en apprenant des interactions. Tout cela vient gratuitement avec la plate-forme. Ce type d'apprentissage, appelé génération de programme dynamique, présente de nombreux avantages en matière de confidentialité et de sécurité. Il en résulte une expérience beaucoup plus riche et un gain de temps considérable en développement.

Une autre chose qui me passionne à propos de l’approche Capsule est que les développeurs peuvent utiliser la même Capsule sur plusieurs appareils. Ils n’ont pas besoin d’une Capsule pour un téléviseur, d’une Capsule différente pour un réfrigérateur et d’une troisième Capsule pour un téléphone. Quand ils construisent une Capsule, cette Capsule est la même Capsule qui prend en charge toutes les langues et tous les périphériques. Ce nouveau système Bixby Views est disponible publiquement afin que les développeurs puissent créer des expériences graphiques multimodales avec la palette de composants la plus riche disponible. Et il y a des conversions automatiques qui permettent aux capsules non modifiées de fonctionner brillamment sur des choses aussi petites que des montres, aussi grandes que The Wall TV et tout ce qui se trouve entre les deux.

La plupart des autres assistants sont principalement utilisés pour les services intégrés fournis avec ces assistants. Malgré des dizaines de milliers de compétences ou d’activités créées par des tiers, très peu d’usages vont aux développeurs tiers pour diverses raisons.

Une des choses pour lesquelles nous nous engageons avec Bixby est de donner autant de pouvoir et de focalisation que possible aux développeurs tiers. C’est vraiment notre plan à long terme pour gagner: disposer d’un écosystème dynamique dans lequel la majeure partie de l’activité et le trafic des utilisateurs sont destinés à des tiers.

VentureBeat: Samsung a récemment annoncé Bixby Routines, une méthode qui permet d’acquérir des habitudes de lancement anticipé d'applications et de paramètres. Avez-vous des mises à jour à partager sur les routines ou toute autre fonctionnalité prédictive qui pourrait bientôt arriver à Bixby?

Cheyer: Samsung a non seulement acquis la technologie de Viv Labs, mais également SmartThings [in August 2014], et l’une des choses que SmartThings fait est qu’elle gère des routines complexes [through SmartThings Cloud]. C’est donc déjà cela, et je pense que les intégrations existantes entre Bixby et SmartThings seront continuellement améliorées – c’est quelque chose à rechercher.

Un cas d'utilisation unique dans le cadre de Bixby, comme la réservation d'un vol, est divisé en environ 60 étapes différentes générées automatiquement et exécutées de manière interactive. Si vous pensez à Routines, cela change simplement différentes étapes – la technologie de base est déjà utilisée dans le développement de Capsule. Les demandes sont toujours principalement spécifiques à une capsule, ce qui limite les possibilités de traitement croisé. Dès que nous ouvrons cela du côté du langage naturel, les capacités d'exécution et de génération de programmes dynamiques sont déjà là.

VentureBeat: Il est juste de dire que l’un des principaux attraits des assistants réside dans la façon dont ils commandent les appareils domestiques de manière transparente. J'aimerais savoir comment l'équipe de Bixby envisage l'intégration de périphériques tiers et peut-être des domaines dans lesquels elle investit du temps et des ressources pour rendre ces interactions plus puissantes.

Cheyer: Pour moi, l'une des grandes annonces de cette année pour Bixby sera l'empreinte de l'appareil. L'année dernière, Bixby 2.0 était disponible sur un seul téléphone, mais Samsung travaille avec acharnement pour transférer le nouveau Bixby sur chaque smartphone doté d'au moins un bouton Bixby et même de certains sans boutons Bixby. En conséquence, le nombre d'appareils dotés de Bixby augmentera considérablement, rien que dans la dimension du combiné. De plus, Samsung commence à utiliser Bixby aujourd'hui sur les réfrigérateurs Family Hub, les téléviseurs intelligents et les futures enceintes Galaxy Home. De nombreux autres appareils, dont je ne peux pas parler, recevront Bixby cette année.

Je pense que quand vous regarderez la fin de l’année, vous verrez Bixby un peu partout. Et comme vous le savez, Samsung compte environ un milliard d'appareils, et la société a déclaré qu'avant 2020, tous les appareils vendus seront connectés. Ils investissent beaucoup pour faire de Bixby une interface de contrôle omniprésente.

VentureBeat: En parlant d'ubiquité, pouvons-nous nous attendre à voir Bixby sur des appareils tiers dans un proche avenir? Les développeurs et les fabricants pourront-ils éventuellement ajouter Bixby à leurs appareils?

Cheyer: C'était quelque chose d'extrêmement important pour moi quand Samsung a acquis Viv. Nous avons toujours voulu faire de l’assistant un écosystème aussi important que le Web et le mobile – une fois que vous disposez d’un écosystème florissant et que les entreprises le prennent en charge, l’assistant devient plus qu’une simple fonctionnalité de l’appareil. Vous souhaitez le faire sur tous les appareils du monde pour générer davantage de demandes et permettre aux utilisateurs de tirer profit de son ampleur.

Samsung s'est engagé envers moi et s'est publiquement engagé à expédier Bixby sur des appareils non Samsung. Cette année, notre travail consistera principalement à diffuser des millions d'appareils Samsung et à ouvrir un marché aux développeurs tiers. Et l'année prochaine ou bientôt, notre intention est absolument d'ouvrir Bixby aux appareils non Samsung.