Apple

Hands on avec la première version bêta publique de macOS 10.15 Catalina d'Apple

Par Maximus63 , le 25 juin 2019 - 68 minutes de lecture

MacOS Catalina d’Apple est un autre raffinement ambitieux du Mac, qui consiste à repenser fondamentalement iTunes et à faire fondre les idées novatrices d’IOS: du sidecar à la continuité de l’esquisse en passant par Screen Time, un tout nouveau monde d’applications Catalyst pour iPad et de nombreuses autres capuche. Mais remarque: Catalina est toujours en version bêta!

macOS Catalina à l'origine: des applications Mac sur un iPad Pro via Sidecar, avec Touch Bar et Apple Pencil

Un peu plus de deux semaines après la première présentation du nouveau macOS Catalina 10.14 lors de sa conférence mondiale des développeurs la première semaine de juin, Apple a publié sa première version bêta publique pour les explorateurs intrépides. Si vous prenez des notes, c'est quelques jours plus tôt que le début de la version bêta publique de Mojave, l'an dernier.

Un souffle de Catalina du passé macOS

La vitesse de développement de la plate-forme Apple continue de gagner du terrain. Le rythme et la direction du Mac ont beaucoup évolué depuis l'ère du «Big Cat» OS X dans les années 2000, où une nouvelle version du système d'exploitation n'était publiée que tous les deux ans et coûtait réellement à l'achat – initialement une mise à niveau de 129 $ pour Mac utilisateurs. Catalina n'est pas seulement gratuit, mais regorge de nouveautés pratiques.

Certaines des principales caractéristiques des versions de Panther, Tiger et Leopard publiées entre 2003 et 2007 semblaient n'être qu'un travail très étrange. Notamment: le tableau de bord excessivement décoré mais peu utile, qui disparaît finalement entièrement à Catalina. Les widgets sont toujours là, ils sont simplement meilleurs sur le plan architectural et plus faciles d'accès depuis le panneau Aujourd'hui du Centre de notifications.

Un autre exemple d’Apple qui se perd un peu dans sa feuille de route antérieure à iOS: la refonte maladroite de Leopard de Mail 3.0 en 2007, qui intégrait Comic Sans Notes et To Dos, et même un lecteur RSS. Il a en quelque sorte sauté au requin pour tracer l'avenir du Mac. C'est pourtant à ce stade qu'Apple a lancé la toute première expérience iPhone. Leopard a en fait été retardé de quelques mois pour permettre à Apple d'achever la première version d'iOS, créant un moment de panique histrionique chez les experts qui s'inquiétait du fait qu'Apple serait en train de vider le Mac entièrement pour devenir la société iPhone.

En 2007, Leopard était la rampe de lancement de l'iPhone. Aujourd'hui, iOS revitalise l'expérience Mac

En réalité, le développement d’iOS insufflerait une nouvelle vie à Mac, comme il le fait toujours à Catalina. En 2007, une grande partie du travail de la plate-forme Mac d'Apple était toujours liée à la transition des logiciels PowerPC et Mac Classic des années 90 et commençait tout juste à introduire un nouveau support pour les applications 64 bits complètes. Aujourd’hui, Catalina abandonne toute une ère d’héritage en dessinant la ligne de conduite du logiciel 64 bits en cours d’exécution.

Entre 2009 et 2013, Snow Leopard, Lion et Mountain Lion ont pris du recul par rapport au glaçage de nouvelles fonctionnalités sur le gâteau du bureau Mac, au lieu de se concentrer sans relâche sur les performances et la stabilité. Le Mac a également commencé à intégrer de nombreuses fonctionnalités créées par Apple pour iOS, notamment un App Store, des gestes multitouch sur le pavé tactile, des documents et des données iCloud, des messages compatibles avec les appareils mobiles et un centre de notifications.

MacOS a commencé à copier les mises à jour annuelles gratuites des systèmes d'exploitation qu'Apple avait introduites plus tôt pour iPhone en 2007. Un foisonnement de fonctionnalités très précieuses ont commencé à crier depuis Cupertino, en grande partie grâce au la R & D payait déjà avec les bénéfices provenant de la base installée beaucoup plus grande d'iOS: iBooks, cartes, photos, avancées techniques, y compris les graphismes en métal, la nouvelle apparence «clarté et respect» d'iOS 7 et l'intégration de plus en plus étroite entre iOS et macOS via la continuité sans fil prenant en charge le transfert de documents et les appels téléphoniques.

En fait, une grande partie de ce que Apple a montré lors de la WWDC19 de cette année a consisté à exploiter ses efforts antérieurs, en intégrant davantage de fonctionnalités iOS, de nouvelles technologies et infrastructures partagées, ainsi qu'une harmonisation plus poussée et une intégration plus étroite avec les plates-formes mobiles d'Apple.

Cette synergie est également évidente dans le matériel. Les nouveaux Mac dotés du silicium T2 personnalisé d’Apple prennent désormais en charge les fonctionnalités conçues à l’origine pour les appareils iOS, notamment Touch ID, le cryptage avec accélération matérielle et les codecs multimédias, la sécurité avancée, Hey Siri et le Touch Bar dynamique avec QuickType. Touch Bar est essentiellement un appareil iOS intégré aux récents MacBook Pro. Cette année, il est intégré au nouveau Sidecar de Catalina (comme indiqué ci-dessous).

Catalina présente également la nouvelle SwiftUI conçue pour accélérer la programmation d'interfaces utilisateur avancées en exploitant les fonctionnalités de Swift. intelligence d'apprentissage machine avancée utilisée en interne dans macOS et dans des applications telles que Photos et Rappels; une énorme extension de Continuity qui transforme un iPad en écran secondaire compatible avec les crayons pour votre Mac moderne (y compris quelques modèles sortis avant la puce T2); et les infrastructures Catalyst créées pour adapter les applications UIKit iPad existantes à une exécution native sur Catalina.

SwiftUI apporte des outils de conception d'interface utilisateur accélérés et rationalisés au Xcode de Catalina

Pour les utilisateurs finaux, Catalina apporte l'expérience habituelle des applications de lecture multimédia iOS, offrant une expérience iTunes simplifiée désormais optimisée pour Apple Music, même si vous pouvez toujours travailler avec votre bibliothèque de téléchargements multimédia existante et continuer à acheter sur iTunes Store si vous aimez. Il existe désormais des applications séparées optimisées pour la gestion des podcasts, des livres et des livres audio, ainsi que la toute nouvelle application Apple TV pour la gestion de la diffusion en continu de films et de programmes télévisés, la location et les nouvelles chaînes d'abonnement proposées comme solution de rechange par câble à la carte.

Le Mac dans MacOS Catalina

L'année dernière, j'ai constaté que l'objectif général de la version bêta publique de macOS Mojave semblait viser à faire du Mac le système informatique de bureau idéal pour les utilisateurs iOS. Apple n’essayait plus vraiment de séduire les utilisateurs de PC sous Windows, en grande partie parce que Windows n’était plus aussi important, ni le public le plus attrayant pour lequel Apple vendait ses Mac.

Le propre iOS d’Apple représente une base de pêche plus vaste, plus moderne et plus attrayante sur le plan commercial, en particulier lorsque vous limitez les utilisateurs de PC sous Windows au segment premium qui sont prêts à payer un prix raisonnable pour du matériel de qualité. Plutôt que d’être un «fabricant alternatif de PC» dans une multitude de machines Windows classiques, Apple dessert aujourd'hui environ un milliard et demi d’appareils dans le monde: sa base installée compte plus de 100 millions d’utilisateurs Mac, environ 400 millions d’iPad et près d'un milliard d'utilisateurs d'iPhone.

Pour une nouvelle génération de jeunes adultes, les appareils mobiles modernes sont bien plus pertinents que l'ancien monopole de Win32 et d'Internet Explorer de Microsoft, qui était autrefois essentiellement le domaine technique, il y a vingt ans. Il est donc logique qu'Apple souhaite tirer parti de son travail pour créer la première marque mondiale d'appareils mobiles premium avec iOS afin d'améliorer le Mac afin de rendre la plate-forme de bureau plus familière à son énorme base installée iOS.

Cependant, le simple fait d’apporter des idées à partir d’iOS – y compris les nouvelles applications Catalyst pour iPad – ne signifie pas qu’il abandonne ce qui a rendu le Mac unique et puissant. En fait, l'un des messages clairs de la WWDC19 était qu'Apple investissait massivement dans le haut de gamme avec son nouveau matériel Mac Pro conçu pour offrir des performances extrêmes dans des flux de production créatifs et informatiques impossibles à réaliser sur des appareils mobiles, y compris l'exécution du code Xcode d'Apple. développer des logiciels pour tous ces appareils iOS.

Le nouveau Mac Pro d’Apple démontre une solide prise en charge de la création de contenu puissant dans macOS Catalina

Le nouveau Mac Pro va même au-delà du matériel costaud iMac Pro introduit il y a un an avec une intention similaire. Apple vient également de sortir ses nouveaux ordinateurs MacBook Pro dotés d’impressionnantes capacités de calcul et de mémoire qui les différencient nettement des meilleurs modèles d’iPad Pro. Et dans tous les domaines, des iMac 5K aux mini-ordinateurs Mac plus costauds, Apple a positionné le matériel Mac comme un groupe haut de gamme d'ordinateurs puissants, capables d'effectuer des travaux de bureau complexes et classiques.

Mais au-delà du matériel, Apple a également différencié le Mac de ses appareils mobiles iOS via un logiciel. Les iPad ont hérité des modes ciblé Plein écran et Écran divisé de l'iPad, mais ils conservent la possibilité de travailler avec des arrangements complexes de fenêtres superposées sur plusieurs espaces de bureaux virtuels qui n'ont tout simplement pas beaucoup de sens sur une tablette ou un téléphone portable mobile.

Si vous examinez Catalyst ou SwiftUI de plus près, vous réaliserez qu'Apple souhaite clairement préserver les fonctionnalités de plate-forme uniques de l'informatique «semblable à Mac» plutôt que d'essayer de fusionner ses plates-formes dans un hybride iOS-Mac. Les directives d'interface humaine pour les utilisateurs d'Apple énoncent quatre "thèmes principaux" qui différencient les applications macOS des applications iOS, tvOS et watchOS: "souples, étendues, capables et ciblées".

Il n'y a aucun effort pour installer des applications iPhone sur le bureau en tant qu '"accessoires de bureau" et aucun projet de transformer le Mac en iPad glorifié. L’approche d’Apple peut sembler évidente, mais c’est un état d’esprit diamétralement opposé aux efforts de longue date de Microsoft pour transformer les PC Windows 10 en hybrides tactiles détachables pour tablettes exécutant le même logiciel que les appareils mobiles et les grands écrans, ou aux efforts de Google pour transformer les téléphones mobiles et les netbooks en une sorte de mashup Chrome-Android qui ressemble à un phablet s'est occupé avec un netbook à clapet.

En fait, cette année, Apple a encore différencié même son expérience iOS à une main du nouvel iPadOS optimisé pour les tablettes, tout en les différenciant des Mac classiques. C’est la même stratégie qu’elle a suivie avec Apple TV et Apple Watch – chacune d’elles ayant une expérience personnalisée adaptée à son facteur de forme et à son utilisation, et non pas uniquement à l’extension la plus large possible de la marque.

À en juger par les résultats d’Apple, il semble que ce soit clairement le bon chemin. Apple est la seule entreprise à concurrencer avec succès les PC et tablettes et téléphones et dans les wearables et les box TV. Attendez-vous donc à ce que le Mac continue sur sa trajectoire en tant qu’ordinateur de bureau distingué qui s’intègre étroitement aux appareils mobiles sans s’en fusionner.

Plus de Mac que jamais

Le succès retentissant d'Apple dans la vente d'un quelques centaines de millions Chaque année, les appareils mobiles ont détourné l'attention de la société de sa plate-forme Mac d'origine, où elle ne vend "que" environ 20 millions d'unités par an. De toute évidence, il serait irresponsable et tout simplement stupide pour Apple de ne pas concentrer ses ressources là où il gagne le plus d’argent et où l’opportunité commerciale est la plus grande.

IPhone et iPad se sont rapidement éclipsés –énormément—La portée et la portée mondiales que Macintoshes aurait pu espérer atteindre. Cependant, avec le ralentissement de la croissance des ventes d'iPhone – il n'y a plus de marchés de taille chinoise avec une classe moyenne de taille américaine en attente de percer soudainement sur le marché des smartphones – Apple est maintenant en mesure de tirer davantage parti du travail déjà accompli pour iOS d'une manière qui profite à sa plate-forme informatique de bureau.

Et maintenant que Apple possède une base d'utilisateurs aussi vaste dans le monde, un chiffre qui continue de croître même si croissance des ventes unitaires aplatit ou même recule – il peut désormais se concentrer sur une ultime phase consistant à fournir à ces utilisateurs des informations et des services de divertissement utiles, notamment les jeux vidéo Apple Arcade, les nouvelles et les périodiques, le contenu original de TV + et la prochaine carte Apple.

Plus tôt cette année, Apple a dévoilé de nouveaux services personnalisés pour chacune de ses plateformes.

Alors que Service Event d'Apple avait été bafoué par un média de technologie qui souhaitait surtout se divertir avec de nouvelles babioles brillantes, les nouveaux services d'Apple feront plus pour créer un intérêt pour le Mac que certaines nouvelles fonctionnalités du système d'exploitation ou l'introduction tranchante d'un nouveau matériel.

En regardant seulement les chiffres des ventes unitaires, le Mac ne représente que dix pour cent des affaires d’Apple. Cependant, les Mac ont une importance disproportionnée pour Apple car ils servent principalement le précieux marché de 1 000 dollars et plus, et en raison de leur importance stratégique dans la création de contenu professionnel et dans la programmation du code qui pilote tous les appareils Apple.

Quoi de neuf dans macOS Catalina: des applications Mac tierces plus nombreuses et plus performantes

Cela explique pourquoi la plus grande nouveauté absolue pour le Mac cette année est quelque chose que beaucoup d'utilisateurs finaux n'apprécieront pas directement, mais ils en tireront certainement des avantages. C'est tout le nouveau travail qui arrive en Xcode 11, Environnement de développement intégré d’Apple pour la création et le débogage du logiciel fonctionnant sur les plates-formes d’Apple.

La version bêta de Xcode 11 peut déjà fonctionner sur le MacOS Mojave de cette année, ce qui signifie que les développeurs peuvent maintenant commencer à l'utiliser avec une version stable de macOS sans attendre qu'Apple ait terminé toutes les fonctionnalités de la version de Catalina, bien que certaines de ses fonctionnalités les plus convaincantes nécessiteront son bon fonctionnement. Catalina pour le déploiement.

Le Xcode 11 de Catalina est conçu pour vous aider à créer de meilleures applications pour toutes les plates-formes Apple

Bien que de nombreuses fonctionnalités de Xcode 11 soient hautement techniques (Apple offre une vue d'ensemble accessible sur son site de développement), la nouvelle version fournit notamment un assistant éditeur intelligent qui présente automatiquement les fichiers pertinents à titre de référence lorsque vous travaillez dans l'éditeur de code principal; une nouvelle mini-carte présentant une vue miniature de longues étendues de code afin que vous puissiez visuellement passer rapidement d'une région à une autre; prise en charge de SwiftUI et de ses nouveaux outils de conception glisser-déposer pour le prototypage rapide et la visualisation en temps réel de la manière dont le code d'interface utilisateur va apparaître sur une grande variété de périphériques; et prise en charge de Catalyst pour la création d’applications Mac natives à partir de projets de code iPad, avec la possibilité de soumettre l’application terminée au Mac App Store ou de la notariser pour une distribution flexible indépendante.

Xcode 11 est important même pour les utilisateurs de Mac qui ne prévoient jamais d'apprendre le développement d'applications par eux-mêmes. En effet, cela signifie que les développeurs disposeront d'outils de plus en plus sophistiqués pour les rendre plus productifs et efficaces dans l'écriture de nouvelles applications Mac, l'amélioration et le débogage de leurs titres existants, ainsi que dans l'intégration de nombreux titres iPad existants, y compris des jeux, sur Mac.

Xcode 11 et Catalyst permettront aux utilisateurs de Mac d'accéder à davantage d'expériences natives «riches en applications» qui, autrement, obtiendraient simplement une application Web (pensez à Twitter), ainsi qu'un plus grand choix d'outils interactifs et éducatifs. Lors de la WWDC19, Apple a présenté "Fender Play", un titre vidéo pour apprendre à jouer de la guitare. Un autre exemple cité sur son site de développeur est "Proloquo2Go", un titre iPad existant conçu pour permettre aux personnes handicapées de communiquer visuellement. Maintenant, il fonctionne sur Mac.

Catalyst est conçu pour exploiter le même code sur toutes les plateformes, avec une apparence et des fonctionnalités appropriées

Catalyst tire efficacement parti des efforts déployés par les programmeurs tiers pour desservir les centaines de millions d'utilisateurs iOS d'Apple; il est ainsi plus facile d’apporter ces efforts déjà achevés sur Mac, où la base installée n’a pas la taille voulue et la masse critique requise pour générer de plus petites niches de demande. Cela revêt une importance cruciale pour un large éventail d'utilisateurs spécialisés, des équipes de développement d'entreprise aux plus petites start-ups qui cherchent à atteindre le plus grand nombre d'utilisateurs de la manière la plus efficace possible.

Catalyst proposera également davantage d’options de jeu sur Mac à partir de la vaste bibliothèque de divertissement iOS. Apple a visionné "Asphalt 9: Legends" de Gameloft, un jeu de course décontracté qui passait rapidement d'iPad à Mac tout en améliorant automatiquement ses graphismes, via Metal, pour tirer pleinement parti du GPU plus puissant de votre Mac et du plus grand écran auquel vous êtes connecté. il. Gameloft a découvert qu'il était possible d'adapter son jeu Catalyst pour tirer pleinement parti du sous-système de mémoire plus puissant du Mac, avec seulement quelques ajustements de performances, ce qui leur permettait de restituer des voitures dans le jeu avec des détails incroyables avec des reflets de lumière photoréalistes.

Catalyst semble être un composant essentiel de la prochaine architecture Apple Arcade, spécialement conçue pour créer un modèle commercial prenant en charge le travail visant à apporter des centaines de nouvelles expériences de jeu vidéo sur Mac. Arcade permettra également aux joueurs de se déplacer sans effort entre les mêmes jeux fonctionnant sur leurs Mac, iPad, iPhone et Apple TV.

Si vous avez regardé l’état des jeux sur Mac, vous vous souviendrez sûrement que Apple luttait depuis des années pour séduire les développeurs sur sa plate-forme PC minoritaire. Apple Arcade promet de changer littéralement le jeu pour les Mac.

Nouveaux outils de réalité augmentée Mac

Une autre idée de développement avant-gardiste introduite dans macOS Catalina est Compositeur de réalité, une nouvelle application pour la création de mondes de réalité augmentée. Apple aurait pu nommer sa nouvelle application «Keynote 3D», car elle fonctionne efficacement comme outil de productivité pour la présentation de modèles 3D USDZ animés dans l'espace, avec des actions et des effets sonores associés qui créent des «présentations» animées et interactives que vous pouvez visualiser et explorer à partir de. n'importe quel angle de caméra.

Reality Composer de Catalina facilite la construction de mondes AR pour les utilisateurs iOS

Vous pouvez déclencher vos animations et effets définis dans un monde "Reality" via la proximité (de sorte qu'un objet commence à interagir à mesure que vous vous en approchez) ou à intervalles réguliers ou lorsque vous appuyez dessus. Cela permet de créer le type d’expériences AR riches et interactives qu'Apple a montrées lors de ses événements – telles que les vues éclatées et explosives du nouveau Mac Pro présenté à WWDC19 – et dans son nouveau centre des visiteurs Apple Park, où les iPad permettent aux utilisateurs de explorer virtuellement divers éléments de ses nouvelles installations.

La nouvelle application Reality Composer génère un "fichier de réalité" que vous pouvez prévisualiser en 3D sur un Mac à l'aide de QuickLook ou Aperçu, et voir en plein AR sur un appareil iOS, en plaçant votre modèle interactif dans la vue immédiate de l'appareil photo. Les fichiers de réalité peuvent également être incorporés dans des applications techniques, éducatives ou d'exploration afin de permettre aux auteurs même techniques de créer facilement des expériences interactives et animées pouvant être explorées dans AR.

Les développeurs peuvent en outre tirer parti du nouveau cadre RealityKit comprenant une API Swift dans Catalina pour créer par programme des scènes de RA comportant le même type d'animations, de physique, d'effets de caméra et de rendu ultra-réaliste basé sur la physique, avec ombres portées et réflexions environnementales. Reality Composer peut créer. Apple a également amélioré ARKit 3 pour appliquer le flou de mouvement et même le grain de la caméra aux graphiques AR afin de les rendre plus réalistes lorsqu'ils sont visionnés à l'aide d'une caméra mobile composée en vidéo réelle.

Apple investit beaucoup dans la transformation du Mac en une machine de création de RA. Les progrès rapides réalisés par ARKit au cours de l’année écoulée pourraient donner l’impression que Apple consacre beaucoup de ressources à une technologie qui, au départ, pourrait sembler être la meilleure solution pour ajouter simplement une nouveauté supplémentaire aux jeux. Mais lors de la WWDC19, deux commentaires m'ont clairement fait comprendre pourquoi Apple fait de l'AR une telle priorité et pourquoi l'ARKit actuel ne constitue pas une répétition d'initiatives telles que QuickTime VR d'Apple datant des années 90, une plateforme amusante et futuriste pour la création de mondes explorables qui jamais vraiment trouvé sa niche.

Premièrement, il existe un véritable modèle d'entreprise prenant en charge l'utilisation de la RA dans les applications commerciales. Les entreprises qui ont adopté la RA comme moyen de démontrer le placement de produits directement chez leur client ont vu leurs ventes augmenter d'environ 3 fois. L'argent fait bouger les choses! Et deuxièmement, les développeurs travaillant dans le secteur de l’éducation ont fait remarquer que la RA était un moyen important d’attirer et de retenir l’attention des jeunes. Vous pourriez penser à cela comme l'équivalent moderne de voir l'enseignant lancer le lecteur VHS dans la salle de classe. Quand vous voyez les jeunes esprits s'illuminer, ce pouvoir d'engagement dans l'éducation est aussi convaincant que l'argent.

Il n’est pas difficile de spéculer sur l’endroit où Apple se tournera peut-être vers l’avenir, des «vidéos AirPod pour vos yeux» aux peut-être des pare-brise. Quel que soit le matériel à venir pour rendre la RA encore plus pertinente et attrayante que les appareils iOS actuels, Apple veut être prêt avec une plate-forme capable de créer la "réalité" pour les expériences de RA et de réalité virtuelle. Cet avenir arrive rapidement avec les outils et les cadres de développement AR étendus de macOS Catalina.

Mac en tant que créateur d'apprentissage automatique

Parallèlement à AR, Apple a également beaucoup contribué à l'apprentissage automatique. Les appareils iOS sont maintenant capables d’exécuter des tâches de niveau local sur l’appareil, permettant des actions d’intelligence artificielle avancées – de l’identification d’objet à la reconnaissance sonore en passant par la compréhension de mots écrits – qui nécessitaient auparavant une connexion Internet et impliquaient des zones grises concernant la confidentialité et la sécurité des données.

Le Core ML 3 peut désormais non seulement exécuter le ML local directement sur votre appareil iOS, mais aussi personnaliser les modèles de ML afin que vos applications puissent connaître vos préférences et vos routines et s'ajuster intelligemment de manière spécifique, en exploitant le même type d'apprentissage individuel. qui permet à Face ID de s’adapter à votre apparence lorsque vous changez de cheveux, de lunettes et de vêtements. Cet apprentissage local est entièrement privé pour vous, vous n'avez donc pas à vous soucier de la création par les applications de dossiers détaillés vous concernant qui se retrouvent sur un serveur que Facebook ou Yahoo ont décidé de laisser de côté et totalement non chiffré.

Sur le Mac, les développeurs peuvent maintenant utiliser Créer une ML développer et former leurs modèles à l’aide de bibliothèques d’échantillons de données directement sur leur machine, sans recourir à un serveur de formation modèle. La formation ML peut même tirer parti de la prise en charge du processeur graphique externe fournie récemment par Apple pour les nouveaux Mac, en exploitant le puissant matériel eGPU pour organiser des sessions de formation ML complexes.

Parallèlement à ARKit et à Reality Composer, Create ML crée un tout nouvel objectif créatif pour les Mac, qu'il s'agisse de développer des titres de Mac intelligents ou de créer des applications iOS dotées d'une intelligence super intelligente qui se développe et se développe avec le temps. À Catalina, Apple s’efforce de rendre ces outils faciles à utiliser et puissants.

Create ML construit des modèles permettant de développer des applications aussi intelligentes que celles d'Apple

Apple 5.0 réorganisé Photos 5.0 avec ML avancé

Au cours des deux dernières décennies, Apple a créé et développé une série "d'iApps" qu'elle a commencé à intégrer à son nouveau matériel Mac. Catalina's Photos 5.0, anciennement "iPhoto" de 2002 à 2015, présente une série de nouvelles fonctionnalités Mac qui sont également publiées en parallèle pour iOS 13. En fait, Photos est en quelque sorte emblématique de la direction actuelle prise par Apple dans son développement coordonné. de ses appareils mobiles et du Mac.

Le regroupement précédent "Photos, Moments, Collections et Années" de votre bibliothèque Photos est désormais plus simplement "Jours, mois, années et tous". Les trois premières présentent des collections contextuelles de vos souvenirs afin que vous puissiez passer en revue les événements importants et récents survenus au cours des mois et des années précédents. Photos utilise l'intelligence centrée sur l'apprentissage automatique pour identifier vos meilleurs clichés, où les sujets sont nets et bien cadrés.

En interne, macOS Catalina prend désormais en charge les nouveaux frameworks ML Vision qui permettent d’identifier non seulement les photos les plus intéressantes visuellement, mais également les plus intéressantes. parties d'une photo, un concept qu'Apple appelle "saillance". Le cadre Vision peut prendre n’importe quelle photo et créer intelligemment une carte thermique de ce qui, selon lui, va attirer l’attention de l’homme, comme les personnes et les visages.

Cela permet à Photos de rogner et d’arranger automatiquement vos images dans les aperçus Days qui semblent être des albums créés par des professionnels, présentant vos amis, votre famille, des clips d’action et des paysages dans de superbes aperçus. Lorsque vous ouvrez une image, vous obtenez l'image complète dans son format d'origine. Vous pouvez également la rogner et l'ajuster manuellement à l'aide de modifications non destructives.

L'intelligence sous-jacente définit différentes tailles d'images, ainsi que des photos et des vidéos Live en direct qui prennent vie lorsque vous les faites défiler. Il est même assez intelligent de ne pas tout lire en même temps, créant ainsi un portefeuille dynamique et visuellement intéressant de vos meilleurs clichés, qui ne soit pas excessivement occupé.

Par exemple, dans la vue Mois de mes photos ci-dessous, la fontaine du Seattle Center commence à s'animer car je l'ai filmée dans SloMo, puis la vidéo de natation sous-marine capturée à l'aide d'un iPhone est lue, suivie d'une vidéo montrant des personnes en train de tirer de la diapositive à l'écran. Festival Eclipse. Ces événements animés, qui se déroulent de manière séquentielle et se déroulent lorsque je navigue dans ma bibliothèque de photos mensuelles d’il ya deux ans, sont à la fois nostalgiques et touchants et me donnent envie de plonger et de voir plus d’images liées à des aventures et des voyages de cet été.

Photos sélectionne les images des collections Années et Mois pour vous aider à revoir les événements précédents

Lorsque vous passez en revue Mois et années, vous voyez une sélection plus restreinte de ce que Photos considère être les points forts des derniers mois ou des dernières années. Sélectionnez une image d'année pour ouvrir vos albums mensuels de cette année. Sélectionnez une image mensuelle et les principales photos de ces jours sont affichées.

Cependant, il n’existe pas de moyen évident de modifier les sélections intelligentes "totalement artificielles". En plus de masquer manuellement une image, elle est extraite de votre collection en tant qu’événement majeur, alors qu’en réalité, il s’agit d’une photo embarrassante ou préférerais oublier.

Les photos peuvent également créer automatiquement des séquences vidéo mémoire à partir d'un événement. Il vous suffit donc de définir un titre, une ambiance et une durée. Les films mémoire que vous préférez sont synchronisés sur vos appareils, ce qui vous permet d'afficher des albums et des clips de qualité professionnelle sur votre iPhone ou sur un iPad du salon, qui constitue l'album de famille du futur.

Apple fournissait déjà la technologie permettant de reconnaître les personnes, les lieux, les objets et les scènes des versions précédentes de Photos, ce qui vous permettait d'effectuer des recherches avancées à l'aide de ces métadonnées de l'IA. Vous pouvez même effectuer une recherche via Siri, par exemple en demandant "montre-moi mes photos de clowns à Washington D.C." Des fonctionnalités supplémentaires de "personnalisation" vous permettent également d'identifier les moments importants tels que les anniversaires, les anniversaires et les vacances, bien que, parfois, la machine ne l'obtienne pas parfaitement.

En particulier, l'intelligence utilisée par Apple pour créer des mémoires pourrait aboutir à des résultats surréalistes. Par exemple, Photos a créé pour moi un souvenir du «Jour de l'indépendance au fil des ans», qui comprenait des photos d'un barbecue avec des amis, des photos de la tarte aux pommes, des feux d'artifice, une image mystérieuse de certaines voitures choisies la nuit, et des images complaisantes et incriminantes. les photos que j'ai prises dans une baignoire.

Ce serait intelligent si Apple pouvait utiliser une intelligence pour séparer votre scandaleux les photos dans un dossier personnel de purgatoire qui n'est pas utilisé pour générer des films de mémoire. Ce serait également bien si vous pouviez identifier certains visages reconnus comme étant des "personnes que je ne veux pas voir en ce moment". Salut Apple, si tu as besoin de données d'entraînement, j'en ai des tonnes!

Ma bibliothèque de photos contient plus de 80 000 photos, certaines regroupées et quelques idées et expériences aléatoires. De temps en temps, je voyais un film de mémoire suggérer qu'il ne s'agissait que d'un seul coup au hasard soutenu par une guitare acoustique avec un effet Ken Burns appliqué. Dans d'autres cas, comme lorsque je visionnais une série de photos que j'avais prises lors d'un festival de musique sous l'onglet Jours, qui réduit vos prises de vue à une sélection de ce qu'elle considère être le meilleur, les photos ont en fait automatiquement créé une belle séquence vidéo. cela s'est vraiment bien passé.

Cliquez sur le bouton points de suspension, et Photos vous proposera de créer un film mémoire pour vous.

L'un des aspects les plus impressionnants de la magie de l'intelligence ML de Apple présentée dans Photos est que les technologies sous-jacentes sont également accessibles à des tiers, ce qui permet aux développeurs de créer leurs propres applications intelligentes capables d'analyser des images, des vidéos, du texte et même de lire les mots. sur les signes et les convertir en texte à analyser de différentes manières.

Apple a beaucoup à dire sur son travail en matière de ML à la WWDC19, en mettant l'accent sur toute cette magie tout en respectant la vie privée et la sécurité des utilisateurs. Ainsi, en plus de voir "plus d'applications" comme décrit ci-dessus, nous allons également voir des applications plus intelligentes, dont certaines avaient déjà été affichées par les développeurs il y a plusieurs semaines.

Un exemple étonnant que j'ai vu est Fretello, une application iOS d'apprentissage de la guitare développée par un développeur autrichien. Une version à venir utilise le Core ML d’Apple pour écouter les sons que vous jouez afin de vous faire part de vos commentaires. Il utilise même l'analyse vidéo ML pour reconnaître le placement de vos mains et de vos doigts lorsque vous jouez devant un appareil photo, car il vous apprend la dextérité pour jouer des accords. L'avenir est à venir!

La nouvelle musique de Catalina 1.0

De la même manière qu'Apple est passé d'iPhoto à Photos il y a quatre ans et est revenu du numéro de version de l'application de 9,6 à 1.0, il passe maintenant d'iTunes 12.9 à Music 1.0, alignant les conventions de nommage des lecteurs multimédias du Mac sur iOS et abandonnant le vénérable surchargé "iTunes" marque entièrement.

La musique a un nouveau nom, mais c'est vraiment un iTunes optimisé pour écouter de la musique

Cependant, la nouvelle application Musique ne repart pas à zéro. Il semble que la nouvelle musique soit en réalité une version renommée et remaniée du même AppKit iTunes pour Mac codebase. C'est en fait une bonne nouvelle, car recommencer à zéro signifie généralement de nombreux nouveaux bogues dans ce tout nouveau code, ainsi que de nombreuses fonctionnalités manquantes. Cela était évident à la fois lors de l'introduction initiale du tout nouveau Mac OS X en 2000 et de la réécriture majeure de Final Cut Pro X en 2011. Le "nouveau" Music prend toujours en charge des fonctionnalités telles que iTunes Classic Visualizer et Equalizer.

La version actuelle d'iTunes d'iTunes à Mojave a été modifiée, mais elle n'a pas été complètement actualisée depuis la première version de la version 12.0, arrivée dans Yosemite en 2014. Et cette version n'était en réalité qu'un rafraîchissement simplifié de l'interface utilisateur introduite dans iTunes 11, qui est apparue pour la première fois Il y a sept ans en 2012 avec Lion.

Il est un peu surprenant qu'Apple n'ait pas traité auparavant le fouillis monolithique et tentaculaire d'une méga-application, compte tenu de l'importance d'iTunes pour Apple. Il a fait ses débuts avant le lancement de l'iPod de 2001. Puis, en 2003, il a lancé iTunes Store et le support de Windows dans iTunes 4. Il a commencé la podcasting en 2005. En 2007, Apple TV et iPhone ont été intégrés à iTunes 7 et les locations de films en 2008. En 2011, iTunes a été diffusé dans le nuage. , puis Apple Music en streaming en 2015.

La façon dont les gens utilisent iTunes a radicalement changé au cours des 18 dernières années, tandis que l'application elle-même est restée en grande partie inchangée, même si elle contenait diverses nouvelles fonctionnalités. En fait, Apple s’est adressé à iTunes, il ne l’a fait que sur iOS. Sous macOS Catalina, la même refonte d'applications distribuées, basée sur des tâches, est maintenant sur Mac.

Soulignant l'intention d'Apple d'utiliser Catalyst pour créer des applications iPad sur Mac d'une manière si transparente que les utilisateurs de Mac ne pourront même pas s'en apercevoir, il est difficile de distinguer une différence dans l'apparence, la convivialité et la réactivité de Music nouvelle application Podcasts, développée par Apple en tant qu’application Catalyst UIKit partageant son code principal avec la version iPad. C'est également une bonne nouvelle, compte tenu en particulier des difficultés inhérentes aux premiers exemples d'applications UIKIt sur un Mac de l'année dernière, qui semblaient bien étrangers et portés depuis un autre monde.

En fait, la musique et les podcasts se ressemblent tellement qu'ils semblent ennuyeux. Les chromes des deux sont blancs de base dans l'apparence de la lumière et tout à fait noirs dans le mode sombre. This deference of the UI makes the app's content really pop, but there is none of the ornamentally skeuomorphic music player character of the old iTunes to be seen anywhere. Overall, both look a bit like the Finder with less sidebar vibrancy, although they feature a nice balance of color in their icons.

Perhaps that's appropriate, as we're no longer needing to associate the Mac's music app with a jukebox or physical media player that nobody really ever uses anymore. The clean lines of Music feel more like a web browser, where you're focused on the content, not the illusion of some old-timey music playback machine. And while the Finder-like sidebar layout feels a bit formulaically simple, the minimal new layout of Music makes a lot more sense than the weirdness of iTunes with its 18 years of overloaded baggage that required modal popup menus to switch between Music, Movies, TV Shows, Podcasts, and Audiobooks.

This again speaks to the fact that Apple has spent the last several years ignoring the mess of iTunes on the Mac while charting out the future interface for Apple Music and Podcasts primarily on iPhone, iPod touch, and iPad, where the most users were listening to their music and podcasts. Earlier this year, Apple introduced its newly rethought TV app on, of course, Apple TV, connected to the best screen in your house to enjoy movies and TV. In Catalina, Apple is bringing the clean, content-focused Music, Podcasts, and its new TV app and dropping all three on the Mac as a replacement for iTunes.

The beta left me stuck in Germany, so I enabled Dark Mode.

Now, Music features Apple Music's For You, Browse, and Radio views, your own music library presented by Artist, Album and Songs, optionally the iTunes Store, and your devices and playlists in the sidebar. In Preferences, you can disable either the iTunes Store or Apple Music to tailor the Music app to fit your personal style. Or use both (above, in Dark Mode).

Your own Music Videos remain in the Music app, and are now easier to find as a top item of your library. Music Videos on Apple Music are still a bit hidden within the "more to explore" content under Browse. It feels like Apple hasn't previously made music videos a priority in iTunes, enabling Vimeo and YouTube to serve as more popular ways to watch them. However, this appears to be slowly changing; Apple is now featuring individual videos at the top of Apple Music, along with some of its own documentaries and shorts.

Music now makes your music videos a top level item

Apple TV has also made it easier to sit back and watch the mesmerizing art being cranked out in tandem with new songs in its Apple Music app. With Apple aggressively entering the content creation business, I'd like to see the company also invest in new forms of video content, from conventional music videos to the kinds of iTunes LP Extras it once promoted. Being able to visually discover new music playing in a curated channel would be a powerful differentiator for Apple Music and Apple TV+.

In the Public Beta, I had a lot of problems linking to my Apple Music account, in part because the system ran into confusion between my physical location in Europe and the fact that my account is tied to the U.S. store. I could also browse the iTunes Store, but only the Germany version. The store region selection feature didn't work for the iTunes Store, and I couldn't even see an option for configuring my Apple Music region.

My local library items all appeared to work fine, and while I could see my attached iPhone, I couldn't consistently select it to see songs I'd manually copied over. I also couldn't drag songs to it, although that's all supposed to eventually work within Music.

The new Music app also puts a greater emphasis on song lyrics, optionally presenting them as you listen to a song and adding a Music toolbar button dedicated to Lyrics, which were previously buried in the Up Next and playback History panel. There are enough things left to fix in the Catalina beta that there isn't a lot to say about how well Music actually works yet for streaming or buying, but these aren't new and uncharted features for Apple.

The distributed bits of the former iTunes: Podcasts, Books, TV & Finder

So where's the rest of what iTunes formerly did? Podcasts are obviously in the new Podcasts 1.0 app, which provides a clean, streamlined interface devoted to the programs you listen to without the other clutter of iTunes. As noted above, it's similar enough to Music so that it's instantly familiar.

Podcasts breaks episodic content out of Music

Being its own separate app now allows Podcasts to present a sidebar of items that makes sense for managing episodic radio-like content. Apple's directory of Podcasts is presented similar to Apple Music, with Listen Now, Browse and Top Charts listings. Your local library is presented as Recently Updated, Shows, Episodes, and Downloaded, making it easier to follow your favorites.

Podcast search is also being enhanced. Apple is creating transcriptions for all of the hundreds of thousands of audio podcasts that it lists. This will enable users to search for episodes by subject keywords, even if you don't know the name of the show or the episode. You'll also be able to search podcasts by the host, guest appearances, and other metadata details. Podcasts also uses Siri intelligence to suggest shows similar to ones you've listened to.

The new Podcasts interface will be conceptually familiar to iOS users, as it's based on the same underlying code, albeit with a UI retooled to make sense on a desktop computer. One advantage of Apple sharing its Podcast app code between iOS and the Mac via Catalyst is that it can more effortlessly introduce new features for both platforms at the same time.

iTunes' audiobooks and the Audiobooks Store are now more logically located in Books 2.0, next to your library of standard ebooks, PDFs, and Apple's Book Store. Books 1.0 was refreshed last year in Mojave, also dropping the "iBooks" name. And in a sort of wonky way, it retains the "2018 appearance" it shares with Mojave Mac App Store that debuted alongside it.

Books' sidebar now looks oddly large, but it's now the new home for your audiobooks

TV episodes and movies have similarly moved to the new TV app. Somewhat ironically, the new TV app is derived from the evolved iTunes app for Apple TV. Back in January, Apple first unveiled its partnership with Samsung TVs, promising new support for AirPlay 2 streaming and what it was still referring to as the "iTunes app" for playing back movies and TV from the iTunes Store. This was bizarrely construed as some sort of failure of Apple TV and a groveling concession by Apple.

At its March Event focused on Services, Apple revealed that the "iTunes app" for TVs was being replaced by a new "TV app" for Apple TV, iOS, Macs, Smart TVs from Samsung and other makers, and even an undefined number of streaming sticks and boxes, likely including popular Amazon Fire and Roku devices.

Additionally, the new TV app, which first arrived for Apple TV in May, was outlined to expand beyond iTunes downloads and rentals. It will be used to introduce Apple's upcoming new TV+ subscription service of original content, but already offers subscription Channels from a variety of video services, including HBO, Starz, SHOWTIME, Smithsonian Channel, EPIX, Tastemade, and MTV Hits in the U.S. It also acts as a cable box for certain cable systems including Charter Spectrum, Sony's PlayStation Vue, and AT&T's DirecTV.

Your iTunes movies and TV are now in the TV app

In Catalina, the TV app is now coming to the Mac as the place to watch your existing iTunes library content (above) as well as the new ad-free streaming Channels, which vary in availability based on your geographic region. As with Music and Podcasts, the TV app is also stuck in Germany for me, where Starz is the only Channel currently available for subscription.

Just like Apple TV, the new TV app in Catalina presents a Watch Now tab (below) with curated selections and personalized recommendations based on your viewing history. The Movies and TV Shows tabs detail popular and trending content, with features promoting titles in 4K HDR, films at special prices, and by genre.

TV's Watch Now tab is designed to help you discover new content

Catalina's TV app is missing the Sports tab that appears on the physical Apple TV box; that's likely to be added at some point. There is a Kids tab (below) featuring easy to navigate content for kids and teens, and a Library tab that presents your own content in a sidebar layout similar to the new Music and Podcasts. You can use Screen Control (described below) to limit your children's access to specific ratings of programming, but it's not clear if you can keep them out of the rest of the store entirely.

TV presents a Kids tab that's easy for little ones to navigate on their own

The new TV apps syncs movie and episode playback across Apple TVs with tvOS 12, iOS devices, and "select" Smart TVs that can run the app. And on Apple TV 4K and T2-equipped MacBooks, the TV app now supports playback of Dolby Atmos as well as Dolby Digital or Dolby Digital Plus soundtracks. Atmos is Dolby's advanced new form of surround sound that simulates audio in 3D space rather than just pushing different channels to right and left speakers. The T2 chip is required as it provides hardware decoding support.

iPod and iOS device sync and backups are the last bit of iTunes functionality that's been relocated in Catalina. Those features are now integrated into the Finder version 10.15. Most iOS users are now using iCloud to keep all their content in sync, but if you prefer to manually sync using a cable, your device now pops up in the Finder just like any other drive under Locations in the sidebar when you plug it in.

The interface looks essentially identical to the old iTunes (below). The General tab lets you update your device software and restore from an image or backup. You can also configure backups to occur to iCloud or locally, and set up sync to occur automatically when plugged in or manually. The Music, Movies, TV Shows, Podcasts, Audiobooks, and Books tabs let you configure manual sync of your entire Mac library or individually selected items, most of which are more relevant to iPods than to modern iOS devices.

Finder takes over iTunes' previous device management features

The Photos tab tells you that photos are synched by iCloud, and that you can manually send images to your device "via WiFi or Cellular." If it wanted to be more helpful, it could integrate AirDrop for you, or explain that you can share photos via SMS, Email, or iCloud Drive.

The Files tab (below) presents what was sort of confusingly called "File Sharing" in iTunes: a list of apps on your device and the documents each stored in their sandbox. The presentation of these files is even a bit wonkier and technical than it was in iTunes.

There's a way to manually move files into specific app sandboxes, but it's looking a bit rough

There's an Info tab that presents options to manually sync Calendar and Contacts, more of the old legacy from iPod days. Apple should clarify this entire interface to make it more understandable that this is manual sync as an option to automatic, wireless iCloud updates. For many users, it might seem desirable to click the boxes to sync your data. Most of this should be hidden behind an interface explaining that iCloud is already configured to handle all of this.

What would really be helpful is for Apple to provide a panel in the Finder that offers to diagnose and fix issues with iOS devices, and help clear out cruft when users' devices are too full to sync or update. I know lots of non-technical users who have simply thrown out tons of their photos to download a new iOS update, just because it was too hard to understand how to move files around or offload content that could enable an update to occur.

Notes 4.7

Notes started out as a humble alternative to TextEdit, but has grown increasingly powerful. I use it to jot down ideas when mobile and to write up my huge long articles on the Mac. Last year, the addition of Continuity Camera made it easy to incorporate quick photos or scans in a note.

In Catalina, Notes gets new support for inserting a Continuity Sketch via iPad (more on that later in the comments below on Sidecar) and a new Gallery view (below) that depicts your notes graphically as document thumbnails rather than just by the first few words.

Notes' new Gallery mode makes it easy to review your ideas graphically

You can now collaborate with entire folders using Shared Folders of notes, which invited users can access to add their own notes, attachments or even entire subfolders. It also introduces view-only collaboration that enables invited users to review but not make changes to your shared notes.

Similar to Photos, Notes also uses ML intelligence to recognize objects and scenes from photos you add via the Continuity Camera, and even search text in the scanned documents you input. The search field also suggests searches for you as you type.

Catalina needs an appearance overhaul

Unlike Catalina's new Music, Podcasts, TV app, and Apple News—all of which now feature a sidebar with colorful menu icons–last year's as-yet unchanged Books and App Store apps still display a sidebar of monochrome icons in an oddly larger size. Apple may give these two apps a Catalina appearance update during this summer's beta gestation. Right now, it looks as if various parts of macOS were developed by different companies.

It's also possible that Apple is just going to leave its apps looking like the year they were last given a significant refresh. The sidebars in Mail, the Finder, Photos, Notes, and Safari Bookmarks, as well as the Console and Disk Utility, all use a similar appearance with greyscale icons that dates back to the beginning of the decade, and which now looks rather dated when compared to Catalina's new Music and Podcasts appearance. Some apps, like Keychain Access, still have colored icons from Lion.

There are several different sidebar styles going in Catalina

With all of its cash, you'd think Apple could give macOS Catalina a complete appearance refresh so that all of its bundled apps use a similar sidebar style with icons in an appropriately harmonious color palette in the same size, and with consistent controls that enable users to scale sidebar icons and text to their liking. There are some complications, however, as Apple has clearly used different versions of frameworks to build its various apps.

That might be changing, due to some of the new things Apple showed off at WWDC19. That includes SwiftUI to more rapidly create UI elements with consistent behaviors that better support features like accessibility and Dynamic Type, as well as the new SF Symbols, which offers a set of over 1500 vector-based icons. The system can smoothly scale these up and down and adjust their weight from black to bold to regular to ultralight, while keeping them looking coherent next to text set in Apple's San Francisco system font. Developers can even create their own scalable symbols that the system will align and place for them in coordination with text labels.

Apple noted that SF Symbols was created with the intent to enable interface elements, including app sidebar items, to scale up and down so their icon sizes match the size of text labels and their use in the UI. We'll have to wait and see whether Apple makes it a priority to use its own tools to clean up some of the wonkiness of its own Mac apps in Catalina by September. But at the very least: please do fix the oddball App Store and Books, which are currently stranded in the Mojave as macOS sails on out to Catalina. Also of note: while SF Symbols are all monochrome, they can be assigned tinted colors, making it easy to create the fresh looking Catalina-style sidebars visible in Music, Podcasts, TV and so on.

Historically, Apple has frequently experimented with new UI concepts and languages on its bundled apps, from Brushed Metal at the turn of the century to Unified Aluminum to the greyscale version of app sidebars that have been used over the last decade. And in fact, the company's evolving development APIs, from Carbon to Cocoa and today's latest SwiftUI, have also played a factor in how apps look and how easy it is to update their appearance.

Last year's debut of UIKit apps for the Mac, now public to third-party developers as Catalyst, also threw a wrench into the works by incrementally shifting iPad apps to the Mac. How native various apps looked was a factor of how much work went into making them look at home on the Mac. This year, News has been updated to look just as "Catalina" as the new AppKit Music and Catalyst Podcasts apps.

In the public beta, the Home app is still stuck in early Mojave land, with flat popup panels that feel like an iPad. Stocks and Voice Memos are somewhere in between, with an appearance that looks more like an iPad app, but not so offensively as to demand an urgent refresh. Apple's software chief Craig Federighi noted that Apple is working to better harmonize these early apps to make them feel more coherent with the rest of Catalina.

The all-new Reminders

Reminders, another new app that appears to be Catalyst app, closely shares its Mac interface with the iPad version. That's not necessarily a bad thing, because just being arbitrarily very different on each platform isn't always better. In fact, you might prefer that entirely new apps are designed to look as consistent as possible between Apple's platforms, with only the native design of their UI elements changing to appear familiar to a specific platform.

The simple new Reminders looks like an iPad app, but that also makes it more familiar across your devices

In the new Reminders app (above in Dark Mode), you can now add attachments to a reminder, such as an image or scan you capture from your iPhone using Continuity Camera. Catalina also lets you adjust reminders with quick edit pickers to add a date and time, assign a location, a person from your contacts, or a flag.

Siri intelligence can suggest new reminders for you found in Messages, and smart lists automatically organize and display upcoming reminders. People you tag in a reminder will also pop up in Messages as you chat with them, reminding you that you have something you may want to discuss.

Trouver mon

The new Find My app–which is also pretty clearly Catalyst–combines two existing iOS apps, Find My iPhone and Find My Friends, into a single app that works on macOS Catalina, iPadOS, and on iOS 13 devices.

Apple previously relied on its iCloud website to provide access to "Find iPhone" on the Mac. The downside to that was that it required a login and typically 2FA authorization, where you typed in a code to trust your request. With the new Find My app in Catalina, you can now instantly pop the native app open and immediately see where your people and devices are in an interface that looks like Maps with a sidebar.

Find My brings features to the Mac that were once stuck on the web, or not available at all

I previously wondered why Apple hadn't integrated these features into the Maps app, but Find My is another ideal use of Catalyst to create and rapidly deploy a new app that works similarly across Apple's platforms using the same code base, with adjustments to make it look and feel appropriate to the device it is running on. Maps already exists across Apple's platforms, so adding new features to it would require replicating those efforts twice in two separate codebases using different sets of frameworks.

In Find My, the devices you track connected to your Apple ID (below, in Dark Mode) can be located, made to play a sound, marked as lost (which locks it, disables services like Apple Pay, and then begins tracking its location), or remotely erased. If you click Directions, it will open up Maps for you for walking, driving and transit routes to the last known location.

One of the new features in Catalina is that your Mac can now report its location via Bluetooth signals even when its offline or sleeping. Other iOS devices out in the wild can triangulate these signals and notify Apple with bits of data that your system can use to figure out where your missing Mac is.

Apple states that the system is "anonymous and end-to-end encrypted so no one, including Apple, knows the identity of any reporting device. And because the reporting happens silently using tiny bits of data that piggyback on existing network traffic, there's no need to worry about your battery life, your data usage, or your privacy."

It's also noteworthy that Find My, like Reminders, currently looks and feels more like an iPad app. Again, that's not entirely a problem, as it's not quite as egregious as Mojave's Home app. It is certainly a vast improvement over having to use the web to track a missing device.

It's also an improvement over the current Find my iPhone app on iOS, which also requires a login at each use. It appears that Find My is an extension of the existing Find My Friends iOS app. And as such, it's a perfect example of how even large developers like Apple itself can use Catalyst to quickly introduce simple new apps that work well across Apple devices without doing lots of parallel, duplicative work.

One rumor that hasn't yet materialized is the idea that Apple would be getting into the business of tracking other devices with tags like Tile. That's something Apple could certainly add to its Find My app in the future. The company filed a patent on the invention in 2016.

There have also been rumors that Apple is also working on Catalyst versions of Shortcuts and Messages for the Mac, unifying the code that supports such features across its platforms. Shortcuts would bring iOS-style automation, and Messages would unify the Messages features Apple supports on iOS, including "send with" effects and potentially even the Messages Apps platform used to support Photos and Music integration, Animoji stickers, and even third-party messaging apps.

Screen Time for Catalina

Another area of functionality that Catalina brings over from iOS is Screen Time, Apple's usage tracker with reports of how much time you're spending looking at a device each day.

Rather than being an app, Screen Time is presented as a System Preference. It presents easy to read usage reports that show you how much time you've spent on your Mac throughout the day, which apps you have open, how many notifications you've received, and "pickups," which I'm not sure what exactly means in the context of a Mac. On iOS, it is intended to indicate how many times you pick up your phone.

Because it's common to have multiple apps open at once on a Mac, as opposed to mostly a single app open at once on iOS, the statistics I see in Catalina's Screen Time reflect that I have a lot of windows open, not how much time I'm actively working in a given app or even a category of app. So simply having Screen Time active won't necessarily generate accurate reports detailing exactly what you're doing–such as for client billing purposes–unless you give some thought to how you manage which apps are left open.

Screen Time can optionally be set to sync via iCloud–under Options–to combine all your usage information across your devices. You can also set a passcode to secure your Screen Time settings, and activate Family Sharing to enforce Screen Time settings across your family's devices.

You can schedule Downtime at certain hours as a reminder to give yourself or family members a break, and set up App Limits that restrict the amount of time available to access specific apps and websites, or categories of apps such as games, social networks, education, productivity, or creative apps. Communication limits let you control who your children can communicate with—everyone, people in contacts, or specific groups—both throughout the day and during Downtime. When a limit is reached, you can enable "one more minute" to allow time to save your work or end a chat.

You can also use Screen Time to enforce content and privacy restrictions, limiting what apps can be used, installed, removed, or what In-App Purchases can be made. You can also limit content from the App Store and movies and TVs by ratings, limit explicit books, music, podcasts, and news, limit adult websites, turn off explicit language in Siri, limit Siri from presenting web search results, and limit adding friends in Game Center. There are even options to limit volume limits and other settings that only apply to iOS devices, such as cellular data limits, do not disturb while driving settings, and background app activities.

Continuity Sketch, Sidecar, and Apple Watch authentication

Alongside Catalyst apps and all of the other features that have flowed from iOS to the Mac, there's another type of tight integration that expands significantly in Catalina: Continuity between your Mac and your other devices.

Last year, Apple introduced Continuity Camera, a feature that let you turn your iOS device into a convenient camera or document scanner with automatic edge straightening. This year, Apple is adding Continuity Sketch, which lets you similarly use a nearby iPad–running iPadOS 13–to create anything you can draw with your finger or an Apple Pencil and instantly insert the sketch into your document.

This works in Notes, Mail and anywhere else that supports Continuity imports. Just as with Continuity Camera, you can select Sketch and your iPad enters sketch mode with the new drawing tools (below top). Click Done and your sketch is dropped directly into your document (below bottom, Notes in Dark Mode).

In the Catalina beta, "Sketch" also appeared as an import option for my iPhone, but didn't actually work. It isn't yet clear if Apple is limiting this functionality to iPad or whether iPhones will also support sketch import in the final version. Continuity Camera is such a great feature for iPhones that it would be nice if they could also be used as a simple sketch pad for inserting quick drawings into a document.

Beyond Continuity Sketch, modern iPads can also be used as a Side-car display, both wirelessly via Bluetooth or connected via a USB cable. There's a System Preference panel for Sidecar that lets you connect your iPad, and once you do your tablet appears to be a secondary display that either mirrors or extends your Mac desktop.

Sidecar turns your iPad into a sketchpad for Catalina

With Sidecar enabled, you can drag Mac windows to your iPad and control the screen via Apple Pencil. If you're dreaming of a touchscreen Mac, wake up. There's no touch functionality translated to any Mac windows that appear on your iPad. As you play with Sidecar, you begin to realize why: touch and mouse control are radically different in ways that may not be obvious. It's a bit frustrating that you can't touch any Mac windows on the iPad to control them, because you can touch the iPad buttons placed around the extended or mirrored Mac desktop view. But iPad targets are intended to be touched. Mac UI elements are not. Even using Apple Pencil to work as a precise mouse pointer is a bit strange and feels like a work in progress.

When Sidecar is active, your iPad presents a Sidebar of special buttons that can be placed on the left or right side of the iPad screen. This sports buttons to display or hide the Mac's Menu Bar and Dock on your iPad–which lets you select commands or launch apps. There are also four special keyboard buttons–command, option, control, and shift–that let you type keyboard shortcut chords; an undo button; a button to show a floating, virtual keyboard for typing on your iPad; and a button that ends your Sidecar session.

Across the bottom of your iPad–or optionally at the top–you get a Touch Bar. This works both on Macs with a Touch Bar and even on machines that don't have one. And just like the physical Touch Bar, the virtual one presented on a Sidecar iPad presents a dynamic set of buttons and controls relevant to the app you're working on. To everyone who complained that Touch Bar was a waste of time and space, maybe you should have waited a bit to better understand where else Apple intended to use it. It makes a lot of sense on the iPad's external Sidecar layout.

As a mirrored desktop, Sidecar lets you share a view of what's on your Mac with clients across a table. Think of it like a VNC client that delivers a live, animated view of your Mac's desktop, although you can tap buttons and navigate with an Apple Pencil. It's a bit like an interactive AirPlay presentation. In fact, AirPlay presents Sidecar with the options to "mirror AirPlay display," which scales down your Mac resolution to match your iPad, or "Mirror Built-in Retina Display," which leaves your Mac resolution the same and shows just the region that fits on your iPad.

As an extended desktop, a Sidecar iPad acts as a separate display with its own windows

As an extended desktop (above), Sidecar lets you work with your iPad as if its a second monitor. You can drag Mac windows over to your iPad, although unlike a standard extended desktop screen windows can't straddle the line between the Mac and iPad; they snap inside one or the other. Once placed, you can type directly into Mac documents on iPad and navigate the Mac UI using a Pencil. In apps that support Pencil, it also works to draw and paint directly on photos, graphics, and PDFs. In fact, any Mac app that supports AppKit's Tablet Events should work with Apple Pencil, correctly recording pressure and tilt just like a conventional drawing tablet. Apple cites a variety of apps that work with Sidecar (below).

You can even use the Mac to import a Continuity Sketch into a document using the same Sidecar-attached iPad. This opens a new iPad sketch window, and the resulting sketch is then dropped into your document. And from within Quick Look on the Mac, you can select a Continuity device drop down and instantly launch a Continuity Markup session (below), where what you draw on the screen appears live on the Mac. Again, while this feature also listed my iPhone, Sidecar-style drawing on the iPhone doesn't yet work. It's not clear if this is a mistake listing or if the iPhone will gain this functionality later.

What you see on the Sidecar iPad is still running on top of iPadOS, so you can also use its new gestures for cut, copy, paste, and undo. The Sidecar view from the Mac is running as a full-screen app view in its own iPad screen, so you can swipe up to see the iPad Dock, switch to another app on your iPad, then return the same way to resume working in Sidecar. The implementation is really smart, but there are still some bugs to fix. For an initial preview in the first public beta, Sidecar is pretty impressive.

Actually controlling the Mac screen and its windows and controls with your Pencil is still a bit wonky, although you can pretty easily navigate the Mac menu bar and the Mac Dock, and typing from the iPad into Mac apps seems to work pretty well. Using the new Continuity Markup feature, you are supposed to be able to directly sketch on or otherwise markup documents on iPad, although I found this difficult to control in the beta. Having an iPad actively connected via Sidecar also seems to create lots of minor problems on the Mac side as well in this initial public beta release.

Along with this really smart integration with iPad, Catalina also charts out a future expansion of Continuity for Apple Watch. In addition to logging into your Mac via Apple Watch, there's also plans to suggest Keychain-saved passwords and authenticate in Safari by double clicking on your Watch when prompted, similar to Apple Pay. And like Touch ID on Macs that have it, this is also intended to unlock a locked Note, approve app installations, unlock settings in System Preferences, and modify root files. This feature doesn't appear to have made it into the Public Beta.

More under the hood

As previously noted, one final way that iOS devices are contributing to the Mac is that a lot of the custom silicon created for Apple's A-series chips is being used in new Mac to deliver similar features. Apple's custom T2 silicon provides hardware accelerated encryption that is used both to secure your stored data and to verify trusted software. Developers sign their apps and then get them notarized by Apple, even when distributed outside the App Store, so you can know they are untampered by viruses.

T2 Macs also have media support for Dolby Atmos and secure authentication with Touch ID and secure payments for Apple Pay. New in macOS Catalina is support for iOS-like Activation Lock on T2-equipped Macs, enabling you to require your Apple ID before an erased machine can be reactivated. Just as with iOS devices, that should help thwart theft, or at least destroy the business model that profits from stealing your gear.

And similar to previous efforts on iOS, and earlier restrictions in macOS, Catalina imposes new app restrictions that demand your approval before they access files in your Documents and Desktop folders, iCloud Drive, or on external volumes. You're also now prompted to approve any app capturing keyboard activity taking a photo or video of your screen. A variety of apps have been pushing the boundaries of spying on users in the same way that Smart TVs and Android devices have turned surveillance data collection into one of their primary profit sources. Apple keeps blocking these efforts on both its Macs and iOS devices.

Apple is expanding its privacy controls so you can secure your private data from nosey apps

Also entirely new in Catalina is its new partition scheme that uses APFS to create multiple partitions of your drive, assigning one to your personal data and a second that's reserved as a read-only system volume. This makes it impossible for any process to maliciously or accidentally overwrite your system folders in a way that could compromise the security of your OS.

This setup requires special links between the partitions so that existing software doesn't see anything as being different. In Disk Utility, you can see the configuration of two new partitions, one of which is labeled "- Data." In the Finder however, your drive appears as a single disk.

It's labeled Mojave, but this is a split partition created by Catalina to protect 10GB of system files as read only

Extensive support for new Accessibility features includes the new Voice Control, which is supported by Apple's new Siri speech recognition engine using machine learning and on-device processing for privacy.

Apple also notes that Catalina supports daily snapshots, enabling you to revert your system if you install an OS update that causes problems for your apps. Simply back up any work you've done since performing the update, then use macOS Recovery to revert to a snapshot taken before the update occurred, and your system is rolled back to work as it did before the update occurred. Snapshots are kept for a day "as space permits."

Catalina requires Metal

Macs supporting the new macOS Catalina appear to nearly the same as the requirements for last year's Mojave: Mac computers that support Metal. It will require at least a Late 2012 iMac or Mac mini, or a Mid-2012 MacBook Air or MacBook Pro. It also runs on any new 2017 iMac Pro or new Retina MacBooks, and supports all of the black cylinder Mac Pros (released since 2013).

One apparent change: Catalina does not support the earlier "cheese grater" Mac Pro models back to Mid 2010, which were supported in Mojave if equipped with a Metal-capable graphics card. These machines are now six to nine years old, and Apple has now provided a solid upgrade path for Mac Pro users with its newest machines released at WWDC19.

Lack of support for Metal graphics is why some of the Macs that were supported in 2017's macOS High Sierra can't be upgraded to run Mojave or Catalina. This includes 2009-2011 iMacs; 2010-2011 Mac minis; 2009-2010 plastic non-Retina MacBooks; and 2011 or earlier non-Retina MacBook Pros and MacBook Air models.

Drawing the line at Metal-capable GPUs for Mojave allowed Apple to optimize graphics performance for entirely new software features including multi-user FaceTime and other new iOS-related UI features.

Catalina will officially ship this fall alongside a new iOS 13, iPadOS 13, watchOS 6 and the new tvOS 13, following what has been Apple's regular schedule for OS updates for several years now. In advance of this, Apple is offering a Public Beta program where users can opt-in to download prerelease software, test out its new features in advance and report bugs they discover to Apple.

And now: a warning!

Notez que most users should not download a Public Beta! This is especially the case for anyone who would have their life or work inconvenienced by having to track down complex problems, potentially including hardware that won't boot or a full restore from a backup. That in itself can take hours to perform, particularly in our modern age where you likely have 100 GB or more of photos alone.

It's not just that the Catalina Public Beta could have some wild bugs hiding in there as it develops—in our modern age of cloud-connected everything, even a minor bug could trigger a chain of events that might end up corrupting your Keychain passwords, duplicating contact records, borking your HomeKit configuration, or erasing pictures you expect to be synced to iCloud.

Let me emphasize this one more time: you don't just need a solid backup before you install a Public Beta; you need the flexibility of hours of free time to sort out any problems that might result from using early beta software!

Ideally, to run the Public Beta you should have an extra Mac with a separate copy of your data, so if things go sideways you can erase it and start over fresh. Keep in mind that if you connect a Public Beta machine to your iCloud account you could end up tainting all sorts of your online data that could be complex to straighten out later.

I personally have been using Public Betas (and Developer Betas) for decades, from before even the very first Mac OS X Server in 1999. I've certainly survived, but I still have weird bugs that follow me around that I still haven't tracked down, from corrupted contacts to fantom photos in iCloud and probably corrupted application preferences that lurk in the background, waiting for the next Beta to implode into crazy behavior. But that's kind of my job.

Tread cautiously, and don't blame the beta for being beta—you've been warned!

Now, if you're the Think Different type who loves solving challenges and playing on the bleeding edge of technology, Catalina Public Beta will be right up your alley. Apple is releasing this just for you. Prendre plaisir. And report the bugs you run into so Apple can fix them for everyone else who can't be a beta hero.

To install the Public Beta, you just sign up on Apple's site and it delivers a certificate that's installed for you that allows you to download prerelease OS versions. It should automatically download new Public Betas as they are issued, typically about every month or so until the official launch around September. Once the final release ships, you can upgrade to that with everyone else.