WWDC2023 KeynoteのApple Pro Visionの紹介をとにかく細かく視聴してコメントしました

タイトルのとおりですが、KeynoteのApple Pro Visionの紹介部分を見直して、一場面一場面停止して詳細を眺めつつ、感じたことを１つ１つ細かくコメントしていきました（3時間以上かかりました…）。

留意事項

• ソフトウェア面に注視し、ハードウェアの説明の部分はスキップしています
• あくまでも所が思ったこと感じたことをコメントしていくだけでエビデンス等はありません
• Keynoteを視聴しながら都度思ったことを時系列に書き込んでいますので検討外れなことを言ったりもします
  • 視聴が進んでいく中で前半にコメントした疑問が後半で解決したり訂正されたりもしています

イントロダクション

ホーム画面

• 丸いアプリアイコンが並ぶ
• フォルダらしきものもある
• iPhoneのホーム画面のようにページをサポートしたりするのだろうか？
• Spotlightやウィジェットなどの扱いは？

• 左端に３つのモード？を切り替えるようなボタンがある
  • １つはアプリモード
  • １つは隣あった人のアイコン
    • SF Symbolsでいうと person.2.fill
    • なんらか人とコミュニケーションをとるためのモードか？
    • コミュニケーションがトップレベルに位置しているのがそこを重要視しているあらわれか
  • １つは景色的なアイコン
    • SF Symbolsで言うと mountain.2.fill に似ているが同じものは見つからず（それに星的なものが付いている）
    • アプリ、コミュニケーションに並んでトップレベルに置かれるもの、なんだろう？
    • ARでなく全面を覆うVRモード的なものに入ったりする？
    • （と思ったが後にDigital Crownで現実と仮想の深度を調整できると紹介されていたので違いそう）

写真アプリ

• ウィンドウ内で写真のリストをスクロールするデモ

• ホーム画面にもあった左端のボタンリストが写真アプリに入って切り替わった
• おそらくこれがvisionOSにおけるタブバーだろう
  • タブバーがホーム画面にも存在するというのはiOSなどではなかった

• 画面下部にはコンテキストのスイッチャー的なUIがある
• これはiOSの写真アプリにもあるものだが写真アプリのウィンドウから少し外れて表示されているのが特徴
• おそらくiOS標準のUIコントローラを利用していればこのようにOSに合わせて良きように表示してくれるのだろう
  • 可能な場面では標準のUIコントローラを利用するのがより重要になりそう
• さらにこの下に謎のドットとバーのUIがある
  • バーはiOSだとドラッグ可能であることを示すUI
  • これでウィンドウの場所を変更するなどできるのかもしれない
  • その隣にあるドットもウィンドウをなんらか変更するUIかも？たとえばウィンドウを最小化するとか

UI

• 目、手、声で操作する
  • 重要視する操作方法の順番と思われる
  • 目（Eye Tracking）が一番はじめにくるのが特徴か

• 360度？好きな位置にウィンドウを配置できるとのこと
• 「好きな大きさで」アプリを使うというキーワードもあった
• iOS/iPadOSではなかった複数のアプリが同時にフォアグラウンドにあるという状態がありそう
  • もしくは注視している１アプリがフォアグラウンド扱いとか制御される？
• ディスプレイサイズの制限はもちろんないのでアプリのUIデザイン（レイアウト）のしかたは大きく変わってくるのか？
• アダプティブなレイアウト（ウィンドウサイズが柔軟に変わる）をサポートする知見は重要
• ウィンドウが並ぶのでドラッグ＆ドロップなどアプリ間の連携を意識することもより重要になるだろう
• このスクショの画面をみるかぎり、真正面にないアプリにもフォーカスがあたっている
  • 複数のアプリがフォアグランドになるか、視線があたっているアプリ１つがフォアグランドになるかのどちらかで確定っぽい

• この写真がグワっと拡大して没入モードになるところすごい
• いちおうウィンドウサイズのテンプレート的なもの（Normalサイズ、Expandサイズとか）はあるのかな？

• この部分のトップバー的な位置に目を向けると、iOSではナビゲーションバーのleftButtonItem、rightBarButtonItemに配置される要素がある
• これは透明なナビゲーションバーなのか、それとも別の概念なのか
• なおKeynote内で他にもナビゲーションバー的なものの他のバリエーションが散見される

• これらがMacアプリだとこうなる、visionOSアプリだとこうなるみたいなアプリ種別によるものなのか
• もしくはアプリの状態やモードによるものなのか

• この場面には利用者本人が映っているのでイメージだろうが、映画やゲームで背景をコンテンツに合わせたものに差し替えるというのはありそう
  • 映画視聴で背景を暗くするというのは後から具体的に説明があった

• これも利用者本人がいるのでイメージだろうが、FaceTimeなどでプレゼン資料と参加者の顔が空間内で横並びになっているのはリアルに近いミーティングができそうですごい

• Macがパーソナルコンピューティング
• iPhoneがモバイルコンピューティング
• そしてVision Proが空間コンピューティングを切り拓く！しびれる！

Vision Proを実際に使う体験

• この画面は「ホームビュー」という名称で紹介されていた

• アプリの背景は透過されブラーがかかっていて角丸

• このタブバー？はフォーカスされることで拡がり、アイコンのみ表示からタイトル付き表示に切り替わった
• このフォーカスされることで領域も内容も拡大される挙動はタブバーだけでなくアプリ全体の共通のUIのよう

• アプリのウィンドウの影が現実世界に投影されるのがすごい

• ウィンドウの右下隅のカーブ状のノブでウィンドウサイズが変更可能とのこと
  • ふだんは表示されていないのでウィンドウの隅を注視すると表示されるのかもしれない

• ウィンドウ下のバー（ノブ）はウィンドウを動かすUIであることが確定
  • ここではZ方向に動かしているが、XY方向に動かせるかは不明

• アプリ（ウィンドウ）を複数開くと自分（の真正面？）を中心に自動的にスペースが割り当てられるとのこと
  • この場面では、アプリが２つの場合は真正面にどちらか一方がくるのではなく真正面の左右にそれぞれが配置されていた

• アプリ主動で背景（現実世界）部分を暗くしたりのカスタマイズができるというのも確定で良さそう

• 現実世界 OR 仮想世界の境界（深度）はデジタルクラウンで任意で調整できるとのこと
• ２択でなく曖昧にでき、ハードウェアでいつでも？調整できるというのが素敵

• 視線を向けた部分にフォーカスが当たるというので確定っぽい
• アプリアイコンはフォーカスが当たると分解されて一部が浮き上がっている！
  • ということはアプリアイコンをそういう作りにできる（することが推奨される）ということ
  • アプリアイコンのレイヤー分けはtvOSアプリ用のアイコンで既に採用されている

• フォーカスがあたっている要素を選択するのは「２つの指同士をタップ」
• スクロールは「２つの指を上下にずらす」

• 検索フィールドに視線を合わせたら「声で検索キーワードを入力できる」とのことだが、声を使うのは最後の手段だろうなという印象
• 複雑なURLやパスワードを打つのは大変そうだから基本的には文字入力はさせないことをベースに考えるのだろう
  • いっぽうで既にAppleTV+iPhoneの連携でtvOSの画面のパスワードをiPhoneで入力という機能は実現されているし、visionOSでも物理キーボードが使えることが明示されているので、複雑な文字入力が必要な場面があっても問題はないだろう

• EyeSight
  • 装着車の目がゴーグルの前面のディスプレイに表示されるとのこと（見た目はちょっと不気味の谷
  • ゴーグル装着者を周りから孤立させない（逆もまた然り）という考え方は素敵
  • EyeSightも「近くに人がいる時は」というトリガーなので良さそう
  • アプリを使っているとき、没入モードのときなど装着者の状態を周りの人が判断できるようになっているのもすごい

• 装着者目線だと没入モード時に近くに人が来たら自動的に背景が透けてその相手が見えるとのこと

実際の使用感

• Vision ProはiPhone/iPad/Macと常に同期
• iCloudで常に同期（これは既存にもあるので特別ではない）

• 真ん中にSafari、左右に別のアプリがある状態で「Safariを拡大」した時はこうなる
• 拡大（Expand）モード的なものがあり、そのモードになると他のウィンドウは見えなくなるっぽい

• visionOSのナビゲーションバー（トップバー）はこのコンテンツウィンドウから離れた場所に表示されるものが基本っぽい

• ここでアプリのウィンドウは「前後にも上下にも積み重ねられる」ことが明示された

• アプリ内の要素のドラッグ＆ドロップができることも明示
  • しかも他アプリだけでなく現実世界へのドロップ！

• メッセージで届いた3Dオブジェクトを現実世界の机の上におけるのすごい

• もちろんMagic TrackpadやMagic Keyboardも使える
  • Bluetoothアクセサリ…と紹介されていたので、ぼくのHHKBもきっと使えるはず

• あとはこれがすごすぎる
• 現実世界のMacを見つめるとMacのスクリーンがVision Proのほうに映るとのこと
  • もちろんVision Proのアプリと並列に並ぶ
• iPhoneやiPadもそうなるのかな？
• これはApple製品にどっぷりつかる理由になるな（もう既にどっぷりつかってるけど）

• リモートで同僚と同じ書類を使いながらの共同作業が…とあるが、これはvisionOSではじまったものではなく既存からあるもの
  • こういった共同作業サポートがスタンダードになったら嬉しいがアプリ開発の難易度は確実に上がる…
• この場面ではアプリが上下に並んでいる実例が

• このFaceTimeでのミーティングの風景
• プレゼン資料が投影されているがこれがSharePlayであることが明示された
• そのため、SharePlay対応していればサードパーティアプリでもこのような使い方ができるはず
  • そもそもiOSの画面共有もSharePlayなのでなにも対応してなくても自分のアプリをここに投影できる可能性が高い
  • 今考えるとSharePlayがFaceTimeと密結合なのはこのVision Proでの利用を見据えてだったのかもな、と

家での体験

• アプリ手動で背景（現実世界）をいじれることを再確認

• この場面はパノラマ写真をパノラマ表示したものだったようだ

• Vision Proでは3Dカメラによる空間再現写真・ビデオの撮影が可能

• もちろん空間再現写真・ビデオを視聴することもできる

• 映画視聴のときは、フッド山などの環境を開いて（おそらく背景に奥行きのある壮大なものを選ぶのが良いということかと）スクリーンを拡大するのがおすすめとのこと
• もちろん背景は自動的に暗くなる
• 空間オーディオの品質が高いのはお墨付きだし映画視聴良いかもな
• もし視聴中に家族がきて声をかけられても、自動でそれを検知して家族の姿が見えて声も聞こえるようになるのがvisionOSのすごいところ
• Apple TV+だけでなく他の動画視聴サービスにも対応しているとのこと
  • 標準のAVPlayer使っていれば対応してくれるのだと予想

• 3Dムービーにも対応
  • アバター２をこれで視聴してみたい

• 恐竜がウィンドウからXYZ全方向にもはみ出してるのもすごい

• Apple Arcaceのゲームを遊べるという件は…コンテンツ次第か
  • ウィンドウに収まらない３Dのゲームとか出たら体感的にはすごそう
• それよりもNintendo SwitchのゲームをVision Pro経由で遊びたいですね

ウォルト・ディズニー

• Kyenoteでウォルト・ディズニーが登場して、コンテンツが揃っていることを（目標にしている）前面に押し出しているのを感じる

• コンテンツと一緒に背景も配布してくれるみたいのがあるのかも

• スポーツ観戦でさまざまな付加情報が表示されたり
• あとは複数のカメラの映像が同時に表示されていて、おそらく視線を向けたカメラに切り替わるだろうUIになっているのが興味深い

• ミッキーが自分の部屋に降臨！
• ディズニーでなくても、自分の好きなキャラクターが自分のそばにいて動いて喋ってくれるのは喜ぶ人たくさんいそう

• 現実世界の自分の腕にブレスレットが装備される場面
• こういう現実世界とかけあわせたコンテンツはVision Proならではの体験になりそうか
  • 後から出てくるがこういうアプリを「空間対応アプリ」と呼ぶよう

ハードウェア

（ハードウェアの部分は基本スキップします。気になったところだけスポットで。）

• R1チップによりディスプレイには新しいイメージが12ミリ秒以内に送られるとのこと
  • つまり80fps以上
  • 現実世界部分が80fps以上で投影されるのなら、現実世界のテレビにスプラトゥーンを映して、それをVision Pro経由でプレイして付加情報を隣に出すみたいなのも問題なさそう

• ビデオ会議で自分の姿を相手にどう見せるかの解
• Vision Proの機能でデジタルペルソナを作って動かしてくれるとのこと（ちょっと気持ち悪いが）

アプリの実例

• 人体の機能をインタラクティブに３D表示

• F1マシンのデザインコンセプトの検討

• 製造ラインの検討と承認

• 新しい空間インターフェースで曲をミックス

• プラネタリウム

実業務

• Microsoft OfficeやTeamsも対応

• FaceTimeだけでなくTeams、Webex、Zoomなどでのビデオ会議も利用でき、かつ、デジタルペルソナなどVision Pro特有の機能にも対応

アプリの開発環境

• 使い慣れたXcodeやSwiftUI、RealityKitやARKitで開発できます

• 空間対応アプリを開発するためのReality Composer Pro

• iOS/iPadOSで使えるフレームワークはvisionOSにも含まれる
• iOS/iPadOS向けアプリがそのままvisionOSで動く？っぽい
  • おそらくそのままmacOSで動くのと同じイメージ

• Unityと連携し、UnityのアプリもvisionOSで動作するとのこと

AppStore

• visionOSのAppStoreではvisionOS専用アプリだけでなくvisionOSで動作可能なiPhone/iPadアプリが並ぶ

Optic ID

• 虹彩による生体認証
• 双子も識別できるとのこと
• ゴーグルをつけていれば常に識別できる状態だからユーザーからするとなんの面倒もなくサインインとか購入とかができるようになるのかな？

プライバシー保護

• 画面のどこを注視したかの情報は保護されるとのこと
  • 視線でフォーカスされるのでアプリでViewへのフォーカスを検知できるならある程度類推できるような気もするが
  • もしかしたらフォーカス時に見た目が変わるのを宣言的に書くことはできても、そこで何らかの処理を書くことができない仕組みになっているのかも？
• 指でタップした情報は保護されない（これまでのiOSアプリも同じ）
• もちろん（Vision Proに多種のカメラやセンサーがついていても）ユーザーの周辺の情報を各アプリが勝手に収集することはできない

見返しての感想

• 細かく見ていくとKeynoteの紹介の中だけでも見どころがたくさんあった
• 見れば見るほどApple Vision Proの今後が楽しみすぎる！