Blog X-Tech5エンジニアがお送りするテックブログ
SREやDevOpsをはじめ、インフラエンジニアリングの実践情報を届けします。

こんにちは、代表の石田です。

AquaVoiceのように、フィラーを削除しながらきれいな文章に整えて入力してくれる音声入力ツールを使っている方は多いと思います。Mac版Geminiデスクトップアプリにも、これと同じ系統の音声入力機能がついに実装されました。Fn キーを押しながら話すだけで、どのアプリ上でもカーソル位置にきれいな文章が入力される仕組みです。

ただ、今回本当に紹介したいのはこの音声入力そのものではありません。Mac版Geminiアプリには、音声入力とセットで使える「画面認識推論」という機能があり、これが実務のインパクトという点で圧倒的に優秀です。今回はSlackを例に、この画面認識推論の使い方を紹介します。

Mac版GeminiにAquaVoiceのような音声入力が搭載された

Mac版Geminiアプリの音声入力は、話している途中の「あー」「えー」といったフィラーを自動で削除し、言い直した内容も自然な文章に整えて、アクティブなカーソル位置へ直接入力してくれます。メモアプリでもメールソフトでもドキュメントでも、開いているアプリを問わず同じ操作で使えるのが特徴です。

起動方法は2通りあります。

• キーを押している間だけ話す方法：Fn キーを長押ししながら話し、話し終えたらキーを離すとその場で送信されます。マイクの録音ボタンを押しっぱなしにするイメージです
• キーを押さなくても話し続けられる方法：Fn キーを2回連続でタップ(または「Speak to Window」をクリック)すると、キーから手を離した状態のまま話し続けられます。話し終えたらもう一度 Fn キーを押すと送信されます

なお、起動キーは Fn キーに固定されているわけではなく、Geminiアプリの設定から任意のキーに変更できます。他のショートカットと競合する場合は、設定画面で変更しておくとよいでしょう。

ここまでは、AquaVoiceのような既存の音声入力ツールでも似た体験ができる範囲です。Geminiアプリの本領はここから先にあります。

本当に使えるのは画面認識推論

Mac版Geminiアプリには、単に音声を文字に起こすだけでなく、今アクティブになっている画面の内容を理解した上で指示に応える「画面認識推論（Reasoning）」という機能があります。これが実務で圧倒的に使い出があります。音声入力の文字起こし機能と画面認識推論のどちらを使うかは、Geminiアプリの設定画面から切り替えられます。

具体的な流れを、Slackのチャンネルを要約する例で説明します。

1. Slackで確認したいチャンネルを開く
2. Fn キーを押しながら「今日投稿された内容を要約して」と話しかける
3. キーを離すと、画面に表示されているチャンネルの内容を読み取った要約が文字として出力される

チャンネルを開いた状態のまま声で指示するだけで、そのチャンネルの当日の投稿を要約した結果が出力されます。1日追いかけていたチャンネルで「今日このチャンネルで何が決まったんだっけ」と後から探し直したいとき、スレッドを1件ずつ開いて拾い読みする作業がまるごと不要になります。

Slackの要約以外にも、選択したテキストを「もっと短く要約して」「フォーマルなトーンに書き換えて」と指示したり、画面に表示されたファイルやメモの内容を参照させて「これらの条件に合う案を抽出してメールの下書きを作って」と頼んだりできます。いずれも、対象のアプリやウィンドウを切り替えることなく、その場で完結します。

なぜおすすめできるのか

この画面認識推論をおすすめする理由は、情報を「わざわざコピーしてAIに渡す」手間が丸ごとなくなる点にあります。従来のAIチャット活用では、要約したい内容をコピーしてチャット欄に貼り付け、指示文を打ち込む、という一手間が必要でした。画面認識推論では、画面に映っている内容がそのままコンテキストになるため、コピー&ペーストという操作自体が発生しません。

Slackのチャンネル要約はその使いやすさが特に分かりやすい例です。声で一言指示するだけで、その場に表示されている情報を対象に結果が返ってくるという体験は、一度使うと手放しにくくなります。単なる音声入力ツールとしてではなく、画面認識推論こそがGeminiデスクトップアプリを選ぶ理由になると感じています。

現時点の注意点

実務投入の前に、以下の制約は押さえておく必要があります。

• 対応OS・環境：macOS Sequoia(15.0)以降を搭載したApple Silicon(Mシリーズ)搭載Macが対象です
• 対応言語：まず英語からロールアウトが始まりましたが、日本語への対応もすでに順次開始されており、実際に手元の環境でも日本語の音声指示で利用できるようになっています

対応言語は今後もアップデートで広がっていく見込みのため、手元の環境で反応が変わったと感じたら都度確認するとよいでしょう。

まとめ

Mac版Geminiアプリは、AquaVoiceのような音声入力機能を搭載しただけでなく、画面に表示されている内容を対象に声だけで要約・書き換え・情報抽出までこなせる画面認識推論を備えています。Slackチャンネルの当日投稿を要約する例のように、コピー&ペーストの手間なく情報を扱える点が最大の強みで、業務のちょっとした「探し直す」時間を確実に削減できます。対応OSとApple Siliconという前提はあるものの、日本語対応もすでに始まっているため、対象環境が整っているメンバーであればSlackに限らずメールやドキュメント確認など幅広い場面ですぐに試せます。まずは対応環境が整っているメンバーから使ってみることをおすすめします。

---

[免責] 本記事はBlog投稿時点における投稿者又は弊社環境で確認している事象や手順です。本件に伴い生じた不具合・損害等について、投稿者及び弊社は一切の責任を負わないものとします。