iOS15からの「ライブテキスト」機能は写真の中の単語まで検索することができる。しかもリアルタイムで。

iOS15の「ライブテキスト(Live Text)」機能はカメラを向けた対象に含まれる文字列を認識してくれるし、写真アプリからも画像に含まれる文字列を認識してくれるという便利(時には余計なお世話)機能である。

それだけでなくiOSの検索機能から写真の中の文字列を直接検索することもできるようだ。

▲ホーム画面からスワイプダウンして文字列(ここでは ”Museum”)を入力するとリアルタイムで検索が行われ結果が表示される。

この「Photos From Apps」が写真アプリが管理する写真のうち ”Museum” に関連する写真。

”Show More” をタップすると・・・

▲「Text Found in Photos」が”Museum” という検索文字列に一致する文字列を含む写真。

「Photos」の方は位置情報やタグにに”Museum” を含む写真である(たぶん)。

そして「Text Found in Photos」の ”Show More” をタップすると・・・

▲検索文字列の ”Museum” を含む写真がずらずらと出てくる。

写真を撮るごとに中身をスキャンして検出した文字列をインデックス化しているんだろうか。

それとも検索の都度リアルタイムで写真の中身を走査しているのだろうか。でもHEICやJPEG形式で圧縮されている画像を展開してから走査するのも大変だし、うちの場合4万枚くらいの写真をiPhone内に保存しているけどこのすべてをリアルタイムでというのもさすがに無理だろう。

どうやっているんだろう。

▲このような横文字なら余裕。

▲縦になっていても検出できる。アプリ内じゃなくてリアルタイムで検索するのもすごい。

▲ ちっちゃくて斜めになっていても検出可能。

今のところ英語はほぼ大丈夫だけど日本語は検出できたらラッキーくらいの精度に感じる。でも街なかで見かける看板とかキャプションはまず撮影しておいて後から検索して探すという使い方が出来るのがよい。

また特に設定をいじる必要もなく購入時のデフォルト設定のままでこの写真中の文字列を検索する機能が使える。