慶応義塾大学の杉浦裕太准教授と張翔大学院生らは、目に映るスマートフォンの像からスマホの持ち方を推定する技術を開発した。スマホ搭載のフロントカメラを利用するためセンサーを付け足す必要がない。操作インターフェースの切り替えなどに利用すると操作性の向上につながる。

スマホのフロントカメラで顔写真を撮ると目の中にスマホの像が映りこむ。スマホに指がかかっていると明かるいスマホが黒く欠ける。この像を機械学習で判定してスマホの持ち方と指を判定する。

実験では画面を横や縦にした両手持ちと、片手持ちの親指操作、片手持ちでもう片方の手の指で操作する６種類のパターンを識別した。深層学習を利用すると推定精度は８５％。持ち方や操作する指に応じたボタン配置など操作画面を切り替えられる。長時間同じ姿勢での操作を検知したらアラートを出すなど、疾患予防にも応用できると期待される。