仮想現実の技術を駆使してブドウの生産を支援
一年を通じてさまざまな栽培管理が求められるブドウの生産において、摘粒作業は店頭に並べられるブドウの房形を決める重要な作業です。ただし、例えば、藤稔（ふじみのり）なら28～30粒、巨峰なら35～40粒と、品種ごとに粒数の目安があり、房形を整えながら決まった粒数を残さなければならず、熟練した生産者にとっても決して簡単な作業ではありません。
そのためブドウの房を撮影して、その粒数を自動計測するスマホアプリが開発されてきましたが、これまでのアプリは専用の箱に一房ずつ入れた状態で撮影しなければなりませんでした。一時的に作業を中断しなければならなかったため、より使い勝手の良い技術を目指して、山梨大学大学院総合研究部教授の茅暁陽さんらの研究グループは、撮影するだけでブドウの粒数を推定できる人工知能（AI）の開発に取り組みました。このAIを開発することになった経緯について、茅さんがこう説明してくれました。
「私は情報科学、画像処理の研究者で、主にAR、つまり拡張現実の研究開発に取り組んできました。ARというのは実際の映像に仮想の情報を付加して、仕事の作業効率を高めるなどする技術で、これまでにも山梨県内の企業と共同研究しており、その後、共同で研究することになる農業生産法人ドリームファーム株式会社の方から、ブドウ生産を支援する技術はできないかとお声がけいただきました」
ブドウの粒数を推定する人工知能の開発に取り組む茅暁陽さん（奥）と、大学院生のプラウィット・ブアヤイさん（画像提供：茅暁陽）
2週間で3000房の摘粒を終えなければならない
当初、茅さんは冬に不要な枝を取り除く剪定（せんてい）作業を支援するAIを開発することを考えました。枝が不要かどうかは経験の浅い生産者には分かりにくく、剪定すべき枝を示すAIが実現すれば、ブドウ生産を支援することになるでしょう。ところが、生産者に聞き取り調査を行ったところ、剪定の支援よりも粒数を推定できるAIの開発を求められたといいます。茅さんがこう続けます。
「剪定が農閑期の冬に時間をかけて行えるのに対して、摘粒作業は初夏の2週間ほどで終わらせねばならず、その間に1人で3000房を摘粒すると伺いました。これだけ多くの房を扱うのは熟練した生産者でも難しく、粒数を示してくれるだけでもありがたいとの話を伺い、ブドウの粒数を推定するAIの開発に取り組みました」
AIに粒数を推定させるには、深層学習に供するブドウの画像を入手しなければなりません。茅さんらは市販されている業務用のスマートグラス（メガネ型コンピューター）のカメラを使って、2019年の摘粒時期にドリームファームの圃場（ほじょう）でブドウを撮影していきました。
ブドウの果実は日に日に肥大していくため、2週間のうちに撮影できる画像点数には限界があります。そのため茅さんらは実際に撮影できた画像に加えて、コンピューター上に仮想の房を作って、深層学習に供する画像の不足を補いました。さらに1方向からの撮影でも裏側の粒数も推定して、房全体で何粒あるのかを示せるようになりました。
深層学習に供するブドウの画像の撮影に使われたスマートグラス
粒数を推定するAIの開発を目指して、圃場で調査が行われました（画像提供：茅暁陽）
摘むべき粒も指示できる人工知能を目指す
スマートグラスのウェアラブルカメラで撮影すると、摘粒を行おうとする目の前のブドウだけでなく、周囲にある房も一緒に撮影してしまいます。AI開発の初期段階で複数の房が写った画像の粒数を推定させると、他の房までカウントすることもありましたが、作業する者の位置情報なども加味して、目の前の房の粒数だけを精度よく推定できるようになりました。茅さんがこう付け加えます。
「すでにスマートフォンで撮影した画像を私たちの研究室のサーバーに送って、そこで解析した上でスマートフォンに戻して、推定粒数を示せるようになっています。45粒から50粒というように幅のある推定値なので、今年（2020年）の摘粒時期に撮影した画像を加えて、より狭い幅で推定値を示せるようにして、より使い勝手のいいものにしていきたいと考えています」
スマートグラスで見ると、ブドウの房が認識され、粒の推定値が示されます（画像提供：茅暁陽）
スマートフォンでの撮影では、その都度、作業の手を止めなければならないため、今後はスマートグラスに開発されたAIを組み込み、摘粒を行う生産者がブドウを見ただけで、粒の推定値を示せるようにして実用化につなげていく予定だといいます。
ただし、現在、市販されているスマートグラスは1台で20万円程度することから、より安価なデバイスへの搭載も考えていかなければなりません。また、粒の推定値を示すだけでも摘粒作業の支援になりますが、摘粒作業ではどの粒を切り取るかの判断をしなければならないため、今後は摘み取る優先順位も示せるAIの開発も目指す予定です。こうした実用化に向けた研究開発が進めば、近い将来、茅さんらが開発したAIはブドウ生産の強い味方になることでしょう。
