はじまり
ハナノナプロジェクトは2015年に当時発展著しい深層学習を使ってなにかおもしろいことできないだろうかという疑問から始まりました。当時は画像分類が従来にない精度で実現できるというのが評判になっていました。
では画像分類でやろう。でも何を。研究者が実験で使うImagenetというデータセットでは消防車や犬の画像分類ができる人工知能を作ることできるけれど、それは人間にとって全然難しいことではない。もっと難しい分類問題はできないのだろうか。というような流れで特定分野のきめ細かい分類がどれほどできるか試してみようと言うに至りました。特定分野として選んだのが「花」です。身近にたくさんあるけれど自分を含めて多くの人が名前を知らない存在です。他にも候補はありました。鳥とか、虫とか、魚とか、自動車とか。でもちゃんと分類できるなら花が一番嬉しいということでこれに決まりました。
花を何百種類も見分けるのはかなり難しいだろうと最初は思いました。写真を見てそれが花か飛行機かを判定するのと、菊か薔薇かを判定するのはかなりレベルが異なります。牧野富太郎博士の時代は植物分類学では種の判定では、花弁、がく片、花筒、花冠などの様々な形質を観察して種の分類を行っていたようです。これと同等のことを深層学習は行えるのだろうか？（ちなみに現代では種分類は遺伝子解析で行われるようです。）
深層学習による画像分類を成功させるためには良いモデルと大量の学習データが必要です。良いモデルの方は最新の研究成果がインターネットで公開されているので調達は難しくありません。問題は訓練データです。imagenetデータセットでは一クラスあたり約1000枚の画像がありました。しかし、これを集めるのはなかなかに大変です。それでもなんとか700枚以上の画像をもつ約400クラスのデータセットを構築し、当時最新のモデル Googlenet に学習させたところ、驚きの好成績が出ました。
- top1 accuracy = 77.5%
- top5 accuracy = 96.5 %
この精度は作者よりも明らかに上です。
ハナノナ web版
出来上がったモデルを使ってWebアプリを作成し、ハナノナ Web版（こちらからどうぞ）を2017年3月に公開しました。このとき分類できたのは406種類でした。
このモデルをコアに据えてメディアアートをデザイナーさんたちと制作し、それをソラマチビルディング８階にある千葉工業大学スカイツリーキャンパスにて公開しました。その様子はこちらの動画でもご覧になれます。この作品はその後 Ars Electronica 2017や DIGITAL CONTENT EXPO 2017にも出品しました。この作品は、2017年度のグッドデザイン賞を受賞しました。
実際に使ってみていくつか足りない点に気が付きました。
- 実際に使いたいシーンは屋外で花に出会ったときが多い。つまり使用するデバイスはスマホが多いのでそれに合わせたUIが欲しい。
- Webインタフェースだと、(1) 写真撮影 (2) 写真送付 (3) 回答受信 の３ステップがどうしても必要で、それがまどろっこしい
- 家の近所の花が406種の中にあまり入っていない
そこでスマホのアプリ版を作ることにしました。あわせて日本で平地でよく見られる花のデータを収集することにしました。
ハナノナ app版
日本の平地でよく見られる花というと1000〜2000種くらいあると言われています。高山植物を入れるともっと増えます。沖縄諸島は植生が本州と変わっているのでまた品種が増えます。そこで本州を中心に平地でよく見られる花のデータを収集し、分類可能な数を800弱まで増やしました。
スマホアプリのUIは虫眼鏡のようにしました。つまりスマホのカメラをかざすと画面に写っている花の名前がリアルタイムで表示される、というイメージです。この結果、アプリを起動するとあとは何も操作しなくても花にスマホをかざすだけで名前がわかるようになりました。
こうしてできたのが「ハナノナ app」です。iOS版とAndroid版があります。
ハナノナはその使い勝手の良さで精度の高さで良い評価をいただきたくさんの方にダウンロードしていただきました（2024年2月現在 累計約100万ダウンロード）。精度は専門家には及びませんが素人にはかなり助けになるレベルです。画像分類というタスクの性質上、あらかじめ教えておいた種以外の花を見せられても正しい答えは出せません。そのような場合は、習得した花の中で一番近そうな花を回答します。近そうなものがないときは「科」とか「属」といった大分類を返すこともあります。
さらなる展開
ハナノナをきかっけとして、いくつか外部の方とコラボレーションを行うことができました。
公益財団法人 東京都公園協会様
東京都公園協会様と公園をより楽しむスマホアプリ「バラコレ」の企画・開発を行いました。バラコレはバラ園を訪れていろんな品種のバラの写真を自ら撮って自分だけのバラ図鑑を作るというコレクションアプリです。
クイーン・エリザベス、イングリッド・バーグマン、カトリーヌ・ドゥヌーブなどの大女優の名を関するものや希望、乾杯、銀世界などの和名のものなど世界にはいろんなバラがあります。そんなバラだけの図鑑を自分で作ってみませんか。東京都公園協会様が管轄する公園では素敵なバラ園をお持ちのところがたくさんあります。その中の2つの公園とタイアップしたバラコレアプリをリリースしました。
バラは春と秋に花期を迎えます。神代植物公園も旧古河庭園もその時期はバラフェスティバルを開催して大変賑わいます。その時期はバラコレをコンプリートするチャンスですね。
株式会社 北隆館様
牧野富太郎博士と言えば「日本の植物学の父」とも言われ、植物好きの人ならよく知られている学者ですが、そうでない一にとっては馴染みのない名前かもしれません。しかし博士の生涯が2023年NHKの朝ドラ「らんまん」でドラマ化されたことでその名前は広く知られるところとなりました。北隆館様は牧野富太郎博士の植物図鑑を発行した老舗の出版社です。その北隆館様と共同で2023年の牧野ブームを一層楽しむアプリ「牧野100コレ」を企画・開発をしました。牧野博士の郷里にある高知県立牧野植物園様にもご協力（監修）をいただきました。
このアプリは牧野富太郎博士ゆかりの植物の写真を、スマートフォンの写真撮影機能を用いて集めるコレクションアプリです。高知県立牧野植物園の監修のもと選定した牧野富太郎博士ゆかりの植物100種の花を各地を巡って、写真に収めコンプリートを目指します。
バラノナ
バラコレをきっかけとして大変多くのユーザー様たちから7万枚以上のバラの写真を提供していただきました。品種名と写真がセットになった深層学習的にはたいへん便利なデータセットです。これを使ってバラ専門の品種判別アプリ「バラノナ」を開発しました。ハナノナと違ってバラノナが判定するのはバラだけです。かなり難しいのではないと思っていましたが、なかなかの精度を達成しました。
次は
まだ何も決まっていませんが、引き続き花とAIをテーマに何かを作っていきたいと思っています。引き続きお付き合いいただければ幸いです。