Amazonタイムセール祭りは本日9/23いっぱいまで——クリックして特集記事へ

[海外]お気に入りのレコードを立てかけるだけで再生「Plynth」

plynthのシステム ニュースと話題
この記事は約4分で読めます。

Raspberry Pi 公式ページで紹介されていた「Plynth」という名のシステムはレコードのジャケットから認識したアルバム音楽を再生させる仕組みです。製品化に向けて開発中です。

以前にもNFCタグを仕込み、それを読み込ませて紐付いた音楽を再生するという仕組みをRaspberry Pi で実現したプロジェクトがありました。それはそれで素晴らしいものの、NFCタグの準備とそれの紐付けは必要です。

今回「Plynth」というプロジェクトでは、Raspberry Pi とカメラモジュールを組み合わせてあり、画像認識の世界です。・・・「Plynth」ってプリンスって読み方でいいのかな??

スポンサーリンク

画像認識でジャケットを確認

「Plynth」の公式ブログでテスト用にWebAPPがあります。これはジャケットの画像検索Webアプリです。画像認識だけ切り取ったテストアプリです。

Plynth
Play your records without the record player. Scan a photo of an album to get started.

試しにドラえもんのジャケット画像を読み込ませましたがムリでした。
次にマイケル・ジャクソンのBADを読みませたらOKです。文字も認識しています。

これは Raspberry Pi 3B+ にカメラモジュール、Google Vision APIと OpenCVを組み合わせているようです。

AI画像認識というわけですね。

この仕組みはまるでAIカメラのGoogle Vision キットのそれと変わりません。

文字も認識していることで検索ヒット率は高いと思います。

トリガーと動作

この仕組み自体は簡単で、読み込ませた画像を検索し文字も認識させ、ヒットした画像をデータベースまたはリアルタイムのWEBから検索し、ミュージシャン名とアルバム名を絞り込んでいるようです。

ただ、日本独自であるドラえもんのCDジャケットは、英語で文字があるにも関わらず認識できてもいない上に検索結果も間違っていたので、恐らく日本語圏のジャケットだからだと思います。

「Plynth」は、ゆくゆくSpotifyとの連携を考えSpotifyに申請しているとありました。最終的にSpotifyのデータベースとぶつけられれば、ヒット率は高まり実用的かも知れません。

これらは既存の技術の集まりです。

オンラインでリアルタイムにWebから音楽を拾ってくる(検索)か、手持ちのデータベースから検索するかという結果は別として、ジャケット画像をトリガーとしている点がユニークです。

実用的に動作させるには検索速度や的確な精度が重要だと思います。

Raspberry Pi で自作するには?

画像識別プロセスを実行する機械学習アルゴリズムと、画像処理を格納するデータベースが必要です。
「Plynth」ブログによると、カメラをアルバムに近づけるための画像の歪み補正をしてから処理しないとなりません。ここは難しい点です。(台座にカメラがあり上を向けているため)

確かにRaspberry Pi にカメラモジュールを繋いで、OpenCV(Open Source Computer Vision Library)を使えば、精度はともかく近いモノはできるでしょう。

ジャケット立てのようにしなければ(カメラと正対させる)、歪み補正も要りません。他にはジャケットから誰のアルバムかを一致させる検索用のデータベースが必要です。

Googleの画像検索で同じようにマイケル・ジャクソンのアルバム「BAD」を検索させてみると、検索文字列としても結果が返っています。

これを音楽再生のシステムへ渡せれば再生が可能です。ただ、Custom Search APIを無料で利用するには制限があって100クエリー/日、Google Vision API も1~1,000 ユニット/月です。んー、有料は面倒くさい。それにそもそも文系としてはGoogleのこういったサービスは非常に理解しづらい・・・。

それと、結果的にアルバムを再生させるのが目的ですから、検索できても手持ちの音楽ライブラリ無ければ再生はできません。

非常に単純に考えるなら、アルバムのジャケット画像をまとめてデータ化しておいて、それとぶつけて一致させれば、速さも精度も実用的だと思います。ただ、他の画像では全く間違って認識してしまうことになります。

自宅の自前の音楽ライブラリだけというなら、ジャケット画像の取り込みはしなくてはならない反面、NFCタグの準備などは要らないので、まだ楽な方法かも知れません。

最後に

本格的にやるには、WEBAPIを用いてどの画像も検索しなければならず、検索速度はかなり遅くなると思われます。しかし、非エンジニアには敷居が高いです。

他のアイディアとして、顔で人を識別して、写真ライブラリからその人の写真をスライドショーで流すなんていうのも楽しいかも知れません。

何かの結果を得るトリガーとして、音声認識ではなく画像認識も面白い世界ですね!

Raspberry Pi ならPythonとOpenCVもオープンソースで利用できます。

カメラモジュールも安価で購入できます。

本格的には難しくても、何かのトリガー程度で考えれば、ラズパイはとても扱いやすいハードです。

Raspberry Pi 公式記事:https://www.raspberrypi.org/blog/playback-your-favourite-records-with-plynth/

Twitter、フォーラム、メールで購読
それぞれ更新情報をお伝えしています。
皆様のフォローをお待ちしています!
\ FOLLOW ME /
/ 最新記事をお知らせしています! \
ニュースと話題
スポンサーリンク
フォローをお願いします——ラズパイダ
特集ラズパイ4
スポンサーリンク
こちらの記事もよく読まれています♪
ラズパイダ

コメント

最近のフォーラム投稿

Raspberry Piや記事に関することなどコメント欄の代わりにお使いください。