PhotoMusic Infiniteの特徴

コンピュータシステムのユーザーインターフェイス(UI)の分野において、これまで視覚的にはグラフィックスを使ったリッチな情報表現が提供されてきましたが、聴覚的には単発的な音やtext-to-speechなどを使った単純な情報表現しかできませんでした。しかし、聴覚には「音楽」という強力な情報表現があります。音楽は、音の高低、リズム、和音などの技法により、楽音で感情や雰囲気などの「情緒」を表現することができる芸術的な情報表現手段ですが、これまでUIとしてはほとんど活用されていませんでした。

私たちは「音楽」を用いて、情緒を表現しながら情報を伝達する、というこれまでに無かったツールを提供するためにPhotoMusic Infiniteの研究、開発に取り組んでいます。

今回開発した技術は、ある状況においてその状況の持つ雰囲気を表すような音楽を音響的な背景(=伴奏)として演奏し、並行して伝達したい情報を伴奏とは別の音楽(=メロディ)として表現します(メロディは情報の複雑さに対応して複数ある場合もあります)。そしてメロディを伴奏と音楽的に整合、合体させて演奏します。 伴奏として例えばゆったりとしたBGM音楽が流れている中で、注意を払うべき情報に変化があったときにはリアルタイムにそれに対応するメロディを変動させることにより、情報の変化が音楽の変化として伝わります。 伴奏は、比較的長いサイクルで変化する音楽で、ヒーリング音楽のような特にテーマや方向性の無い音楽であったり、季節、時刻、天候、気温、周囲の状況などを反映した音楽だったりします。一方、メロディは注意を払うべき情報に変化があったときには、その変化量に応じて即座に音の流れが変化するような音楽です。 このような伴奏とメロディを組み合わせた音楽を入力データからリアルタイムに生成して、入力データに対する追従性と音楽の情緒性との良いバランスを保ったまま、データの変化を聴覚によって伝達することができます。(特許出願中)

我々はまず「動画」を入力データとして、その画像の変化からリアルタイムに上記のような音楽を生成する技術を開発し、今回PhotoMusic Infiniteとして商品化しました。

動画から世界で唯一つの即興BGMを自動生成
音楽の知識は必要ありません。動画ファイルをドラッグ&ドロップするだけで、画像の変化に合わせた即興音楽が生成され画面の動画のBGMとして流れます。独自のアルゴリズム(特許出願中)により、たとえ同じ動画ファイルを食わせても毎回異なった趣のメロディが作られるので、いつも世界で唯一つの音楽を楽しめます。また音楽の著作権やロイヤリティに煩わされることはありません。
動画の変化に反応してメロディがダイナミックに変化
動画の画像変動量にリアルタイムに追随してメロディがダイナミックに変化します。画像の変化が少ないときは、1つの楽器だけで音の上り下りが少なく単純なリズムのメロディが流れ、ゆったりした曲調になります。一方、画像の変化が多い局面では、複数の楽器を使って音の上下が激しく強いリズムで複数のメロディを奏でるので活発な印象の曲調に変わります。
リアルタイムに音楽を生成
PhotoMusic Infiniteは動画からリアルタイムに音楽を生成します。すなわち1拍ごとにその時の画像の変化からメロディを作ってリアルタイムに演奏します。ですのでカメラからのリアルタイムな動画に対してでも、画像の変化と同時にその変化に対応したBGMを生成します。(※カメラからの動画入力機能は一般向けには提供していません。個別のシステムインテグレーションで対応します)
多彩な曲調のスタイル
「スタイル」を選択するだけで、音楽や作曲の知識が無くても簡単に様々なジャンルの音楽を作れます。数10種類のスタイルが組み込まれており、ジャズ風、トロピカル風、ヒーリング音楽風、室内楽風、宗教音楽風など、一つの動画から驚くほど多様な音楽が作られます。
mp4ファイルとしてSNSなどに公開
生成した音楽は、簡単な操作で元の動画とミックスしてmp4ファイルとして保存することができますので、YouTubeやVimeoなどの動画共有サイトやFacebookやTwitterなどのSNSに投稿が簡単になります。
タイトルとURLをコピーしました