「スマホやカメラで撮った動画が何となく物足りない」、と感じたことはありませんか？ そんな時は、音楽(BGM)を貼り付けると動画が活き活きとした印象になります。しかし、動画に合った音楽を見つけるのは大変な手間が掛かります。著作権やロイヤリティも気になることでしょう。
PhotoMusic Infiniteは、読み込んだ動画の特徴を利用して、それに合った音楽を即興的、リアルタイムに生成するソフトウェアです。音楽の知識は必要ありません。動画を読み込ませるだけで、動画の流れに合った、世界で唯一つの音楽が自動的に作られます。著作権やロイヤリティを心配する必要もありません。下のサンプルをご覧ください。
look up by james
このサンプルは、ある動画素材からPhotoMusic Infiniteが自動的に作曲した音楽を元の動画に貼り付けたものです。やったことは「動画ファイルを読み込ませること」と「スタイルを選ぶこと」だけです。たった２つの手間だけでこのような「作品」が出来上がります。また「スタイル」を変えると、ガラッと曲調の異なる音楽にすることもできます。
この作品を見られて、何か気が付きましたか？ 実はこの音楽は動画の画像の変化に反応して、リアルタイムにメロディが変化しています。画像の変化が激しいときは、様々な楽器のメロディが激しく鳴ります。画像の変化が少ないときは、メロディがゆっくり流れます。つまり動画に合わせて変化する音楽が自動的に作られるわけです。
PhotoMusic Infiniteの用途は、動画から自動的に音楽を生成してYouTubeコンテンツをカッコよくするといったことに限定されません。PhotoMusic Infiniteの動画の変動に対応してリアルタイムにメロディが変化するという特徴は、エンタテイメント・公共・運輸・施設・家庭などの分野でこれまでに無かった新しいユーザー価値を生み出すことに役立ちます。
PhotoMusic Infiniteの特徴
これまでコンピュータシステムのユーザーインターフェイス(UI)の分野において、視覚的にはグラフィックスを使った様々なリッチな情報表現が提供されてきましたが、聴覚的には単発的な音やｔｅｘｔ－ｔｏ－ｓｐｅｅｃｈなどを使った単純な情報表現しかできませんでした。しかし、聴覚には「音楽」という強力な情報表現手段があります。音楽は、音の高低、リズム、和音などの技法により、楽音で感情や雰囲気などの「情緒」を表現することができる芸術的な情報表現手段ですが、これまでUIとしてはほとんど活用されていませんでした。
私たちは「音楽を用いて情緒を表現しながら情報を伝達する」、というこれまでに無かったツールの研究、開発に取り組んでいます。
PhotoMusic Infiniteで開発した技術は、ある状況においてその状況の持つ雰囲気を表すような音楽を音響的な背景(＝伴奏)として演奏し、並行して伝達したい情報を伴奏とは別の音楽（＝メロディ）として表現します（メロディは情報の複雑さに対応して複数ある場合もあります）。そしてメロディを伴奏と音楽的に整合、合体させて演奏します。 伴奏として例えばゆったりとしたＢＧＭ音楽が流れている中で、注意を払うべき情報に変化があったときにはリアルタイムにそれに対応するメロディを変動させることにより、情報の変化が音楽の変化として伝わります。 伴奏は、比較的長いサイクルで変化する音楽で、ヒーリング音楽のような特にテーマや方向性の無い音楽であったり、季節、時刻、天候、気温、周囲の状況などを反映した音楽だったりします。一方、メロディは注意を払うべき情報に変化があったときには、その変化量に応じて即座に音の流れが変化するような音楽です。 このような伴奏とメロディを組み合わせた音楽を入力データからリアルタイムに生成して、入力データに対する追従性と音楽の情緒性との良いバランスを保ったまま、データの変化を聴覚によって伝達することができます。（特許出願中）
我々はまず「動画」を入力データとして、その画像の変化からリアルタイムに上記のような音楽を生成する技術を開発し、PhotoMusic Infiniteとして商品化しました。
- 動画から世界で唯一つの即興BGMを自動生成
- 音楽の知識は必要ありません。動画ファイルをドラッグ＆ドロップするだけで、画像の変化に合わせた即興音楽が生成され画面の動画のBGMとして流れます。独自のアルゴリズムにより、同じ動画ファイルを食わせても毎回異なった趣のメロディが作られるので、いつも世界で唯一つの音楽を楽しめます。また音楽の著作権やロイヤリティに煩わされることはありません。
- 動画の変化に反応してメロディがダイナミックに変化
- 動画の画像変動量にリアルタイムに追随してメロディがダイナミックに変化します。画像の変化が少ないときは、１つの楽器だけで音の上り下りが少なく単純なリズムのメロディが流れ、ゆったりした曲調になります。一方、画像の変化が多い局面では、複数の楽器を使って音の上下が激しく強いリズムで複数のメロディを奏でるので活発な印象の曲調に変わります。
- リアルタイムに音楽を生成
- PhotoMusic Infiniteは動画からリアルタイムに音楽を生成します。すなわち１拍ごとにその時の画像の変化からメロディを作ってリアルタイムに演奏します。ですのでカメラからのリアルタイムな動画や、YouTubeなどのライブ配信動画に対してでも、画像の変化と同時にその変化に対応したBGMを生成します。（※カメラからの動画入力機能やライブ動画配信への対応は一般向けには提供していません。個別のシステムインテグレーションで対応します）
- 多彩な曲調のスタイル
- 「スタイル」を選択するだけで、音楽や作曲の知識が無くても簡単に様々なジャンルの音楽を作れます。数１０種類のスタイルが組み込まれており、ジャズ風、トロピカル風、ヒーリング音楽風、室内楽風、宗教音楽風など、一つの動画から驚くほど多様な音楽が作られます。
- mp4ファイルとしてSNSなどに公開
- 生成した音楽は、簡単な操作で元の動画とミックスしてmp4ファイルとして保存することができますので、YouTubeやVimeoなどの動画共有サイトやFacebookやTwitterなどのSNSに投稿が簡単になります。
PhotoMusic Infiniteの応用
- 動画ファイルからBGMを生成
- PhotoMusic Infiniteは動画に対してリアルタイムに音楽(BGM)を付けるツールです。 スマホやカメラで撮影した様々な動画はそのままでは無音だったり雑音だらけだったりしますが、PhotoMusic Infniteに食わせると、画像に合ったBGM付きの動画に簡単に変身させることができます。
- リアルタイム動画からリアルタイムにBGMを生成
- しかし、PhotoMusic Infiniteは録画された動画ファイルの処理に限定されません。機能的にはカメラなどからのリアルタイム画像やライブ配信動画などからでも音楽を生成します。例えば街角の定点カメラからの交差点の風景画像、ドローンからの空中撮影画像、操作者の位置や動作によってダイナミックに変化するVRゴーグルに映る画像など、様々なタイプの動画から音楽を作る例が考えられます。これまでは、このような動画入力に対してリアルタイムにBGMを生成するようなソリューションは存在せず、映像の変化とは無関係な固定のBGMを繰り返し流すしかありませんでした。PhotoMusic Infiniteを使うと、このような画像の雰囲気を反映しながら画像の変動に対応して変化するBGMをリアルタイムに生成して動画と同時に演奏することができるようになります。
- データストリームからリアルタイムにBGMを生成
- PhotoMusic Infiniteが音楽を作るネタは動画に限定されません。世の中にある様々な「データ」の変動から音楽を作ることができます。例えば、温度、風速、雲の流れなどの気象データ、定点カメラに写る風景の変化、人の流れ、騒音などの環境データ、室内や機器に埋め込まれた様々なセンサーからのIoTデータなど多くの例が考えられます。このようなデータは元来無機質なものですが、監視やエンターテイメントなどの領域でPhotoMusic Infiniteによってそれらを使った新しいユーザー価値を生み出します。
- 様々なシステムにおける新しいユーザー価値
- このようにPhotoMusic Infiniteは、画像やデータの変化から作られる即興音楽によってこれまでに無かったユーザー体験を作り出すことができます。その応用はイベント、公共、車載、住環境などの監視やエンターテイメントの様々な領域に適用することができます。
（※現在は動画ファイルからの入力のみに対応したツールを提供しています。リアルタイム動画やデータからの音楽生成は、個別にシステムインテグレーションとして対応します）
PhotoMusic Infiniteギャラリー
動画素材にPhotoMusic Infiniteの適当なスタイルを当てはめて作成したサンプル作品を幾つかご紹介します。このように、スタイルを設定するだけの手間で、バラエティ豊かな音楽が生成できます。また動画の変化に追随してメロディが変化する様子も見て取れます。
