PhotoMusic Infiniteは、読み込んだ動画の特徴を利用して、それに合った音楽を即興的、リアルタイムに生成するソフトウェアです。音楽の知識は必要ありません。動画を読み込ませるだけで、世界で唯一つの音楽を即興でリアルタイムに作曲して演奏します。
新しいバージョンのInfinite2.5は、YouTubeのライブビデオを読み込みながらその変化に合わせてリアルタイムに音楽を生成する機能が付け加わりました。ライブビデオが続く限り、無限に音楽を作り続けます。
このサンプルは、交差点の人や車の量の変化に反応して、リアルタイムにメロディが変化しています。画像の変化が激しいときは、様々な楽器のメロディが激しく鳴ります。画像の変化が少ないときは、メロディがゆっくり流れます。YouTube上のライブストリーム動画を喰わせると朝から晩までずっと無限に音楽を生成し続けます。
PhotoMusic Infinite2.5の特徴
PhotoMusic Infinite2.5は、これまでにPhotoMusicで培ってきた自動音楽生成のアルゴリズムに改良を施し、また様々な音楽的な知見を加えました。その結果、画像からリアルタイムに即興的に作る音楽でありながら、「多彩」、「意外」、「自然」、「面白い」などと形容される音楽が作れるようになりました。
- ライブ動画から無限に音楽を生成
- YouTubeのライブ配信ビデオを喰わせると、画像の変化に合わせてビデオが続く限り無限に音楽を作り続けます。ライブ画像の予期しない変化から面白く変化する音楽がずっと流れ続けます。画像のある部分だけに注目して、その変化から音楽を作ることも可能です。例えば、上のスクランブル交差点のサンプルでは交差点付近の人、車の変化だけを使っており、その外側の動きの少ない部分は音楽生成に利用していません
- 動画から世界で唯一つの即興音楽を自動生成
- 音楽の知識は必要ありません。動画ファイルをドラッグ＆ドロップするだけで、画像の変化に合わせた即興音楽が生成され画面の動画のBGMとして流れます。独自のアルゴリズムにより、同じ動画ファイルを食わせても毎回異なった趣のメロディが作られるので、いつも世界で唯一つの音楽を楽しめます。また音楽の著作権やロイヤリティに煩わされることはありません。
- 多彩な曲調のスタイル
- 「スタイル」を選択するだけで、音楽や作曲の知識が無くても簡単に様々なジャンルの音楽を作れます。数１０種類のスタイルが組み込まれており、メロディアス、ダンサブル、リラックス、アンニュイなどのタイプがあります。スタイルを変えると一つの動画から驚くほど多様な音楽が作られます。
- 長い時間、動画にマッチしたBGMを楽しめる
- YouTubeにはたくさんの長尺ものの動画があります。それらをPhotoMusic Infinite2.5に喰わせて長い時間、オリジナルなBGMと動画コンビネーションを楽しめます。特に車窓風景のYouTube動画がお勧めです。例えば、YouTubeで「車窓動画 夜行列車」で検索するとたくさんの長尺ものの動画が見つかります。長距離夜行列車の車窓動画をそれにマッチしたスタイルでプレイすると旅行気分が高まります。遠くの明かりしか見えないときの静かな音、明々とした駅ホームを通過するときの音楽の高まり。BGMを車内アナウンスや車輪の音などにかぶせるとより雰囲気が出ます。
- 音楽表現の改良
- PhotoMusic Infinite2.5は、コード進行パターン、メロディと伴奏のアルゴリズム、ベースのパターン、などを従来よりも大幅に改良しました。その結果、ますますメロディアスな音楽を生成できるようになりました。
PhotoMusic Infinite2.5の応用
- データストリームからリアルタイムにBGMを生成
- PhotoMusic Infinite2.5が音楽を作るネタは動画に限定されません。世の中にある様々な「データ」の変動から音楽を作ることができます。例えば、温度、風速、雲の流れなどの気象データ、定点カメラに写る風景の変化、人の流れ、騒音などの環境データ、室内や機器に埋め込まれた様々なセンサーからのIoTデータなど多くの例が考えられます。このようなデータは元来無機質なものですが、監視やエンターテイメントなどの領域でPhotoMusic Infinite2.5によってそれらを使った新しいユーザー価値を生み出します。
- 動画ファイルからBGMを生成
- PhotoMusic Infinite2.5は動画に対してリアルタイムに音楽(BGM)を付けるツールです。 スマホやカメラで撮影した様々な動画はそのままでは無音だったり雑音だらけだったりしますが、PhotoMusic Infnite2.0に食わせると、画像に合ったBGM付きの動画に簡単に変身させることができます。
- 様々なシステムにおける新しいユーザー価値
- PhotoMusic Infinite2.5は、画像やデータの変化から作られる即興音楽によってこれまでに無かったユーザー体験を作り出すことができます。その応用はイベント、公共、車載、住環境などの監視やエンターテイメントの様々な領域に適用することができます。