アナグラのうた、サウンドシステム
•
2 j'aime•1,420 vues
日本科学未来館「アナグラのうた〜消えた博士と残された装置〜」のMax/MSPを利用したサウンドシステムのプレゼンテーション
Recommandé
Contenu connexe
En vedette
En vedette (20)
アナグラのうた、サウンドシステム
- 1. 「アナグラのうた〜消えた博士と残された装置」 Max/MSPを利用したサウンドシステム 株式会社ブレインストーム・同化p 中村隆之
- 2. 「アナグラのうた〜消えた博士と残された装置」とは • 日本科学未来館に2011年8月にオープンした • 空間情報科学に関する展示 • 以後５年間にわたり展示される予定 • サウンド制御にMax/MSPを利用
- 4. 中村隆之 自己紹介 • 1967年生まれ • 東京都出身 • ビデオゲーム向けの音楽 効果音制作会社経営。
- 5. 略歴 • 1990年 セガ入社 • 1991年 「F1エキゾーストノート」 • 1992年 「アウトランナーズ」 • 1993年 「バーチャファイター」 • 1994年 「バーチャファイター２」 • 1996年 セガ退社、ドリームファクトリー入社 • 1996年 「トバル2」 • 1998年 「エアガイツ」 • 1999年 独立、ブレインストーム設立 • 2000年 「剣豪」 • 2004年 「ルミネス」 • 2005年 「メテオス」 • 2006年 「NINETY-NINE NIGHTS」 • 2007年 「ルミネス２」 • 2009年 「スティッチDS オハナとリズムで大冒険」 • 2011年 「アナグラのうた」、ゲームサウンド制作 多数
- 9. 1990年当時のセガ • アーケードゲームが盛ん • メガドライブ発売直後 • サウンドクリエイターもプログラムを書く。 • 曲と効果音のデータはアセンブラのマクロで書 かれていた。
- 10. 当時、私のプログラム経験 • 大学時代、ポケコンでBASIC自作プログラム • 秋葉原のヤマギワ電気でパソコン販売員 • 1990年入社後サウンドプログラムを教わる • Z80,68000アセンブラを習得
- 11. 当時の曲データ
- 12. プログラムをかけるようになって， • 曲のデータを、アセンブラマクロを使い手入力しな くてはいけないことに不満を持っていた。(MML) • ゲーム基板で、SMFがそのまま読めるプログラム開発 を考える。 • 当時のセガの開発基盤にはMIDI I/Fをつけられた。
- 14. アーケードゲームのサウンドプログラム(1990初頭） MIDIでゲームサウンドを制御できるようになり， • VirtuaFighterの様なゲーム基板とサウンド基板が分離している筐 体は、MIDI通信でやり取りしていた。 • テストプログラムには、Max/OPCODEを利用した。 • これが、私のMaxを使い始めたきっかけ。 当時、Maxはサウンドプログラムの開発に非常に有効でした。
- 16. 1000 ! ! ! ! ! ! ! ! ! ! ! ! 1000 ! 2011 ! !
- 17. まずはビデオをご覧くだ さい。
- 18. スピーカーの配置
- 24. サウンドPC
- 25. 他のPCとの通信 • UDPによる通信 • コンテンツPC,映像PC • 曲のリクエスト、歌詞の表示，パーティク ルの表示
- 26. アナグラにある３つのモード ✴ 通常時のサウンド ✴ アナグラのうた ✴ お客さんの体験に基づいて流れる歌 ✴ まつりのうた ✴ 特定の条件でながれる歌
- 28. Max/MSPを使い制御したこと
- 29. Max/MSPを使い制御したこと • 「通常サウンド」「アナグラの歌」「まつりの歌」の３つの モードを一つのプログラムで実行。
- 30. Max/MSPを使い制御したこと • 「通常サウンド」「アナグラの歌」「まつりの歌」の３つの モードを一つのプログラムで実行。 • 11個のSP、1個のウーハーの音量コントロール
- 31. Max/MSPを使い制御したこと • 「通常サウンド」「アナグラの歌」「まつりの歌」の３つの モードを一つのプログラムで実行。 • 11個のSP、1個のウーハーの音量コントロール • 複数曲の連続再生と、「まつり」発生条件の制御
- 32. Max/MSPを使い制御したこと • 「通常サウンド」「アナグラの歌」「まつりの歌」の３つの モードを一つのプログラムで実行。 • 11個のSP、1個のウーハーの音量コントロール • 複数曲の連続再生と、「まつり」発生条件の制御 • 体験者の動作に応じた効果音の再生、座標計算
- 33. Max/MSPを使い制御したこと • 「通常サウンド」「アナグラの歌」「まつりの歌」の３つの モードを一つのプログラムで実行。 • 11個のSP、1個のウーハーの音量コントロール • 複数曲の連続再生と、「まつり」発生条件の制御 • 体験者の動作に応じた効果音の再生、座標計算 • プロジェクターに現れるオブジェクト（動物）の効果音制御
- 34. Max/MSPを使い制御したこと • 「通常サウンド」「アナグラの歌」「まつりの歌」の３つの モードを一つのプログラムで実行。 • 11個のSP、1個のウーハーの音量コントロール • 複数曲の連続再生と、「まつり」発生条件の制御 • 体験者の動作に応じた効果音の再生、座標計算 • プロジェクターに現れるオブジェクト（動物）の効果音制御 • サウンドエフェクト，ディレイのコントロール
- 35. Max/MSPを使い制御したこと • 「通常サウンド」「アナグラの歌」「まつりの歌」の３つの モードを一つのプログラムで実行。 • 11個のSP、1個のウーハーの音量コントロール • 複数曲の連続再生と、「まつり」発生条件の制御 • 体験者の動作に応じた効果音の再生、座標計算 • プロジェクターに現れるオブジェクト（動物）の効果音制御 • サウンドエフェクト，ディレイのコントロール • 映像PCへのタイミング信号の送信（歌詞とパーティクル）
- 36. Max/MSPを使い制御したこと • 「通常サウンド」「アナグラの歌」「まつりの歌」の３つの モードを一つのプログラムで実行。 • 11個のSP、1個のウーハーの音量コントロール • 複数曲の連続再生と、「まつり」発生条件の制御 • 体験者の動作に応じた効果音の再生、座標計算 • プロジェクターに現れるオブジェクト（動物）の効果音制御 • サウンドエフェクト，ディレイのコントロール • 映像PCへのタイミング信号の送信（歌詞とパーティクル） • イキトイキでの、音声の録音とその音の曲への反映
- 37. Max/MSPを使い制御したこと • 「通常サウンド」「アナグラの歌」「まつりの歌」の３つの モードを一つのプログラムで実行。 • 11個のSP、1個のウーハーの音量コントロール • 複数曲の連続再生と、「まつり」発生条件の制御 • 体験者の動作に応じた効果音の再生、座標計算 • プロジェクターに現れるオブジェクト（動物）の効果音制御 • サウンドエフェクト，ディレイのコントロール • 映像PCへのタイミング信号の送信（歌詞とパーティクル） • イキトイキでの、音声の録音とその音の曲への反映 • 体験内容に応じた，歌詞と歌の自動生成と再生
- 38. Max/MSPを使い制御したこと • 「通常サウンド」「アナグラの歌」「まつりの歌」の３つの モードを一つのプログラムで実行。 • 11個のSP、1個のウーハーの音量コントロール • 複数曲の連続再生と、「まつり」発生条件の制御 • 体験者の動作に応じた効果音の再生、座標計算 • プロジェクターに現れるオブジェクト（動物）の効果音制御 • サウンドエフェクト，ディレイのコントロール • 映像PCへのタイミング信号の送信（歌詞とパーティクル） • イキトイキでの、音声の録音とその音の曲への反映 • 体験内容に応じた，歌詞と歌の自動生成と再生 （データ制作は専用プログラムにて）
- 40. ! vsq ID ! WAV WAV vsq wav PC WAV WAV / ! WAV WAV WAV
- 41. 今日のお話 • 通常時のサウンド • 歌詞と歌の自動生成 • アナグラ・曲の再生 • シーケンスファイルによるパラメータのコントロール • 効果音の再生 • その他
- 42. 通常時のサウンド
- 47. 通常時のサウンド（歌が流れいない状態） • 1000年後、人類のいない、コンピュータ だけの世界、そのアンビエントを表現 • 開発開始直後の震災 • Nagiの誕生
- 49. Nagiの誕生 • 震災直後の人を癒やしたいという衝動 • 音のフィードバック&ディレイと、サイン 波の融合というアイディア • 約一ヶ月で3000ダウンロード
- 50. 「Nagi」と「アナグラ通常サウンド」の違い。 • アナグラには会場のマイク入力がないので、 現場の音をフィードバックさせていない。 • ライブハウスモードという、隣のライブハウ スから聞こえてくるようなバスドラ風の低音 をプラス。 • 11ch+1chのスピーカーから出力
- 52. ここからは、アナグラの サウンドを体験していた だきます。
- 53. iPhone版 Nagi
- 54. 歌詞と歌の自動生成
- 55. オーダー • 歌は、YAMAHA VOCALOID VY1を使う。 • 体験者の情報をリアルタイムに歌にして欲しい。 • 複数パターンの曲を用意して欲しい。(10パターン） • 曲はダンスミュージックであって欲しい。
- 57. 体験者の情報をリアルタイムに歌にしてほしい 歌詞を自動生成
- 58. 体験者の情報をリアルタイムに歌にしてほしい 歌詞を自動生成 しかし、10種類の違った曲
- 59. 体験者の情報をリアルタイムに歌にしてほしい 歌詞を自動生成 しかし、10種類の違った曲 • すべての曲のメロディの音符数をそろえる。
- 60. 体験者の情報をリアルタイムに歌にしてほしい 歌詞を自動生成 しかし、10種類の違った曲 • すべての曲のメロディの音符数をそろえる。 • それにより、歌詞を全曲で共通化できる。
- 61. 体験者の情報をリアルタイムに歌にしてほしい 歌詞を自動生成 しかし、10種類の違った曲 • すべての曲のメロディの音符数をそろえる。 • それにより、歌詞を全曲で共通化できる。 • 体験者の行動により、テンプレートから歌詞の断片を選 び出し、新しい歌詞を作り出す。
- 62. 体験者の情報をリアルタイムに歌にしてほしい 歌詞を自動生成 しかし、10種類の違った曲 • すべての曲のメロディの音符数をそろえる。 • それにより、歌詞を全曲で共通化できる。 • 体験者の行動により、テンプレートから歌詞の断片を選 び出し、新しい歌詞を作り出す。 • さらに体験者の名前を頭２文字だけ抜き出し、歌詞に入 れる。
- 63. PC ! ! ! ! ! ! ! ! ! CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC! CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC! XXX CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC! ×× CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC! → CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC! CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC! X XX XXX CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC! CUE XX A QR X XX B CCCCCCCC! CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC
- 65. 歌の生成は、専用プログラム
- 68. 歌の生成は、専用プログラム 体験に基づいた歌詞を組み合わせてTXTを生成 VSQ（VOCALOID用)のファイル変換
- 69. 歌の生成は、専用プログラム 体験に基づいた歌詞を組み合わせてTXTを生成 VSQ（VOCALOID用)のファイル変換
- 70. 歌の生成は、専用プログラム 体験に基づいた歌詞を組み合わせてTXTを生成 VSQ（VOCALOID用)のファイル変換 VSQファイルをWAVファイル変換
- 71. 歌の生成は、専用プログラム 体験に基づいた歌詞を組み合わせてTXTを生成 VSQ（VOCALOID用)のファイル変換 VSQファイルをWAVファイル変換 というプロセスを経て，ボーカルのWAV ファイルを用意する。
- 73. 「待っていたんだ まおちゃんを」 10パターンの曲，歌の冒頭部分を聞き比べ パターン1 パターン2 パターン3 パターン4 パターン5 パターン6 パターン7 パターン8 パターン9 パターン10
- 74. 「待っていたんだ まおちゃんを」 10パターンの曲，歌の冒頭部分を聞き比べ パターン1 パターン2 パターン3 パターン4 パターン5 パターン6 パターン7 パターン8 パターン9 パターン10
- 75. 「待っていたんだ まおちゃんを」 10パターンの曲，歌の冒頭部分を聞き比べ パターン1 パターン2 パターン3 パターン4 パターン5 パターン6 パターン7 パターン8 パターン9 パターン10
- 76. 「待っていたんだ まおちゃんを」 10パターンの曲，歌の冒頭部分を聞き比べ パターン1 パターン2 パターン3 パターン4 パターン5 パターン6 パターン7 パターン8 パターン9 パターン10
- 77. 「待っていたんだ まおちゃんを」 10パターンの曲，歌の冒頭部分を聞き比べ パターン1 パターン2 パターン3 パターン4 パターン5 パターン6 パターン7 パターン8 パターン9 パターン10
- 78. 「待っていたんだ まおちゃんを」 10パターンの曲，歌の冒頭部分を聞き比べ パターン1 パターン2 パターン3 パターン4 パターン5 パターン6 パターン7 パターン8 パターン9 パターン10
- 79. 「待っていたんだ まおちゃんを」 10パターンの曲，歌の冒頭部分を聞き比べ パターン1 パターン2 パターン3 パターン4 パターン5 パターン6 パターン7 パターン8 パターン9 パターン10
- 80. 「待っていたんだ まおちゃんを」 10パターンの曲，歌の冒頭部分を聞き比べ パターン1 パターン2 パターン3 パターン4 パターン5 パターン6 パターン7 パターン8 パターン9 パターン10
- 81. 「待っていたんだ まおちゃんを」 10パターンの曲，歌の冒頭部分を聞き比べ パターン1 パターン2 パターン3 パターン4 パターン5 パターン6 パターン7 パターン8 パターン9 パターン10
- 82. 「待っていたんだ まおちゃんを」 10パターンの曲，歌の冒頭部分を聞き比べ パターン1 パターン2 パターン3 パターン4 パターン5 パターン6 パターン7 パターン8 パターン9 パターン10
- 83. 「待っていたんだ まおちゃんを」 10パターンの曲，歌の冒頭部分を聞き比べ パターン1 パターン2 パターン3 パターン4 パターン5 パターン6 パターン7 パターン8 パターン9 パターン10
- 84. アナグラ・曲の再生
- 86. アナグラ・曲の再生 • 伴奏WAVEファイルと、歌WAVEファイルの 同期再生 • TEXTシーケンスファイルによる制御。
- 87. 実演してみましょう
- 88. テンポ 伴奏用TEXTファイル名 体験者の声の録音ファイル名 再生ファイル名 小節数 再生終了記号
- 89. スピーカーとディレイ制御 • １２のスピーカーのボリューム制御 • １２のスピーカーのディレイ制御 • シーケンスファイルにより曲毎に，曲のテ ンポに合わせ，ディレイタイム、設定を変 更出来る。
- 90. テンポに対する倍率（ディレイ）
- 91. 映像制御 • 映像表示は，全て映像PCによるもの • Maxからはタイミングデータの送信 • 歌詞表示用のタイミングデータ • 小節数を送信 • パーティクルサイズのコントロール
- 92. テンポに対する倍率（ディレイ） パーティクルのグループ パーティクルの種類 Lineに入れる値
- 104. このスピーカーから再生
- 105. 効果音の座標 11chスピーカーの座標位置 スピーカーまでの距離を計算 ボリューム値を丸める
- 106. 以上がサウンドシステ ムの特徴でした。
- 107. まとめ
- 108. 開発概要 • 期間 • ３月から８月までの５ヶ月間 • Max/MSPプログラムと音楽効果音制作 • 一名
- 109. オーディオインターフェイス ROLAND OCTA-CAPTURE を3台使用
- 110. Max/MSPを利用したメリット • 本職プログラマでない私でも制作可能 • 大規模なサウンドシステムのプログラム を，比較的短期間で制作出来た。 • 同時に複数の制御するシステムを作れる。 • タイミング制御のプログラムが容易
- 111. Max/MSP開発中の不安点 • 長期間，長時間の運用に耐えうるか。 • 1日6時間以上，5年間の連続運用 • 短期間で仕様通りのプログラムを完成させられる か。
- 112. Max/MSP開発の問題点 • シビアなオーディオ同期、ファイルのリードライト 処理、エラーを返さない。 • pipeを使ってタイミングを調整 • オブジェクトに値を入れてから反映されるまでのタ イムラグ • トリガーを飛ばしてしまう。 • 複数の条件分岐が苦手， • 処理の順番がシビアなプログラムが苦手
- 113. 実は・・・
- 115. 御質問がありました ら、どうぞ
- 116. 以上，ありがとうございました。 中村 隆之・同化ｐ nakataka@nakataka.net nakataka takayukina