Contenu connexe
Similaire à アナグラプレゼン資料 Cedec
Similaire à アナグラプレゼン資料 Cedec (8)
アナグラプレゼン資料 Cedec
- 2. 「アナグラのうた」とは
• 延床面積:150㎡
• レーザーセンサー:20基
• プロジェクター:24基
• スピーカー:11個+ウーファー1個
• 日本科学未来館に2011年8月にオープンした
• 空間情報科学に関する常設展示
• ボーカロイドが歌う
• サウンド制御にMax/MSPを利用
2012年 8月 19日 日曜日
- 3. 「アナグラのうた」とは
• 文化庁メディア芸術祭にて、優秀賞を頂き
ました。
2012年 8月 19日 日曜日
- 4. このプレゼンのハイライトは?
• プレイヤーの体験内容によって歌を自動生成（ボーカ
ロイドを使用）
• 11.1chのスピーカーをリアルタイムにコントロール
• 大型施設の展示のサウンドコントロールににMax/MSP
を利用
• ここから、サウンドの技術的な話になります。
2012年 8月 19日 日曜日
- 5. プレゼンター中村隆之 自己紹介
• 1967年生まれ
• 東京都出身
• ビデオゲーム向けの音楽 効果音制作会社
経営。
• 作曲、サウンドプログラムなどが職業
2012年 8月 19日 日曜日
- 6. 略歴
• 1990年 セガ入社
• 1991年 「F1エキゾーストノート」
• 1992年 「アウトランナーズ」
• 1993年 「バーチャファイター」
• 1994年 「バーチャファイター２」
• 1996年 セガ退社、ドリームファクトリー入社
• 1996年 「トバル2」
• 1998年 「エアガイツ」
• 1999年 独立、ブレインストーム設立
• 2000年 「剣豪」
• 2004年 「ルミネス」
• 2005年 「メテオス」
• 2006年 「NINETY-NINE NIGHTS」
• 2007年 「ルミネス２」
• 2009年 「スティッチDS オハナとリズムで大冒険」
• 2011年 「アナグラのうた」、ゲームサウンド制作 多数
2012年 8月 19日 日曜日
- 8. 1990年当時のセガ
• アーケードゲームが盛ん
• メガドライブ発売直後
• サウンドクリエイターもプログラムを書く。
• 曲と効果音のデータはアセンブラのマクロで
書かれていた。
2012年 8月 19日 日曜日
- 9. 当時、私のプログラム経験
• 大学時代、ポケコンでBASIC自作プログラム
• 秋葉原ヤマギワテクニカでパソコン販売員
• セガに入社後サウンドプログラムを教わる
• Z80,68000アセンブラを習得
2012年 8月 19日 日曜日
- 11. プログラムをかけるようになって，
• アセンブラマクロで曲データを手入力しなくてはい
けないことに不満を持った。(MML)
• 当時のセガの開発基盤にはMIDI I/Fをつけられた。
• ゲーム基板でStandard MIDI Fileがそのまま読めるプロ
グラムを開発
2012年 8月 19日 日曜日
- 13. アーケードゲームのサウンドプログラム
(1992年頃）
• MIDIでゲームサウンドを制御できるようになり，
• VirtuaFighterの様なメイン基板とサウンド基板が分離してい
る筐体は、MIDIでやり取りしていた。
• テストプログラムには、MAX/OPCODEを利用した。
• これが、私のMaxを使い始めたきっかけ。
• 当時、MaxをMIDIのテストツールとして利用した。
2012年 8月 19日 日曜日
- 20. Max/MSPとは？
Max
Max （マックス）は、サンフランシスコのソフトウェア企業Cycling '74が開発・保守している音楽とマルチメディア向
けのグラフィカルな統合開発環境（ビジュアルプログラミング言語）である。作曲家やメディアアーティストらに20年
以上使われ続けている。
Max/MSP
前バージョンまではDSPの追加機能を備えたMax/MSP（マックス・エムエスピー）という名で発売されており、それに
追加モジュールとして映像を取り扱うJitter（ジッター）が別売りで販売されていた。
ヴァージョン5からは全てのMaxにJitterが含まれ、MaxとMSPとJitterは一つのパッケージとして販売されるようになっ
た。これにより名称は再びMaxに戻った。
モジュール化
Maxは非常にモジュール性が高く、ほとんどのルーチンは共有ライブラリの形で存在している。APIによってサードパー
ティーが（external objectsと呼ばれる）新たなルーチンを開発可能である。結果として、多くのMaxユーザーが商用か
否かに関わらず、拡張を行っている。拡張性とグラフィカルなユーザインタフェースにより、Maxはインタラクティブ
な音楽パフォーマンスソフトウェア開発におけるリングワ・フランカともいうべき存在になっている。
(Wikipediaより)
2012年 8月 19日 日曜日
- 21. Max/MSPを使い制御したこと その１
• 「通常サウンド」「アナグラの歌」「まつりの歌」
の３つのモードを一つのプログラムで実行。
• 体験者の動作に応じた効果音の再生
• プロジェクターの現れるオブジェクト（動物）の効
果音制御
• イキトイキでの、音声の録音とその音の曲への反映
2012年 8月 19日 日曜日
- 22. 通常時のサウンド（歌が流れいない状態）
• 1000年後、人類のいない、コンピュータ
だけの世界、そのアンビエントを表現
• 開発開始直後の震災
• テストプログラム開発中だった。
• そして、Nagiの誕生
2012年 8月 19日 日曜日
- 23. Nagiの誕生
• 震災直後の人を癒やしたいという衝動
• 音のフィードバック&ディレイとサイン波
の融合というアイディア
• 同化ｐのメンバーの後押し
• 約一ヶ月で3000ダウンロード
2012年 8月 19日 日曜日
- 25. コンテンツＰＣ
通常状態
効果音の制御
ME01
イキ・トイキ録音
効果音再生信号 録音開始・終了要求
イキ・トイキ録音した後にロスト
した場合について要検討
※軌跡ＩＤ変わるので
ME05 ・効果音ファイル名 軌跡ＩＤ
・スピーカー座標 or
表示制御音楽 ＱＲコード
データ受信・送信
サウンドＰＣ
ME11
・効果音ファイル名 音声録音
・スピーカー座標
・効果音ファイル名
表示ＰＣ ・スピーカー座標
生成
効果音再生信号
イキ・トイキ収録
ファイル(.wav)
ME10
音響再生制御
MAX/MSP 効果音
参照
ファイル(.wav)
出力
音
2012年 8月 19日 日曜日
- 26. Max/MSPを使い制御したこと その２
• 複数曲の連続再生と、「まつり」発生条件の制御
• 11個のSP、1個のウーハーの音量コントロール
• エフェクト，ディレイのコントロール
• 映像PCへのタイミング信号の送信
• イキトイキでの、音声の録音とその音の曲への反映
2012年 8月 19日 日曜日
- 27. コンテンツＰＣ 履歴ＰＣ
アナグラのうた プレイヤーデータ
歌の生成と映像の制御 ME01 （軌跡ＩＤ） 過去体験
（ＱＲコード） データ
（軌跡データ）
再生QUE送信 （全員分のデータ）
参照
歌終了信号 ME02
歌詞テキスト生成
ME05 歌詞データ
（軌跡ＩＤ）
表示制御音楽 （物語番号）
データ受信・送信 （体験パターン）
（曲パターン）
軌跡ＩＤ （.vsq）
軌跡ＩＤ
サウンドＰＣ
パーティクル ME08 軌跡ＩＤ生成
制御信号
wav生成
生成 可変ボーカル
歌詞番号 .vsq生成 ファイル(.vsq)
参照
表示ＰＣ 生成完了信号送信 ME09 歌合成
歌詞テキスト 歌詞番号
.vsqから.wav
を生成
生成
データ受け取り 生成
データ解析 軌跡ＩＤ
パーティクル (.txt) 可変ボーカル
パーティクル 制御信号 参照 ファイル(.wav)
アニメーション
参照 既存ボーカル
ME10 参照 ファイル(.wav)
音響再生制御
MAX/MSP 参照 伴奏
歌詞表示 ダンス表示 ファイル(.wav)
出力 参照 イキ・トイキ収録
ファイル(.wav)
音
2012年 8月 19日 日曜日
- 28. コンテンツＰＣ
まつり状態
歌の再生と映像の制御
ME01
状態判定
（手をつないだか）
ME05 祭り開始信号
表示制御音楽
データ受信・送信
サウンドＰＣ
歌詞番号
歌終了信号 パーティクル
制御信号
表示ＰＣ 歌終了信号 祭り待機状態信号
歌詞番号
パーティクル 状態判定
制御信号 （ＱＵＥが何人
データ受け取り たまっているか）
データ解析
ME10
パーティクル 音響再生制御
アニメーション
MAX/MSP 祭り曲
参照
ファイル(.wav)
歌詞表示 ダンス表示
出力
音
2012年 8月 19日 日曜日
- 30. 要望
• 歌にYAMAHA VOCALOID VY-1を使う。
• 体験者の情報をリアルタイムに歌にして欲しい。
• 複数パターンの曲を用意して欲しい。(10パターン）
• さらにダンスミュージックであって欲しい。
2012年 8月 19日 日曜日
- 31. 体験者の情報をリアルタイムに歌にしてほしい
課題：歌詞の自動生成
• アナグラでの体験を元に歌詞を自動的につくる
• 名前
• 体験した装置
• 録音した音声
• アナグラの物語
• これらの情報が反映した歌詞をつくる。
• どうやって？
2012年 8月 19日 日曜日
- 32. 歌詞のテンプレートをつくる
パーツの組み合わせで１曲分の歌詞にする
• 体験者の名前を頭２文字だけ抜き出し歌詞に入れる。
• 名前の文字数が固定数である必要があった。
• 体験者の行動から歌詞パーツを組み合わせ、体験内容に合った歌詞をリ
アルタイムで生成。
• さらに！
• すべての曲のメロディの音符数をそろえる。
• それにより、全曲で歌詞を共通化できる。
2012年 8月 19日 日曜日
- 34. 歌の生成は、専用プログラム
歌詞の自動組み合わせでTEXTを生成
VSQ（VOCALOID)用のファイル変換
VSQファイルをWAVファイル変換
というプロセスを経て，ボーカルのWAVフ
ァイルを用意する。
2012年 8月 19日 日曜日
- 35. 実際に聞いて見よう
• 同一歌詞、別メロディの10曲
2012年 8月 19日 日曜日
- 36. 「まっていたんだ まおちゃんを」
10パターンの曲，歌の冒頭部分を聞き比べ
パターン1 パターン2 パターン3
パターン4 パターン5 パターン6
パターン7 パターン8 パターン9
パターン10
2012年 8月 19日 日曜日
- 37. 曲の再生の問題点
• 伴奏WAVデータと歌WAVデータの同期再生
• さらに10パターンの違う曲
• ボーカロイドの歌へのエフェクト処理（デ
ィレイなど曲毎の対応）
2012年 8月 19日 日曜日
- 38. 歌曲の構造
歌のwaveファイルを準備 歌A 歌B 歌C
再生順を記述したシーケンスTEXTを作る
シーケンスファイルに沿って再生
伴奏Intro 伴奏A 伴奏B 伴奏C
歌A 歌B 歌C
再生のタイミングを細かくコントロールすることによって、同期に失敗しない
2012年 8月 19日 日曜日
- 39. テンポ
伴奏用TEXTファイル名
体験者の声の録音ファイル名
再生ファイル名
小節数
再生終了記号
号2012年 8月 19日 日曜日
- 40. なぜリアルタイム再生しないのか？
• VSTiなどを利用すれば、Waveファイルの
作成はいらないのでは？
• マシンが安定して同期することを最優先
2012年 8月 19日 日曜日
- 41. 歌毎のスピーカーとディレイ制御
• 12のスピーカーのボリューム制御
• 12のスピーカーのディレイ制御
• シーケンスファイルにより曲毎に，曲のテンポ
に合わせ，ディレイタイム、設定を変更出来
る。
2012年 8月 19日 日曜日
- 44. 映像制御
• 映像表示は，全て映像PCによるもの
• Maxからはタイミングデータの送信
• 歌詞の表示タイミング
• パーティクルサイズのコントロール
2012年 8月 19日 日曜日
- 48. • 開発期間に関して
• 3月から8月までの6ヶ月間の内、実質の
開発期間2ヶ月間程度
• 11曲の制作と効果音、そしてMax/MSPの
プログラムをほぼ一人で。
2012年 8月 19日 日曜日
- 50. 時間があれば実演
ライブ・プログラミング
2012年 8月 19日 日曜日
