Hololen smeetup 13 holomon
Notes de l'éditeur
- ではLTを始めます。
発表名は「爺ちゃんにまた会うアプリを作った話」です。
- 始めに自己紹介をさせていただきます。
ハンドルネームは「ホロモン」です。よろしくお願いします。
HoloLensの活動としては「MRが楽しい」というブログを書いています。
最近はtwitterも始めました。IDはHoloAdventureです。こちらもよろしくお願いします。
とってもデジモン大好き人間です。
- 自己紹介に合わせて少し宣伝です。
この10月に昨年５月から目標に掲げてきた。
「HoloLensで自作キャラクタを登場させる」を達成しました。
作成した自作モデルを公開中です。
FBX/VRM形式なので是非使ってみてください。
- では、「今日のお話」についてです。
いきなりですが、こちらの写真。写っているのは私の母方の祖父です。
今年は祖父とVR空間で正月挨拶をしました。
- 事の経緯を説明しますと、この私の爺ちゃんは去年の６月に天寿を全うしました。
これは去年の正月休みの写真です。場所は祖父自身が色々と自作したサンルームです。
去年、2018年の正月休みに会ったとき、フォトグラメトリーを勉強していた自分は、祖父にその技術についてどういったものか説明しました。
そのとき、フォトグラメトリーを試して見せるため、写真を12枚撮影しました。
- 「フォトグラメトリー」について少し説明します。
簡単に言ってしまうと、複数枚の写真から被写体の3Dモデルを生成する。
綺麗に3Dモデルを復元するにはいくつか条件があります。
様々な角度から撮影した写真があること
光沢や照明環境などの変化が少ないこと
被写体に特徴点が多いこと
対象が静止した物体であること
- 当時撮影した、12枚の写真をフォトグラメトリーにかけて3Dモデルを復元したところ、非常に荒いモデルになってしまっいました。
じっとしてもらう祖父に遠慮して12枚しか写真を撮らなかったこと。
無意識に祖父がカメラの方向を向いてしまっていたこと、などが原因と思われます。
祖父が亡くなると同時にサンルームも片付けられてしまい、再び追加の写真を撮る事は叶わなくなりました。
しかし、この作成された3Dモデルを見ていて気付いたのですが。
写真から判断しづらい「物体の奥行き」はきちんと復元できています。
冒頭の話に戻りますが、この１年間で私はホロ恋子のキャラクターモデリングを完成させるなど、モデリングの技術が上達しました。
- 「もしかして今の私のモデリングスキルなら、これを綺麗にリトポロジーできるのでは？」
そう思い、復元した3Dモデルをモデリングソフトに取り込み、モデルを綺麗な形に修正するリトポロジー作業を行いました。
かなりの力技です。
部屋の小物は写真の形状と復元モデルのサイズ感を元に作り直しました。
その後、ポリゴンが欠けている部分はメッシュとテクスチャを作成して張り直し。
背面は想像してモデリングし、テクスチャは写真から見えている部分を抽出しました。
最終的な総オブジェクト数は50個、製作時間は50時間程度です。
大晦日にフル稼働しました。
- そして最後に復元したモデルを表示するOculusGoアプリを作成しました。
今回、背面の写真がなかったため、モデルの後ろは正確ではありませんでした。
OculusGoは位置トラッキングができないため、視点を正面に固定できる点がメリットになりました。
祖父の腹部を上下させるシェイプキーを作成し、息をしているようなアニメーションを加えるなど、人形や写真ではできない表現も行えました。
- まとめです。
今回、VRに思い出のシーンの「体験」を保存するツールとしての価値を見出すことができました。
人の手で復元できたということは今後、自動化できる望みがあるかもしれない。
何より、今年も爺ちゃんに正月挨拶を行うことができました。
