SlideShare une entreprise Scribd logo
1  sur  22
Télécharger pour lire hors ligne
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
ソフトウエアジャパン2021
協働プロジェクト『空気を読む家』
ドコでナニしている?
~ 空間OSとフィジカルの連携 ~
2021年02月03日
先端IT活用推進コンソーシアム
クラウド・テクノロジー活用部会 リーダー 荒本道隆
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
やりたいこと
・ドコでナニしてる? を知る
・自宅の中で → 一般家庭で導入可能な価格、大きさ
・寝起き直後の人が → パジャマ姿、寝ぐせアリ、化粧ナシ
・どこにいるか? → どの部屋の、どこに居るか
・何をしているか? → カメラで姿勢検出するなら、プライバシーに配慮
・どうする を示唆する
・トイレや寝室に移動 → 各部屋にデバイスを設置
・やる事が多い → 手を塞がないよう、音(音楽、音声)や光でお知らせ
状況を選曲やテンポや色で伝える
本当にヤバイ時は、音声で伝える
付加機能で、ニュースの読み上げ(非常に余裕がある朝)
2
バーチャルとリアルの橋渡し
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
もう1つのテーマ
・これまでのITフォーラムの成果を活用しよう
・2016年:『空気を読む家』におけるデータ解析
寝室:Webカメラ、人判定、寝ているか?
https://www.slideshare.net/aitc_jp/201624-os-57987229
・2017年:『空気を読む家』におけるデータ解析
寝室:センサ、環境データを0.5秒周期で記録、データを可視化
https://www.slideshare.net/aitc_jp/2017it-forum-aitc4
・2018年:『空気を読む家』におけるオブジェクト認識技術
リビング:ラズパイ+Webカメラ、重さで物を見つける
https://www.slideshare.net/aitc_jp/2018-it4
・2019年:キッチンにおけるデータ収集
キッチン:ラズパイ+BLEタグ、電波強度を測定、冷蔵庫のドアの開閉
https://www.slideshare.net/aitc_jp/31-133093969
・2020年:室内を画像処理で把握
実家:姿勢検出、物体検出、サーモグラフィ
https://www.slideshare.net/aitc_jp/it2020-aitc4
3
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
2016年:寝室:人判定、寝ているか?
4
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
2017年:寝室:環境データを0.5秒周期で記録
5
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
2018年:リビング:重さで物を見つける
6
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
2019年:キッチン:電波強度を測定
7
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
2020年:実家:姿勢検出、物体検出、サーモグラフィ
8
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
・実現方法
・BLEタグ → 電波強度で「近い」「遠い」「とても遠い」が分かる
・TWELITE CUE → 電波強度で「近い」「遠い」「とても遠い」が分かる
・Webカメラ → 姿勢検出で人が居るか分かる。細かい位置まで分かる
設置する部屋を制限する
ドコで?
9
電波を
出す
電波を出す
加速度計
電波を受信
空間OS
色&点滅
電波強度から距離を推測
人検出
姿勢検出
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
リビング
・実現方法
・BLEタグ → どこにいるか、何の近くにいるかで推測
・TWELITE → どこにいるか、何の近くにいるかで推測
・Webカメラ →細かい位置と、姿勢検出で「立つ」「座る」「寝る」
キッチン トイレ
ナニをしている?
10
お風呂
寝室
姿勢検出
リビングの電波が一番強い
→ リビングに居る
座っている
→ 朝食を食べている
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
キッチン
リビング
・実現方法
・音(音楽) → 選曲とテンポで状況を伝える。近く音量Up、他は音量Down
・音(音声) → インフメーションやニュースを読み上げる
・光(照明) → 色と点滅で「急げ」を伝える
どうする
11
トイレ
お風呂
寝室
姿勢検出
音量ゼロ
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
こうなる
12
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
・寝起きなのでデバイスを身に付けたくない
・スリッパにタグ(6.5g)を2つ付ける
・安価にシステムを構築したい
・ラズパイとUSBデバイス → 合計約2万円x3
・スピーカーはそこそこ良いものにする
システム構成
13
空間OS
タグ&
加速度計
BLEタグ
USBカメラ
ラズパイ
タグ親機
USBスピーカー
どの部屋に居るか
部屋内の位置
立つ/座る/寝る
曲、音量、テンポ
読み上げテキスト
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
電波強度から部屋を推定
・3ヵ所のラズパイで電波強度を測定し、一番電波が強い部屋に居る
・動いていなくても、電波強度はブレる
・加速度が変化しなければ、「人は動いていない」で補正する
・動いていない間の平均値を算出
・遮蔽物があると、電波が弱くなる
・スリッパの上に、ほぼ水平に配置
14
2019年:
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
室内で姿勢検出をやってみたー1
・カメラを設置する位置を工夫する
15
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
室内で姿勢検出をやってみたー2
・人が居る状態
16
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
室内で姿勢検出をやってみたー3
・真横から撮れば、頭の位置で「立つ」「座る」は判定できそう
・カメラを2つにすれば、より正確な位置が出せそう(X軸、Y軸)
17
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
姿勢検出速度に不満がある場合
・ラズパイ4で0.3FPS程度
・3秒間隔でしか検出できない
・他の処理が重くなってしまう
・NVIDIA Jetson Xavier/Nano に置換すれば、高速化
・全て Linux なので、移行し易い
18
2020年:
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
自宅内にカメラを常時設置できるのか?
・キッチンにカメラを置くのは、家族に猛反対されるかも
・寝起き姿でウロウロするから
・サーモグラフィ(低解像度)なら、許してもらえる?
• Lepton 3.5(サーモグラフィ)(合計約5万円)
• 解像度:160x120
• 測定温度:-10~140℃(-10~400℃)
• 温度の分解能:0.05℃
• 高解像度なものは、購入時に手続き(BIS-711)が必要
19
ドアを開ける人 買いたての缶コーヒー:55度 コンロの火:400度以上
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
音&光による通知について
・全てのラズパイで、同時に曲の再生を開始する
・一番近いラズパイだけ音量Up、それ以外は音量ゼロ
家族が別の部屋でまだ寝ていても、迷惑にならない
・人が部屋を移動したら、それぞれ音量を変化させる
曲の途中で部屋を移動したときに、切り替えをスムーズにするため
・テンポの変更
ダウンロード → 速度変換処理 → 再生
・テキストの読み上げ
・全てのラズパイで読み上げると、一番近いラズパイから聞こえる
・「Open JTalk」で、漢字まじりの文章を読み上げる
・光による通知
・電球の代わりに、色を指定できるLED電球に交換
20
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
クラウド・テクノロジー活用部会のまとめ
・この5年間で、さまざまな蓄積ができた
・今回は、残念ながらデモ無し
・2021年夏の発表に向けて、これから実装&実証実験を開始
・新規の技術&アイデアも検索中
・技術以外の課題が、色々と出てきそう
・どこまでカメラを設置できるか?
・同じ部屋の中で複数人が同時に動いたら?
・別の部屋に人が居る場合は、どうする?
・未検討部分
・オープンデータの活用方法
・バスの時刻表、現在位置
・電車の遅延情報
・天気予報/現在の天気
・桜の開花状況
21
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
http://aitc.jp
https://www.facebook.com/aitc.jp
最新情報は
こちらをご参照ください
ハルミン
AITC非公式イメージキャラクター
最新情報は、
こちらをご参照ください

Contenu connexe

Tendances

ITフォーラム2022 先端IT活用推進コミュニティ(1)
ITフォーラム2022 先端IT活用推進コミュニティ(1)ITフォーラム2022 先端IT活用推進コミュニティ(1)
ITフォーラム2022 先端IT活用推進コミュニティ(1)aitc_jp
 
ITフォーラム2022 先端IT活用推進コミュニティ(4-2)
ITフォーラム2022 先端IT活用推進コミュニティ(4-2)ITフォーラム2022 先端IT活用推進コミュニティ(4-2)
ITフォーラム2022 先端IT活用推進コミュニティ(4-2)aitc_jp
 
フリーカルチャーを推進する新しいサービス
フリーカルチャーを推進する新しいサービスフリーカルチャーを推進する新しいサービス
フリーカルチャーを推進する新しいサービスRyokei Nakazono
 
Smart at reception
Smart at receptionSmart at reception
Smart at receptionM- SOLUTIONS
 

Tendances (6)

ITフォーラム2022 先端IT活用推進コミュニティ(1)
ITフォーラム2022 先端IT活用推進コミュニティ(1)ITフォーラム2022 先端IT活用推進コミュニティ(1)
ITフォーラム2022 先端IT活用推進コミュニティ(1)
 
ITフォーラム2022 先端IT活用推進コミュニティ(4-2)
ITフォーラム2022 先端IT活用推進コミュニティ(4-2)ITフォーラム2022 先端IT活用推進コミュニティ(4-2)
ITフォーラム2022 先端IT活用推進コミュニティ(4-2)
 
Agile japan2011
Agile japan2011Agile japan2011
Agile japan2011
 
フリーカルチャーを推進する新しいサービス
フリーカルチャーを推進する新しいサービスフリーカルチャーを推進する新しいサービス
フリーカルチャーを推進する新しいサービス
 
Smart at reception
Smart at receptionSmart at reception
Smart at reception
 
Smart at robo
Smart at roboSmart at robo
Smart at robo
 

Similaire à ITフォーラム2021 先端IT活用推進コンソーシアム(5/7)

ソフトウエアジャパン2017 IT Forum AITC(3)
ソフトウエアジャパン2017 IT Forum AITC(3)ソフトウエアジャパン2017 IT Forum AITC(3)
ソフトウエアジャパン2017 IT Forum AITC(3)aitc_jp
 
ITフォーラム2020 AITC(4)
ITフォーラム2020 AITC(4)ITフォーラム2020 AITC(4)
ITフォーラム2020 AITC(4)aitc_jp
 
Android & Nui & Physical Computing
Android & Nui & Physical ComputingAndroid & Nui & Physical Computing
Android & Nui & Physical ComputingTakahiro KUREBAYASHI
 
パソコンって何?(2011年)
パソコンって何?(2011年)パソコンって何?(2011年)
パソコンって何?(2011年)IrisLovinson
 
第23回プロコン予選資料
第23回プロコン予選資料第23回プロコン予選資料
第23回プロコン予選資料Takuma Kajikawa
 
[db analytics showcase Sapporo 2018] A33 AI社内実装の試み~ソニーNNCを非技術者に使わせてみる~
[db analytics showcase Sapporo 2018] A33 AI社内実装の試み~ソニーNNCを非技術者に使わせてみる~[db analytics showcase Sapporo 2018] A33 AI社内実装の試み~ソニーNNCを非技術者に使わせてみる~
[db analytics showcase Sapporo 2018] A33 AI社内実装の試み~ソニーNNCを非技術者に使わせてみる~Insight Technology, Inc.
 
ATN No.1 Hadoop vs Amazon EMR
ATN No.1 Hadoop vs Amazon EMRATN No.1 Hadoop vs Amazon EMR
ATN No.1 Hadoop vs Amazon EMRAdvancedTechNight
 
おすすめインフラ! for スタートアップ
おすすめインフラ! for スタートアップおすすめインフラ! for スタートアップ
おすすめインフラ! for スタートアップKoichiro Sumi
 
ITフォーラム2020 AITC(3)
ITフォーラム2020 AITC(3)ITフォーラム2020 AITC(3)
ITフォーラム2020 AITC(3)aitc_jp
 
xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ・コンピューティング
xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ・コンピューティングxR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ・コンピューティング
xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ・コンピューティングShinya Tachihara
 
FINAL FANTASY Record Keeperのマスターデータを支える技術
FINAL FANTASY Record Keeperのマスターデータを支える技術FINAL FANTASY Record Keeperのマスターデータを支える技術
FINAL FANTASY Record Keeperのマスターデータを支える技術dena_study
 

Similaire à ITフォーラム2021 先端IT活用推進コンソーシアム(5/7) (11)

ソフトウエアジャパン2017 IT Forum AITC(3)
ソフトウエアジャパン2017 IT Forum AITC(3)ソフトウエアジャパン2017 IT Forum AITC(3)
ソフトウエアジャパン2017 IT Forum AITC(3)
 
ITフォーラム2020 AITC(4)
ITフォーラム2020 AITC(4)ITフォーラム2020 AITC(4)
ITフォーラム2020 AITC(4)
 
Android & Nui & Physical Computing
Android & Nui & Physical ComputingAndroid & Nui & Physical Computing
Android & Nui & Physical Computing
 
パソコンって何?(2011年)
パソコンって何?(2011年)パソコンって何?(2011年)
パソコンって何?(2011年)
 
第23回プロコン予選資料
第23回プロコン予選資料第23回プロコン予選資料
第23回プロコン予選資料
 
[db analytics showcase Sapporo 2018] A33 AI社内実装の試み~ソニーNNCを非技術者に使わせてみる~
[db analytics showcase Sapporo 2018] A33 AI社内実装の試み~ソニーNNCを非技術者に使わせてみる~[db analytics showcase Sapporo 2018] A33 AI社内実装の試み~ソニーNNCを非技術者に使わせてみる~
[db analytics showcase Sapporo 2018] A33 AI社内実装の試み~ソニーNNCを非技術者に使わせてみる~
 
ATN No.1 Hadoop vs Amazon EMR
ATN No.1 Hadoop vs Amazon EMRATN No.1 Hadoop vs Amazon EMR
ATN No.1 Hadoop vs Amazon EMR
 
おすすめインフラ! for スタートアップ
おすすめインフラ! for スタートアップおすすめインフラ! for スタートアップ
おすすめインフラ! for スタートアップ
 
ITフォーラム2020 AITC(3)
ITフォーラム2020 AITC(3)ITフォーラム2020 AITC(3)
ITフォーラム2020 AITC(3)
 
xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ・コンピューティング
xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ・コンピューティングxR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ・コンピューティング
xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ・コンピューティング
 
FINAL FANTASY Record Keeperのマスターデータを支える技術
FINAL FANTASY Record Keeperのマスターデータを支える技術FINAL FANTASY Record Keeperのマスターデータを支える技術
FINAL FANTASY Record Keeperのマスターデータを支える技術
 

Plus de aitc_jp

ITフォーラム2024 AITCセッション(5)
ITフォーラム2024 AITCセッション(5)ITフォーラム2024 AITCセッション(5)
ITフォーラム2024 AITCセッション(5)aitc_jp
 
ITフォーラム2024 AITCセッション(4)
ITフォーラム2024 AITCセッション(4)ITフォーラム2024 AITCセッション(4)
ITフォーラム2024 AITCセッション(4)aitc_jp
 
ITフォーラム2024 AITCセッション(3)
ITフォーラム2024 AITCセッション(3)ITフォーラム2024 AITCセッション(3)
ITフォーラム2024 AITCセッション(3)aitc_jp
 
ITフォーラム2024 AITCセッション(2)
ITフォーラム2024 AITCセッション(2)ITフォーラム2024 AITCセッション(2)
ITフォーラム2024 AITCセッション(2)aitc_jp
 
ITフォーラム2024 AITCセッション
ITフォーラム2024  AITCセッションITフォーラム2024  AITCセッション
ITフォーラム2024 AITCセッションaitc_jp
 
2)AIを活用したウェルビーイングを測定
2)AIを活用したウェルビーイングを測定2)AIを活用したウェルビーイングを測定
2)AIを活用したウェルビーイングを測定aitc_jp
 
TForum2023_AITC_2.pdf
TForum2023_AITC_2.pdfTForum2023_AITC_2.pdf
TForum2023_AITC_2.pdfaitc_jp
 
2)AIを活用したウェルビーイングを測定
2)AIを活用したウェルビーイングを測定2)AIを活用したウェルビーイングを測定
2)AIを活用したウェルビーイングを測定aitc_jp
 
5)パネルディスカッション:『空気を読む家』×ウェルビーイング/メタバース・Web3
5)パネルディスカッション:『空気を読む家』×ウェルビーイング/メタバース・Web35)パネルディスカッション:『空気を読む家』×ウェルビーイング/メタバース・Web3
5)パネルディスカッション:『空気を読む家』×ウェルビーイング/メタバース・Web3aitc_jp
 
4)技術視点でウェルビーイングを考える
4)技術視点でウェルビーイングを考える4)技術視点でウェルビーイングを考える
4)技術視点でウェルビーイングを考えるaitc_jp
 
3-2)『空気を読む家』とメタバース駆動開発構想
3-2)『空気を読む家』とメタバース駆動開発構想3-2)『空気を読む家』とメタバース駆動開発構想
3-2)『空気を読む家』とメタバース駆動開発構想aitc_jp
 
3-1)『空気を読む家』とメタバース駆動開発構想 空間OS モノと社会をつなげる
3-1)『空気を読む家』とメタバース駆動開発構想   空間OS モノと社会をつなげる3-1)『空気を読む家』とメタバース駆動開発構想   空間OS モノと社会をつなげる
3-1)『空気を読む家』とメタバース駆動開発構想 空間OS モノと社会をつなげるaitc_jp
 
1)空気を読む家』のこれまでの取り組み
1)空気を読む家』のこれまでの取り組み1)空気を読む家』のこれまでの取り組み
1)空気を読む家』のこれまでの取り組みaitc_jp
 
2022/07/22 AITC 第4回オープンラボ「メタバース応用編~空間OSのこれまでとこれから~」セッション2 「空間OSと空気を読む家の実証」
2022/07/22 AITC 第4回オープンラボ「メタバース応用編~空間OSのこれまでとこれから~」セッション2 「空間OSと空気を読む家の実証」2022/07/22 AITC 第4回オープンラボ「メタバース応用編~空間OSのこれまでとこれから~」セッション2 「空間OSと空気を読む家の実証」
2022/07/22 AITC 第4回オープンラボ「メタバース応用編~空間OSのこれまでとこれから~」セッション2 「空間OSと空気を読む家の実証」aitc_jp
 
2022/07/22 AITC 第4回オープンラボ「メタバース応用編~空間OSのこれまでとこれから~」セッション1 「空間OSとメタバース」
2022/07/22 AITC 第4回オープンラボ「メタバース応用編~空間OSのこれまでとこれから~」セッション1 「空間OSとメタバース」2022/07/22 AITC 第4回オープンラボ「メタバース応用編~空間OSのこれまでとこれから~」セッション1 「空間OSとメタバース」
2022/07/22 AITC 第4回オープンラボ「メタバース応用編~空間OSのこれまでとこれから~」セッション1 「空間OSとメタバース」aitc_jp
 
2022/04/20 AITCオープンラボ第2回「田園都市国家構想とデジタル政策について」
2022/04/20 AITCオープンラボ第2回「田園都市国家構想とデジタル政策について」2022/04/20 AITCオープンラボ第2回「田園都市国家構想とデジタル政策について」
2022/04/20 AITCオープンラボ第2回「田園都市国家構想とデジタル政策について」aitc_jp
 
2022/03/23 AITCオープンラボ第1回「メタ―バース入門」
2022/03/23 AITCオープンラボ第1回「メタ―バース入門」2022/03/23 AITCオープンラボ第1回「メタ―バース入門」
2022/03/23 AITCオープンラボ第1回「メタ―バース入門」aitc_jp
 
ITフォーラム2022 先端IT活用推進コミュニティ(3-1)
ITフォーラム2022 先端IT活用推進コミュニティ(3-1)ITフォーラム2022 先端IT活用推進コミュニティ(3-1)
ITフォーラム2022 先端IT活用推進コミュニティ(3-1)aitc_jp
 
ITフォーラム2022 先端IT活用推進コミュニティ(5-2)
ITフォーラム2022 先端IT活用推進コミュニティ(5-2)ITフォーラム2022 先端IT活用推進コミュニティ(5-2)
ITフォーラム2022 先端IT活用推進コミュニティ(5-2)aitc_jp
 
ITフォーラム2022 先端IT活用推進コミュニティ(4-1)
ITフォーラム2022 先端IT活用推進コミュニティ(4-1)ITフォーラム2022 先端IT活用推進コミュニティ(4-1)
ITフォーラム2022 先端IT活用推進コミュニティ(4-1)aitc_jp
 

Plus de aitc_jp (20)

ITフォーラム2024 AITCセッション(5)
ITフォーラム2024 AITCセッション(5)ITフォーラム2024 AITCセッション(5)
ITフォーラム2024 AITCセッション(5)
 
ITフォーラム2024 AITCセッション(4)
ITフォーラム2024 AITCセッション(4)ITフォーラム2024 AITCセッション(4)
ITフォーラム2024 AITCセッション(4)
 
ITフォーラム2024 AITCセッション(3)
ITフォーラム2024 AITCセッション(3)ITフォーラム2024 AITCセッション(3)
ITフォーラム2024 AITCセッション(3)
 
ITフォーラム2024 AITCセッション(2)
ITフォーラム2024 AITCセッション(2)ITフォーラム2024 AITCセッション(2)
ITフォーラム2024 AITCセッション(2)
 
ITフォーラム2024 AITCセッション
ITフォーラム2024  AITCセッションITフォーラム2024  AITCセッション
ITフォーラム2024 AITCセッション
 
2)AIを活用したウェルビーイングを測定
2)AIを活用したウェルビーイングを測定2)AIを活用したウェルビーイングを測定
2)AIを活用したウェルビーイングを測定
 
TForum2023_AITC_2.pdf
TForum2023_AITC_2.pdfTForum2023_AITC_2.pdf
TForum2023_AITC_2.pdf
 
2)AIを活用したウェルビーイングを測定
2)AIを活用したウェルビーイングを測定2)AIを活用したウェルビーイングを測定
2)AIを活用したウェルビーイングを測定
 
5)パネルディスカッション:『空気を読む家』×ウェルビーイング/メタバース・Web3
5)パネルディスカッション:『空気を読む家』×ウェルビーイング/メタバース・Web35)パネルディスカッション:『空気を読む家』×ウェルビーイング/メタバース・Web3
5)パネルディスカッション:『空気を読む家』×ウェルビーイング/メタバース・Web3
 
4)技術視点でウェルビーイングを考える
4)技術視点でウェルビーイングを考える4)技術視点でウェルビーイングを考える
4)技術視点でウェルビーイングを考える
 
3-2)『空気を読む家』とメタバース駆動開発構想
3-2)『空気を読む家』とメタバース駆動開発構想3-2)『空気を読む家』とメタバース駆動開発構想
3-2)『空気を読む家』とメタバース駆動開発構想
 
3-1)『空気を読む家』とメタバース駆動開発構想 空間OS モノと社会をつなげる
3-1)『空気を読む家』とメタバース駆動開発構想   空間OS モノと社会をつなげる3-1)『空気を読む家』とメタバース駆動開発構想   空間OS モノと社会をつなげる
3-1)『空気を読む家』とメタバース駆動開発構想 空間OS モノと社会をつなげる
 
1)空気を読む家』のこれまでの取り組み
1)空気を読む家』のこれまでの取り組み1)空気を読む家』のこれまでの取り組み
1)空気を読む家』のこれまでの取り組み
 
2022/07/22 AITC 第4回オープンラボ「メタバース応用編~空間OSのこれまでとこれから~」セッション2 「空間OSと空気を読む家の実証」
2022/07/22 AITC 第4回オープンラボ「メタバース応用編~空間OSのこれまでとこれから~」セッション2 「空間OSと空気を読む家の実証」2022/07/22 AITC 第4回オープンラボ「メタバース応用編~空間OSのこれまでとこれから~」セッション2 「空間OSと空気を読む家の実証」
2022/07/22 AITC 第4回オープンラボ「メタバース応用編~空間OSのこれまでとこれから~」セッション2 「空間OSと空気を読む家の実証」
 
2022/07/22 AITC 第4回オープンラボ「メタバース応用編~空間OSのこれまでとこれから~」セッション1 「空間OSとメタバース」
2022/07/22 AITC 第4回オープンラボ「メタバース応用編~空間OSのこれまでとこれから~」セッション1 「空間OSとメタバース」2022/07/22 AITC 第4回オープンラボ「メタバース応用編~空間OSのこれまでとこれから~」セッション1 「空間OSとメタバース」
2022/07/22 AITC 第4回オープンラボ「メタバース応用編~空間OSのこれまでとこれから~」セッション1 「空間OSとメタバース」
 
2022/04/20 AITCオープンラボ第2回「田園都市国家構想とデジタル政策について」
2022/04/20 AITCオープンラボ第2回「田園都市国家構想とデジタル政策について」2022/04/20 AITCオープンラボ第2回「田園都市国家構想とデジタル政策について」
2022/04/20 AITCオープンラボ第2回「田園都市国家構想とデジタル政策について」
 
2022/03/23 AITCオープンラボ第1回「メタ―バース入門」
2022/03/23 AITCオープンラボ第1回「メタ―バース入門」2022/03/23 AITCオープンラボ第1回「メタ―バース入門」
2022/03/23 AITCオープンラボ第1回「メタ―バース入門」
 
ITフォーラム2022 先端IT活用推進コミュニティ(3-1)
ITフォーラム2022 先端IT活用推進コミュニティ(3-1)ITフォーラム2022 先端IT活用推進コミュニティ(3-1)
ITフォーラム2022 先端IT活用推進コミュニティ(3-1)
 
ITフォーラム2022 先端IT活用推進コミュニティ(5-2)
ITフォーラム2022 先端IT活用推進コミュニティ(5-2)ITフォーラム2022 先端IT活用推進コミュニティ(5-2)
ITフォーラム2022 先端IT活用推進コミュニティ(5-2)
 
ITフォーラム2022 先端IT活用推進コミュニティ(4-1)
ITフォーラム2022 先端IT活用推進コミュニティ(4-1)ITフォーラム2022 先端IT活用推進コミュニティ(4-1)
ITフォーラム2022 先端IT活用推進コミュニティ(4-1)
 

Dernier

TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfTaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfMatsushita Laboratory
 
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)ssuser539845
 
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdfAyachika Kitazaki
 
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見Shumpei Kishi
 
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法ssuser370dd7
 
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor 2024 01 Virtual_Counselor
2024 01 Virtual_Counselor arts yokohama
 
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-LoopへTetsuya Nihonmatsu
 
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~arts yokohama
 

Dernier (11)

TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfTaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
 
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
 
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
 
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
 
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
 
2024 04 minnanoito
2024 04 minnanoito2024 04 minnanoito
2024 04 minnanoito
 
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
 
2024 03 CTEA
2024 03 CTEA2024 03 CTEA
2024 03 CTEA
 
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor 2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
 
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
 
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
 

ITフォーラム2021 先端IT活用推進コンソーシアム(5/7)

  • 1. Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ソフトウエアジャパン2021 協働プロジェクト『空気を読む家』 ドコでナニしている? ~ 空間OSとフィジカルの連携 ~ 2021年02月03日 先端IT活用推進コンソーシアム クラウド・テクノロジー活用部会 リーダー 荒本道隆
  • 2. Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. やりたいこと ・ドコでナニしてる? を知る ・自宅の中で → 一般家庭で導入可能な価格、大きさ ・寝起き直後の人が → パジャマ姿、寝ぐせアリ、化粧ナシ ・どこにいるか? → どの部屋の、どこに居るか ・何をしているか? → カメラで姿勢検出するなら、プライバシーに配慮 ・どうする を示唆する ・トイレや寝室に移動 → 各部屋にデバイスを設置 ・やる事が多い → 手を塞がないよう、音(音楽、音声)や光でお知らせ 状況を選曲やテンポや色で伝える 本当にヤバイ時は、音声で伝える 付加機能で、ニュースの読み上げ(非常に余裕がある朝) 2 バーチャルとリアルの橋渡し
  • 3. Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. もう1つのテーマ ・これまでのITフォーラムの成果を活用しよう ・2016年:『空気を読む家』におけるデータ解析 寝室:Webカメラ、人判定、寝ているか? https://www.slideshare.net/aitc_jp/201624-os-57987229 ・2017年:『空気を読む家』におけるデータ解析 寝室:センサ、環境データを0.5秒周期で記録、データを可視化 https://www.slideshare.net/aitc_jp/2017it-forum-aitc4 ・2018年:『空気を読む家』におけるオブジェクト認識技術 リビング:ラズパイ+Webカメラ、重さで物を見つける https://www.slideshare.net/aitc_jp/2018-it4 ・2019年:キッチンにおけるデータ収集 キッチン:ラズパイ+BLEタグ、電波強度を測定、冷蔵庫のドアの開閉 https://www.slideshare.net/aitc_jp/31-133093969 ・2020年:室内を画像処理で把握 実家:姿勢検出、物体検出、サーモグラフィ https://www.slideshare.net/aitc_jp/it2020-aitc4 3
  • 4. Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 2016年:寝室:人判定、寝ているか? 4
  • 5. Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 2017年:寝室:環境データを0.5秒周期で記録 5
  • 6. Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 2018年:リビング:重さで物を見つける 6
  • 7. Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 2019年:キッチン:電波強度を測定 7
  • 8. Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 2020年:実家:姿勢検出、物体検出、サーモグラフィ 8
  • 9. Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ・実現方法 ・BLEタグ → 電波強度で「近い」「遠い」「とても遠い」が分かる ・TWELITE CUE → 電波強度で「近い」「遠い」「とても遠い」が分かる ・Webカメラ → 姿勢検出で人が居るか分かる。細かい位置まで分かる 設置する部屋を制限する ドコで? 9 電波を 出す 電波を出す 加速度計 電波を受信 空間OS 色&点滅 電波強度から距離を推測 人検出 姿勢検出
  • 10. Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. リビング ・実現方法 ・BLEタグ → どこにいるか、何の近くにいるかで推測 ・TWELITE → どこにいるか、何の近くにいるかで推測 ・Webカメラ →細かい位置と、姿勢検出で「立つ」「座る」「寝る」 キッチン トイレ ナニをしている? 10 お風呂 寝室 姿勢検出 リビングの電波が一番強い → リビングに居る 座っている → 朝食を食べている
  • 11. Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. キッチン リビング ・実現方法 ・音(音楽) → 選曲とテンポで状況を伝える。近く音量Up、他は音量Down ・音(音声) → インフメーションやニュースを読み上げる ・光(照明) → 色と点滅で「急げ」を伝える どうする 11 トイレ お風呂 寝室 姿勢検出 音量ゼロ
  • 12. Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. こうなる 12
  • 13. Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ・寝起きなのでデバイスを身に付けたくない ・スリッパにタグ(6.5g)を2つ付ける ・安価にシステムを構築したい ・ラズパイとUSBデバイス → 合計約2万円x3 ・スピーカーはそこそこ良いものにする システム構成 13 空間OS タグ& 加速度計 BLEタグ USBカメラ ラズパイ タグ親機 USBスピーカー どの部屋に居るか 部屋内の位置 立つ/座る/寝る 曲、音量、テンポ 読み上げテキスト
  • 14. Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 電波強度から部屋を推定 ・3ヵ所のラズパイで電波強度を測定し、一番電波が強い部屋に居る ・動いていなくても、電波強度はブレる ・加速度が変化しなければ、「人は動いていない」で補正する ・動いていない間の平均値を算出 ・遮蔽物があると、電波が弱くなる ・スリッパの上に、ほぼ水平に配置 14 2019年:
  • 15. Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 室内で姿勢検出をやってみたー1 ・カメラを設置する位置を工夫する 15
  • 16. Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 室内で姿勢検出をやってみたー2 ・人が居る状態 16
  • 17. Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 室内で姿勢検出をやってみたー3 ・真横から撮れば、頭の位置で「立つ」「座る」は判定できそう ・カメラを2つにすれば、より正確な位置が出せそう(X軸、Y軸) 17
  • 18. Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 姿勢検出速度に不満がある場合 ・ラズパイ4で0.3FPS程度 ・3秒間隔でしか検出できない ・他の処理が重くなってしまう ・NVIDIA Jetson Xavier/Nano に置換すれば、高速化 ・全て Linux なので、移行し易い 18 2020年:
  • 19. Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 自宅内にカメラを常時設置できるのか? ・キッチンにカメラを置くのは、家族に猛反対されるかも ・寝起き姿でウロウロするから ・サーモグラフィ(低解像度)なら、許してもらえる? • Lepton 3.5(サーモグラフィ)(合計約5万円) • 解像度:160x120 • 測定温度:-10~140℃(-10~400℃) • 温度の分解能:0.05℃ • 高解像度なものは、購入時に手続き(BIS-711)が必要 19 ドアを開ける人 買いたての缶コーヒー:55度 コンロの火:400度以上
  • 20. Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 音&光による通知について ・全てのラズパイで、同時に曲の再生を開始する ・一番近いラズパイだけ音量Up、それ以外は音量ゼロ 家族が別の部屋でまだ寝ていても、迷惑にならない ・人が部屋を移動したら、それぞれ音量を変化させる 曲の途中で部屋を移動したときに、切り替えをスムーズにするため ・テンポの変更 ダウンロード → 速度変換処理 → 再生 ・テキストの読み上げ ・全てのラズパイで読み上げると、一番近いラズパイから聞こえる ・「Open JTalk」で、漢字まじりの文章を読み上げる ・光による通知 ・電球の代わりに、色を指定できるLED電球に交換 20
  • 21. Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. クラウド・テクノロジー活用部会のまとめ ・この5年間で、さまざまな蓄積ができた ・今回は、残念ながらデモ無し ・2021年夏の発表に向けて、これから実装&実証実験を開始 ・新規の技術&アイデアも検索中 ・技術以外の課題が、色々と出てきそう ・どこまでカメラを設置できるか? ・同じ部屋の中で複数人が同時に動いたら? ・別の部屋に人が居る場合は、どうする? ・未検討部分 ・オープンデータの活用方法 ・バスの時刻表、現在位置 ・電車の遅延情報 ・天気予報/現在の天気 ・桜の開花状況 21
  • 22. Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. http://aitc.jp https://www.facebook.com/aitc.jp 最新情報は こちらをご参照ください ハルミン AITC非公式イメージキャラクター 最新情報は、 こちらをご参照ください