A la découverte de la réalité augmentée avec ARCore - Snowcamp.io

A la découverte de la réalité
augmentée avec ARCore
Christophe Jollivet @jollivetc
Jérémy Voisin @_JeremyVoisin_
1

A la découverte de la réalité
augmentée avec ARCore
service Google pour la réalité
augmentée
Christophe Jollivet @jollivetc
Jérémy Voisin @_JeremyVoisin_
2

@jollivetc - @_JeremyVoisin_3
Christophe Jollivet
@jollivetc
jollivetc
Jérémy Voisin
@_JeremyVoisin_
JeremyVoisin

Démo

Introduction / glossaire

@jollivetc - @_JeremyVoisin_
VR vs AR vs MR
6
Oculus Rift, Playstation VR
HTC Vive, Oculus Go
Samsung Gear VR
Lenovo Mirage Solo
XWing by Jim Reichert https://poly.google.com/view/1ykktCaJIum
Background by Jean Dean https://apod.nasa.gov/apod/ap190412.html
VR
Smartphones
Google Glass
Vuzix Blade AR
Everysight Raptor
AR
Microsoft Hololens
Magic Leap One
MR

3DoF vs 6DoF
7

Vertex, edge, mesh
8
Face
Edges
Vertices

Texture, Shader, Material
9

Pose
10
Combinaison de rotation et une translation par rapport à une
origine
Déﬁnit l’emplacement et l’orientation d’un élément de la scène
par rapport à un autre point de la scène

ARCore

Introduction
12
Remplaçant du projet Tango
Sortie mars 2018, actuellement en 1.14
Des SDK pour les environnements les plus populaires

Téléphones compatibles
13
Version Android 7 (API 24)
Liste téléphones compatibles :
https://developers.google.com/ar/discover/supported-devices
183 modèles le 23/01/2020

Capacités d’ARCore
• Compréhension de
l’environnement
• les plans
• la lumière
• les visages
• les images
14
• le mouvement
• Cloud Anchors

ARCore perception
15
• Nuage de points d’intérêt
• Plans

La lumière
16
Basée sur les lighting cues :
• Estimation de l’intensité
• Correction de couleur à appliquer
• Ombres intelligentes
• Emulation des reﬂets

Suivi de mouvement
17
VIO Algorithm : Visual-Inertial Odometry
Combine l’identiﬁcation de points d’intérêts détectés par la
caméra et les informations des capteurs de mouvements

Localisation du son
18
Binaural Audio via le SDK Resonance Audio

Utilisation
19
4 modes d’utilisation
- model-viewer (depuis ARCore 1.9, précédemment WebXR)
- application Android
- iOS
- Unity/Unreal

<model-viewer>

Démo

<model-viewer>
22
Intégration d’ARCore dans le navigateur
Sous forme de WebComponent 
<model-viewer ar alt="A 3D model of an astronaut." src="Astronaut.gltf"></model-viewer>
Compatible avec la plupart des navigateurs

<model-viewer> - limitations
23
Limitations sur la complexité du modèle 3D :
• 30000 vertices max
• 10 materials max
Une seule animation possible, jouée en boucle
Interaction limitée

Android

##JSC2019 @jollivetc - @_JeremyVoisin_
build.gradle
android {
compileSdkVersion 28
defaultConfig {
applicationId "com.google.ar.sceneform.samples.hellosceneform"
minSdkVersion 24
targetSdkVersion 28
versionCode 1
versionName "1.0"
}
compileOptions {
sourceCompatibility JavaVersion.VERSION_1_8
targetCompatibility JavaVersion.VERSION_1_8
}
buildTypes {
release {
minifyEnabled false
proguardFiles getDefaultProguardFile('proguard-android.txt'), 'proguard-rules.pro'
}
}
}
dependencies {
implementation « com.google.ar.sceneform.ux:sceneform-ux:1.13.0 »
}
apply plugin: 'com.google.ar.sceneform.plugin'
sceneform.asset('sampledata/models/andy.obj',
'default',
'sampledata/models/andy.sfa',
'src/main/res/raw/andy')
25

build.gradle
android {
defaultConfig {
minSdkVersion 24
targetSdkVersion 28
versionCode 1
versionName "1.0"
}
compileOptions {
}
buildTypes {
release {
minifyEnabled false
}
}
}
dependencies {
}
'default',
26

build.gradle
android {
defaultConfig {
minSdkVersion 24
targetSdkVersion 28
versionCode 1
versionName "1.0"
}
compileOptions {
}
buildTypes {
release {
minifyEnabled false
}
}
}
dependencies {
}
'default',
27

AndroidManifest.xml
<manifest xmlns:android="http://schemas.android.com/apk/res/android"
xmlns:tools="http://schemas.android.com/tools"
package="com.google.ar.sceneform.samples.hellosceneform">
<uses-permission android:name="android.permission.CAMERA" />
<uses-feature android:name="android.hardware.camera.ar" android:required="true"/>
<application
android:allowBackup="false"
android:icon="@drawable/ic_launcher"
android:label="@string/app_name"
android:theme="@style/AppTheme"
android:usesCleartextTraffic="false"
tools:ignore="GoogleAppIndexingWarning">
<meta-data android:name="com.google.ar.core" android:value="required" />
<activity
android:name=".HelloSceneformActivity"
android:configChanges="orientation|screenSize"
android:theme="@style/Theme.AppCompat.NoActionBar"
android:screenOrientation="locked"
android:exported="true">
<intent-filter>
<action android:name="android.intent.action.MAIN" />
<category android:name="android.intent.category.LAUNCHER" />
</intent-filter>
</activity>
</application>
</manifest>
28

AndroidManifest.xml
<manifest xmlns:android="http://schemas.android.com/apk/res/android"
xmlns:tools="http://schemas.android.com/tools"
package="com.google.ar.sceneform.samples.hellosceneform">
<uses-permission android:name="android.permission.CAMERA" />
<uses-feature android:name="android.hardware.camera.ar" android:required="true"/>
<application
android:allowBackup="false"
android:icon="@drawable/ic_launcher"
android:theme="@style/AppTheme"
android:usesCleartextTraffic="false"
tools:ignore="GoogleAppIndexingWarning">
<meta-data android:name="com.google.ar.core" android:value="required" />
<activity
android:name=".HelloSceneformActivity"
android:configChanges="orientation|screenSize"
android:theme="@style/Theme.AppCompat.NoActionBar"
android:screenOrientation="locked"
android:exported="true">
<intent-filter>
<action android:name="android.intent.action.MAIN" />
<category android:name="android.intent.category.LAUNCHER" />
</intent-filter>
</activity>
</application>
</manifest>
29

Anchor
30
Décrit une localisation ﬁxe et orientation dans le monde réel
Peut évoluer quand la compréhension du monde réel par
ARCore évolue
Attention coûte continuellement du temps de calcul

API basique
31
APi bas niveau avec OpenGL
On gère tout à la main :
- inviter l’utilisateur à scanner l’environnement
- affichage des plans
- affichage de modèle depuis un fichier obj
- gestion des interactions

Sceneform
32
Permet le rendu réaliste de scène 3D en AR ou non sans
apprendre OpenGL
- API haut niveau
- Un moteur de rendu physique réaliste (Filament)
- Un plugin Android Studio pour les modèles 3D

ARFragment
33
Gestion de la détection des plans et de l’afﬁchage
Gestion des gestes de l’utilisateur (tap, drag, pinch, twist)
<fragment android:name="com.google.ar.sceneform.ux.ArFragment"
android:id="@+id/ux_fragment"
android:layout_width="match_parent"
android:layout_height="match_parent" />

Scene / Node
34
Scene est un graph de Node
Tout est Node : AnchorNode, TransformableNode,
SkeletonNode, AugmentedFaceNode, Camera, Light
Scene fournit la détection de Hit

Renderable
35
Fichier OBJ, FBX, gITF ainsi que les ﬁchiers *.mat
Génération de ﬁchier *.sfa et *.sfb pendant le build
https://poly.google.com/

private ModelRenderable andyRenderable;
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
//...
ModelRenderable.builder()
.setSource(this, R.raw.andy)
.build()
.thenAccept(renderable -> andyRenderable = renderable)
.exceptionally(
throwable -> {
Log.e(TAG, "Unable to load Renderable.", throwable);
return null;
});
36

@Override
//...
.build()
.exceptionally(
throwable -> {
return null;
});
37

@Override
//...
.build()
.exceptionally(
throwable -> {
return null;
});
38

arFragment.setOnTapArPlaneListener(
(HitResult hitResult, Plane plane, MotionEvent motionEvent) -> {
Anchor anchor = hitResult.createAnchor();
AnchorNode anchorNode = new AnchorNode(anchor);
anchorNode.setParent(arFragment.getArSceneView().getScene());
TransformableNode andy = new
TransformableNode(arFragment.getTransformationSystem());
andy.setParent(anchorNode);
andy.setRenderable(andyRenderable);
});
39

});
40

});
41

https://github.com/jollivetc/demoAnimation
Démo

AugmentedFace
43
Détection de visage
Renvoie un face mesh et des poses

Augmented images
44
jusqu’a 20 images distinctes simultanées
arcoreimg en ligne de commande

CloudAnchor
45
Permet le partage d’Anchor entre appareils
Sauvegarde pendant 24h
Nécessite le service sur Google Cloud Platform (clé à ajouter
dans le AndroidManifest.xml)

try {
session = new Session(this);
} catch (UnavailableArcoreNotInstalledException e) {
//handle error
} catch (UnavailableApkTooOldException e) {
//handle error
} catch (UnavailableSdkTooOldException e) {
//handle error
} catch (UnavailableDeviceNotCompatibleException e) {
//handle error
}
Config config = new Config(session);
config.setCloudAnchorMode(Config.CloudAnchorMode.ENABLED);
session.configure(config);
// ....
Anchor newAnchor = session.hostCloudAnchor(hit.createAnchor());
String cloudAnchorId = newAnchor.getCloudAnchorId();
46

try {
//handle error
//handle error
//handle error
//handle error
}
// ....
47

try {
//handle error
//handle error
//handle error
//handle error
}
// ....
48

Anchor resolvedAnchor = session.resolveCloudAnchor(cloudAnchorId);
AnchorNode anchorNode = new AnchorNode(resolvedAnchor);
49

50

51

iOS

ARKit
53
• Sur iOS, ARKit est le framework de réalité augmentée
• Interprétation de l’environnement, estimation de lumière,
tracking des mouvements
• Gestion d’un mode « multijoueur » avec le
MultipeerConnectivity

ARKit
54
• Apparition de l’occlusion par les gens depuis la version 3

ARKit & ARCore
55
• ARCore peut se positionner au dessus d’ARKit
• Apporte les Cloud Anchors sur iOS

Unity

AR et Unity
57
• Framework Vuforia historiquement intégré à Unity
• Reconnaissance d’images et d’objets simples via RN
• Superposition d’images ou modèles 3D

ARCore vs Vuforia
58
• Intégration dans Unity
• Images / Objets augmentés
• Détection du sol
• Licence commerciale
• Intégration dans Unity
• Suivi des mouvements
• Compréhension de l’environnement
• Estimation de la lumière
• Licence Apache 2.0

Pourquoi Unity ?
59
• Un moteur de jeux vidéos, moteur physique, gestion réseau
• Un asset store riche
• Intégration de modèles 3D standards du marché

Démo

Unity
61
Un coût d’entrée qui n’est cependant pas neutre pour ARCore :
• C# vs Java
• IDE à prendre en main
• Concepts à appréhender
• Nouveau mode de programmation

Open XR

OpenXR
63
• Un standard pour l’AR et la VR annoncé en Février 2017
• Par le consortium Khronos Group
• Version 1.0 le 29 juillet 2019

OpenXR
64
Standardisation d’APIs
https://www.khronos.org/openxr

OpenXR
65
Création d’une couche d’abstraction du device

OpenXR
66
Open XR résout le problème de fragmentation de l’XR

Qui soutient OpenXR ?
67

Qui soutient OpenXR ?
68
• Apple, membre du groupe OpenXR
• A l’heure actuelle ne le soutient pas ofﬁciellement

Questions ?

Merci / Thank you
70

A la découverte de la réalité augmentée avec ARCore - Snowcamp.io

Recommandé

Recommandé

Contenu connexe

Similaire à A la découverte de la réalité augmentée avec ARCore - Snowcamp.io

Similaire à A la découverte de la réalité augmentée avec ARCore - Snowcamp.io (20)

Plus de jollivetc

Plus de jollivetc (8)

A la découverte de la réalité augmentée avec ARCore - Snowcamp.io