SlideShare une entreprise Scribd logo
1  sur  25
Télécharger pour lire hors ligne
Практики жизненного цикла
систем машинного обучения
SECR’16
28 окбяря 2016г.
Kind of Engineerings
• Mechanical engineering
• Agriculture engineering
• Aerospace engineering – aircraft architecture
• Systems engineering
• System of systems engineering
• …
• Software engineering
• Control [systems] engineering – control [system] architecture
• Knowledge engineering -- architecture
• Machine learning [system] engineering (-- architecture?)
• …
• Neural engineering
• neural network engineering -- neural [network] architecture
• Feature engineering -- ???
2
Systems, Software, Machine Learning Engineerings
• Software engineering [term appeared in 1965, boosted by
NATO as a profession in 1968]
• Systems engineering [Bell Labs in 1940s, boosted as a
profession by NCOSE 1990]
• Machine learning engineering [term appeared in 2011]
3https://www.google.com/trends/explore#q=machine%20learning%20engineering&cmpt=q&tz=Etc%2FGMT-3
Вместо «программа»
подставьте «система машинного обучения».
Why is my program
not working?
You need to know
why?
To repair compiler?
Software engineer
(systems)
To advance theory?
Computer Scientist
You need to
program working
properly?
Software engineer
(application)
4
Жизненный цикл системы – это про тех, кто её делает
5
t
Обеспечивающие
системы (их
много!),
описанные минимально
как практики-
компоненты и проекты-
модули по изменению
целевой системы
Целевая система
Эксплуатация
«Практики
жизненного
цикла
систем
машинного
обучения»
Проблемы с ЖЦ 1.0
6
• Появилась параллельная инженерия (сначала «итерации», а потом и вообще всё смешалось)
• Нельзя обсуждать «почему предпринятие вообще работает», методы работы, методологии.
Только «как собрать из кусочков во времени».
Горбатая диаграмма (hump diagram) из RUP (Rational Unified Process)
Практики,
именованные по
дисциплинам!
Какие компоненты предприятия? (как оно работает?)
Практика = дисциплина + технология
Дисциплинированные (компетентные) исполнители [все ли люди?],
обеспеченные необходимыми для поддержки дисциплины инструментами
7
Схематизация жизненного цикла:
различение дисциплины и технологии в практике
• дисциплины = мышление (операции с абстрактными типизированными объектами).
Меняются за 30 лет. Учатся в школе и ВУЗе. Практика определяется по её
дисциплине. Инвестиции в «человеческий капитал».
• технологии = инструменты и рабочие продукты (поддержка мышления в
экзокортексе). Меняются каждые 5 лет. Учатся на производстве. Проекты используют
технологии как «ресурсы». Инвестиции в традиционный капитал.
• Дисциплины тренируют на задачах (заранее поставленных)
• Понимание связи дисциплин и технологий, идеальных объектов дисциплин и
рабочих продуктов в жизни нужно ТРЕНИРОВАТЬ, для этого обычно нужен
преподаватель
• Маскировка в реальной жизни: а) задача не поставлена б) много отвлечений 8
В жизни ни одного
слова из учебника
В учебнике ни
одного слова из
жизни
=Компоненты,
функциональные
единицы,
альфы
=Модули,
конструктивные
единицы,
рабочие продукты
Системная схема проекта
9
Технологический
менеджмент и
предпринимательство
Инженерный
менеджмент
Инженерия
Технологический
менеджмент
Using system
Enabling system
System of interest
http://arxiv.org/abs/1502.00121
10
Ждём: machine learning
specific processes
Какие практики можно ожидать?!
• Специализацию практик системной инженерии
• Специализацию практик программной инженерии
• Управление жизненным циклом (методология разработки)
• Инженерия требований
• Инженерия архитектуры
• Инженерия испытаний
• Управление конфигурацией
• …
На многих уровнях технологического стека!
11
Инженерия психики Инженерия машинного
обучения
Инженерия предприятия Системная инженерия
Постановка задачи на
модернизацию (всегда
brownfield)
Замысел и требования Стратегирование Замысел и требования
Намеревание Архитектура Архитектура Архитектура и
проектирование
(выращивание субстрата) программирование
архитектуры
Постановка практик: набор
персонала, закупка технологий
Изготовление и
интеграция/сборка
Дообучение (ибо всегда
brownfield)
Обучение (training), Постановка практик в части
обучения работе
наладка
Автоматизация навыка Передача обучения (transfer
learning), сжатие сетки,
ансамблирование (но ярко
выраженной сборки нет,
плохая модульность)
Merge/aquisition на уровне
предприятий (но нет «сборки»
отдельных практик, плохая
модульность)
Модернизация заменой
модулей
Аттестация, экзамены,
освидетельствование
Проверка и приёмка Оценка, аттестация Проверка и приёмка
Жизнь Вывод (inference) Работа Эксплуатация
Жизненные циклы обучающихся систем
12
Жизненный цикл систем машинного
обучения
• Экстремальный ЖЦ: начинается много раньше, чем замысел,
заканчивается много позже вывода из эксплуатации
• Многоуровневый ЖЦ: разный на всех уровнях интеллект-стека
• Нет методологий разработки: сказать agile – это ничего не
сказать (кто признается, что он «негибкий»?), нет отдельных
практик, принципов, инструментов
• Нет учебников по практикам ЖЦ, только отдельные статьи.
13
INCOSE VISION 2025
14
Проблемы с модульностью
на высоких уровнях (где
появляются сети, люди –
непонятная связность):
переход от сборки-наладки
к «эволюции»,
«обучению»,
«системообразованию»
Метафоры жизненного цикла машинного обучения
15
часовщик лесниксадовник
инженерия
Обучение Tesla – уже сегодня
Восток: смириться и растить. Запад: добиваться модульности, растить потом.
МЕЖДИСЦИПЛИНАРНОСТЬ
Интеллект-функции + интеллект-стек + где это в мире
16
На основе
рис.3
в ISO 81346-1
-Модули
=Компоненты
+Места
Главная дисциплина: архитектура (важные решения)
17
«Логическая архитектура»
(функциональная
декомпозиция, структура
компонент) итеративно
совмещается с «физической
архитектурой» (продуктная
композиция, структура
модулей)
Модульный синтез:
• Компонуемость –
собираемость модулей
• Комозициональность –
собираемость функций
на модулях
ISO 81346-1
Figure 7
https://pages.nist.gov/cpspwg/
Малая связность: ключ к развитию и
совершенствованию
• Модульность: каждая связь имеет цену. Не было
бы цены, не было бы модулей
• http://arxiv.org/abs/1207.2743
• Меньше связность – круче улучшения!
• http://www.pnas.org/content/108/22/9008.full
18
Падение стоимости при
улучшении отдельных модулей
(n), при разном числе связей
каждого из них (d)
Чтобы изменения
улучшали дело, нужно
меньше связей!
Модульности очень разные:
• Knowledge graphs (онтологии и семантики) – структурированная память
(MemNN, differentiable neural computer)
• Embeddings – priors (замечание Nando de Freitas, http://ailev.livejournal.com/1240509.html)
• Models as modules (например, progressive networks для multitask learning,
ансаблирование и его моделирование -- https://arxiv.org/abs/1605.06431, разные виды
transfer learning)
• Learning algorithms as modules (например, frameworks), и отдельные
элементы для алгоритмов (обзор -- http://fastml.com/deep-learning-architecture-diagrams/).
• …
Серебряной пули нет, и никогда не будет.
19
Intelligence Platform Stack
20
Application (domain) Platform
Cognitive Architecture Platform
Learning Algorithm Platform
Computational library
General Computer Language
CPU
GPU/TPU/DPU/FPGA/Physical
computation Drivers
GPU/TPU/DPU/FPGA/Physical
computation Accelerator
Neurocompiler
Neuromorphic driver
Neuromorphic chip
Disruptionenablers
Disruptiondemand
Thanks for computer gamers for their disruption demand
to give us disruption enabler such as GPU!
Платформы машинного обучения
• Одной платформы не хватит
никогда!
• Master algorithm: тренд на
гибридизацию разных
подходов
• Когнитивная архитектура:
тренд на комбинирование
разных подходов
• Reinforcement learning
• Adversarial architectures
21
Shallow
Learning
Big Data
Deep
Learning
Neuro
evolution
Bayes
Army
Symbolic
Теорема бесплатного завтрака
Conversion of engineerings
and
Disruption of engineerings
22
Software
Engineering
Machine
Learning
Engineering
Janosh Szepanovits. Convergence: Model-Based
Software, Systems And Control Engineering
+
http://www.infoq.com/presentations/Model-Based-Design-Janos-Sztipanovits
Le Bottou – «Machine Learning disrupts
software engineering»
http://leon.bottou.org/slides/2challenges/2challenges.pdf
We can add:
• Machine learning disrupts systems engineering
• Machine learning disrupts control engineering
• …
• Machine learning disrupts contemporary
engineering
Литература по инженерии MLE:
больше постановки проблем, чем решения
• Leon Bottou, Two big challenges in machine learning
http://leon.bottou.org/slides/2challenges/2challenges.pdf
• D. Sculley, Gary Holt, Daniel Golovin, Eugene Davydov, Todd Phillips,
Dietmar Ebner, Vinay Chaudhary, Michael Young, Jean-Francois
Сrespo, Dan Dennison, Hidden Technical Debt in Machine Learning
Systems
http://papers.nips.cc/paper/5656-hidden-technical-debt-in-machine-learning-systems.pdf
• Nando de Freitas, Learning to learn and compositionality with deep
recurrent neural networks
https://youtu.be/x1kf4Zojtb0
• Diogo Almeida, Modular in theory, inflexible in practice
http://conferences.oreilly.com/artificial-intelligence/ai-deep-learning-bots-ny/public/schedule/detail/54081
23
Can we use systems and software
engineering wisdom in MLE?
Engineering is not only about modularity and modular synthesis!
What about other aspects?!
• More attention to left part of V-diagram (as in MBSE)
• More attention to right part of V-diagram (DevOps, release early,
release often – optimizations later)
• …
• What else?
24
Спасибо за внимание!
Анатолий Левенчук,
http://ailev.ru
ailev@asmp.msk.su
TechInvestLab
25

Contenu connexe

Tendances

А.Левенчук -- управление жизненным циклом актива
А.Левенчук -- управление жизненным циклом активаА.Левенчук -- управление жизненным циклом актива
А.Левенчук -- управление жизненным циклом активаAnatoly Levenchuk
 
А.Левенчук -- тренажёр клуба одиноких мозгов
А.Левенчук -- тренажёр клуба одиноких мозговА.Левенчук -- тренажёр клуба одиноких мозгов
А.Левенчук -- тренажёр клуба одиноких мозговAnatoly Levenchuk
 
А.Левенчук -- тренды в инженерии требований
А.Левенчук -- тренды в инженерии требованийА.Левенчук -- тренды в инженерии требований
А.Левенчук -- тренды в инженерии требованийAnatoly Levenchuk
 
Системная инженерия как технология мышления
Системная инженерия как технология мышленияСистемная инженерия как технология мышления
Системная инженерия как технология мышленияAnatoly Levenchuk
 
А.Левенчук -- процессы, проекты, кейсы, практики и прочие описания деятельности
А.Левенчук -- процессы, проекты, кейсы, практики и прочие описания деятельностиА.Левенчук -- процессы, проекты, кейсы, практики и прочие описания деятельности
А.Левенчук -- процессы, проекты, кейсы, практики и прочие описания деятельностиAnatoly Levenchuk
 
Моделеориентированность в инженерии
Моделеориентированность в инженерииМоделеориентированность в инженерии
Моделеориентированность в инженерииAnatoly Levenchuk
 
А.Левенчук -- плохая модульность
А.Левенчук -- плохая модульностьА.Левенчук -- плохая модульность
А.Левенчук -- плохая модульностьAnatoly Levenchuk
 
Системное мышление -- материалы курса (2016)
Системное мышление -- материалы курса (2016)Системное мышление -- материалы курса (2016)
Системное мышление -- материалы курса (2016)Anatoly Levenchuk
 
А.Левенчук -- интеллект-стек 2016
А.Левенчук -- интеллект-стек 2016А.Левенчук -- интеллект-стек 2016
А.Левенчук -- интеллект-стек 2016Anatoly Levenchuk
 
А.Левенчук -- развитие личности
А.Левенчук -- развитие личностиА.Левенчук -- развитие личности
А.Левенчук -- развитие личностиAnatoly Levenchuk
 
А.Левенчук -- будущее науки
А.Левенчук -- будущее наукиА.Левенчук -- будущее науки
А.Левенчук -- будущее наукиAnatoly Levenchuk
 
Нейронные сетки: покруче интернета
Нейронные сетки: покруче интернетаНейронные сетки: покруче интернета
Нейронные сетки: покруче интернетаAnatoly Levenchuk
 
Илья Бурдин - Рассказ о NIST CPS Framework
Илья Бурдин - Рассказ о NIST CPS FrameworkИлья Бурдин - Рассказ о NIST CPS Framework
Илья Бурдин - Рассказ о NIST CPS FrameworkAlexander Shamanin
 
А.Левенчук -- преподавание системного мышления
А.Левенчук -- преподавание системного мышленияА.Левенчук -- преподавание системного мышления
А.Левенчук -- преподавание системного мышленияAnatoly Levenchuk
 
А.Левенчук -- смычка кортекса и экзокортекса
А.Левенчук -- смычка кортекса и экзокортексаА.Левенчук -- смычка кортекса и экзокортекса
А.Левенчук -- смычка кортекса и экзокортексаAnatoly Levenchuk
 
А.Левенчук -- Интеллект-стек: как создаётся Deus ex Machina
А.Левенчук -- Интеллект-стек: как создаётся Deus ex MachinaА.Левенчук -- Интеллект-стек: как создаётся Deus ex Machina
А.Левенчук -- Интеллект-стек: как создаётся Deus ex MachinaAnatoly Levenchuk
 
Тренды в инженерии требований и управлении требованиями
Тренды в инженерии требований и управлении требованиямиТренды в инженерии требований и управлении требованиями
Тренды в инженерии требований и управлении требованиямиAnatoly Levenchuk
 
А.Левенчук -- Практики системной инженерии
А.Левенчук -- Практики системной инженерииА.Левенчук -- Практики системной инженерии
А.Левенчук -- Практики системной инженерииAnatoly Levenchuk
 
А.Ефремов -- встречи Русского отделения INCOSE
А.Ефремов -- встречи Русского отделения INCOSEА.Ефремов -- встречи Русского отделения INCOSE
А.Ефремов -- встречи Русского отделения INCOSEAnatoly Levenchuk
 
Законы создания IT команд и следствия законов для IT проектов «на пальцах»
Законы создания IT команд и следствия законов для IT проектов «на пальцах»Законы создания IT команд и следствия законов для IT проектов «на пальцах»
Законы создания IT команд и следствия законов для IT проектов «на пальцах»CEE-SEC(R)
 

Tendances (20)

А.Левенчук -- управление жизненным циклом актива
А.Левенчук -- управление жизненным циклом активаА.Левенчук -- управление жизненным циклом актива
А.Левенчук -- управление жизненным циклом актива
 
А.Левенчук -- тренажёр клуба одиноких мозгов
А.Левенчук -- тренажёр клуба одиноких мозговА.Левенчук -- тренажёр клуба одиноких мозгов
А.Левенчук -- тренажёр клуба одиноких мозгов
 
А.Левенчук -- тренды в инженерии требований
А.Левенчук -- тренды в инженерии требованийА.Левенчук -- тренды в инженерии требований
А.Левенчук -- тренды в инженерии требований
 
Системная инженерия как технология мышления
Системная инженерия как технология мышленияСистемная инженерия как технология мышления
Системная инженерия как технология мышления
 
А.Левенчук -- процессы, проекты, кейсы, практики и прочие описания деятельности
А.Левенчук -- процессы, проекты, кейсы, практики и прочие описания деятельностиА.Левенчук -- процессы, проекты, кейсы, практики и прочие описания деятельности
А.Левенчук -- процессы, проекты, кейсы, практики и прочие описания деятельности
 
Моделеориентированность в инженерии
Моделеориентированность в инженерииМоделеориентированность в инженерии
Моделеориентированность в инженерии
 
А.Левенчук -- плохая модульность
А.Левенчук -- плохая модульностьА.Левенчук -- плохая модульность
А.Левенчук -- плохая модульность
 
Системное мышление -- материалы курса (2016)
Системное мышление -- материалы курса (2016)Системное мышление -- материалы курса (2016)
Системное мышление -- материалы курса (2016)
 
А.Левенчук -- интеллект-стек 2016
А.Левенчук -- интеллект-стек 2016А.Левенчук -- интеллект-стек 2016
А.Левенчук -- интеллект-стек 2016
 
А.Левенчук -- развитие личности
А.Левенчук -- развитие личностиА.Левенчук -- развитие личности
А.Левенчук -- развитие личности
 
А.Левенчук -- будущее науки
А.Левенчук -- будущее наукиА.Левенчук -- будущее науки
А.Левенчук -- будущее науки
 
Нейронные сетки: покруче интернета
Нейронные сетки: покруче интернетаНейронные сетки: покруче интернета
Нейронные сетки: покруче интернета
 
Илья Бурдин - Рассказ о NIST CPS Framework
Илья Бурдин - Рассказ о NIST CPS FrameworkИлья Бурдин - Рассказ о NIST CPS Framework
Илья Бурдин - Рассказ о NIST CPS Framework
 
А.Левенчук -- преподавание системного мышления
А.Левенчук -- преподавание системного мышленияА.Левенчук -- преподавание системного мышления
А.Левенчук -- преподавание системного мышления
 
А.Левенчук -- смычка кортекса и экзокортекса
А.Левенчук -- смычка кортекса и экзокортексаА.Левенчук -- смычка кортекса и экзокортекса
А.Левенчук -- смычка кортекса и экзокортекса
 
А.Левенчук -- Интеллект-стек: как создаётся Deus ex Machina
А.Левенчук -- Интеллект-стек: как создаётся Deus ex MachinaА.Левенчук -- Интеллект-стек: как создаётся Deus ex Machina
А.Левенчук -- Интеллект-стек: как создаётся Deus ex Machina
 
Тренды в инженерии требований и управлении требованиями
Тренды в инженерии требований и управлении требованиямиТренды в инженерии требований и управлении требованиями
Тренды в инженерии требований и управлении требованиями
 
А.Левенчук -- Практики системной инженерии
А.Левенчук -- Практики системной инженерииА.Левенчук -- Практики системной инженерии
А.Левенчук -- Практики системной инженерии
 
А.Ефремов -- встречи Русского отделения INCOSE
А.Ефремов -- встречи Русского отделения INCOSEА.Ефремов -- встречи Русского отделения INCOSE
А.Ефремов -- встречи Русского отделения INCOSE
 
Законы создания IT команд и следствия законов для IT проектов «на пальцах»
Законы создания IT команд и следствия законов для IT проектов «на пальцах»Законы создания IT команд и следствия законов для IT проектов «на пальцах»
Законы создания IT команд и следствия законов для IT проектов «на пальцах»
 

En vedette

Андрей Циликов, директор по развитию Sendsay
Андрей Циликов, директор по развитию SendsayАндрей Циликов, директор по развитию Sendsay
Андрей Циликов, директор по развитию Sendsaymaria_bu22
 
Knowledge Engineering rediscovered, Towards Reasoning Patterns for the Semant...
Knowledge Engineering rediscovered, Towards Reasoning Patterns for the Semant...Knowledge Engineering rediscovered, Towards Reasoning Patterns for the Semant...
Knowledge Engineering rediscovered, Towards Reasoning Patterns for the Semant...Frank van Harmelen
 
Юрий Войнлилов, Алена Нефедова. Личные роботы и генная инженерия: к каким инн...
Юрий Войнлилов, Алена Нефедова. Личные роботы и генная инженерия: к каким инн...Юрий Войнлилов, Алена Нефедова. Личные роботы и генная инженерия: к каким инн...
Юрий Войнлилов, Алена Нефедова. Личные роботы и генная инженерия: к каким инн...Future Foundation
 
Алеш Живкович. Университет Иннополис. "Оптимизация затрат на ИТ с помощью фре...
Алеш Живкович. Университет Иннополис. "Оптимизация затрат на ИТ с помощью фре...Алеш Живкович. Университет Иннополис. "Оптимизация затрат на ИТ с помощью фре...
Алеш Живкович. Университет Иннополис. "Оптимизация затрат на ИТ с помощью фре...Expolink
 
Конкуренция городов среди ИТ-специалистов
Конкуренция городов среди ИТ-специалистовКонкуренция городов среди ИТ-специалистов
Конкуренция городов среди ИТ-специалистовIT-Доминанта
 
Data Science and Engineering for Marketers
Data Science and Engineering for MarketersData Science and Engineering for Marketers
Data Science and Engineering for MarketersMicah Cowsik-Herstand
 
project presentation
project presentationproject presentation
project presentationAnna Botova
 
Next-Gen уже здесь
Next-Gen уже здесьNext-Gen уже здесь
Next-Gen уже здесьCEE-SEC(R)
 
The artof of knowledge engineering, or: knowledge engineering of art
The artof of knowledge engineering, or: knowledge engineering of artThe artof of knowledge engineering, or: knowledge engineering of art
The artof of knowledge engineering, or: knowledge engineering of artGuus Schreiber
 
Principles for knowledge engineering on the Web
Principles for knowledge engineering on the WebPrinciples for knowledge engineering on the Web
Principles for knowledge engineering on the WebGuus Schreiber
 
Applying Data Engineering and Semantic Standards to Tame the "Perfect Storm" ...
Applying Data Engineering and Semantic Standards to Tame the "Perfect Storm" ...Applying Data Engineering and Semantic Standards to Tame the "Perfect Storm" ...
Applying Data Engineering and Semantic Standards to Tame the "Perfect Storm" ...Cambridge Semantics
 
Мониторинг рынка труда IT-специалистов 2016 от Яндекс
Мониторинг рынка труда IT-специалистов  2016 от ЯндексМониторинг рынка труда IT-специалистов  2016 от Яндекс
Мониторинг рынка труда IT-специалистов 2016 от Яндексjido111222
 
Презентация ИТ Кластер Сколково
Презентация  ИТ Кластер СколковоПрезентация  ИТ Кластер Сколково
Презентация ИТ Кластер СколковоAlbert Yefimov
 
Artificial Intelligence: Knowledge Engineering
Artificial Intelligence: Knowledge EngineeringArtificial Intelligence: Knowledge Engineering
Artificial Intelligence: Knowledge EngineeringThe Integral Worm
 
Лучшие мировые практики умных городов и их внедрение в российскую среду
Лучшие мировые практики умных городов и их внедрение в российскую средуЛучшие мировые практики умных городов и их внедрение в российскую среду
Лучшие мировые практики умных городов и их внедрение в российскую средуLAZOVOY
 
Data Engineering @ Patistic Innovations
Data Engineering @ Patistic InnovationsData Engineering @ Patistic Innovations
Data Engineering @ Patistic InnovationsPatistic Innovations
 
7 key recipes for data engineering
7 key recipes for data engineering7 key recipes for data engineering
7 key recipes for data engineeringunivalence
 
Пять разворотов на пути к осознанному применению проектного управления
Пять разворотов на пути к осознанному применению проектного управленияПять разворотов на пути к осознанному применению проектного управления
Пять разворотов на пути к осознанному применению проектного управленияПавел Шестопалов
 
Риф 2016 Иннополис. Город высоких технологий
Риф 2016 Иннополис. Город высоких технологийРиф 2016 Иннополис. Город высоких технологий
Риф 2016 Иннополис. Город высоких технологийТарасов Константин
 

En vedette (20)

Андрей Циликов, директор по развитию Sendsay
Андрей Циликов, директор по развитию SendsayАндрей Циликов, директор по развитию Sendsay
Андрей Циликов, директор по развитию Sendsay
 
Knowledge Engineering rediscovered, Towards Reasoning Patterns for the Semant...
Knowledge Engineering rediscovered, Towards Reasoning Patterns for the Semant...Knowledge Engineering rediscovered, Towards Reasoning Patterns for the Semant...
Knowledge Engineering rediscovered, Towards Reasoning Patterns for the Semant...
 
Юрий Войнлилов, Алена Нефедова. Личные роботы и генная инженерия: к каким инн...
Юрий Войнлилов, Алена Нефедова. Личные роботы и генная инженерия: к каким инн...Юрий Войнлилов, Алена Нефедова. Личные роботы и генная инженерия: к каким инн...
Юрий Войнлилов, Алена Нефедова. Личные роботы и генная инженерия: к каким инн...
 
Алеш Живкович. Университет Иннополис. "Оптимизация затрат на ИТ с помощью фре...
Алеш Живкович. Университет Иннополис. "Оптимизация затрат на ИТ с помощью фре...Алеш Живкович. Университет Иннополис. "Оптимизация затрат на ИТ с помощью фре...
Алеш Живкович. Университет Иннополис. "Оптимизация затрат на ИТ с помощью фре...
 
Progression art direction
Progression art directionProgression art direction
Progression art direction
 
Конкуренция городов среди ИТ-специалистов
Конкуренция городов среди ИТ-специалистовКонкуренция городов среди ИТ-специалистов
Конкуренция городов среди ИТ-специалистов
 
Data Science and Engineering for Marketers
Data Science and Engineering for MarketersData Science and Engineering for Marketers
Data Science and Engineering for Marketers
 
project presentation
project presentationproject presentation
project presentation
 
Next-Gen уже здесь
Next-Gen уже здесьNext-Gen уже здесь
Next-Gen уже здесь
 
The artof of knowledge engineering, or: knowledge engineering of art
The artof of knowledge engineering, or: knowledge engineering of artThe artof of knowledge engineering, or: knowledge engineering of art
The artof of knowledge engineering, or: knowledge engineering of art
 
Principles for knowledge engineering on the Web
Principles for knowledge engineering on the WebPrinciples for knowledge engineering on the Web
Principles for knowledge engineering on the Web
 
Applying Data Engineering and Semantic Standards to Tame the "Perfect Storm" ...
Applying Data Engineering and Semantic Standards to Tame the "Perfect Storm" ...Applying Data Engineering and Semantic Standards to Tame the "Perfect Storm" ...
Applying Data Engineering and Semantic Standards to Tame the "Perfect Storm" ...
 
Мониторинг рынка труда IT-специалистов 2016 от Яндекс
Мониторинг рынка труда IT-специалистов  2016 от ЯндексМониторинг рынка труда IT-специалистов  2016 от Яндекс
Мониторинг рынка труда IT-специалистов 2016 от Яндекс
 
Презентация ИТ Кластер Сколково
Презентация  ИТ Кластер СколковоПрезентация  ИТ Кластер Сколково
Презентация ИТ Кластер Сколково
 
Artificial Intelligence: Knowledge Engineering
Artificial Intelligence: Knowledge EngineeringArtificial Intelligence: Knowledge Engineering
Artificial Intelligence: Knowledge Engineering
 
Лучшие мировые практики умных городов и их внедрение в российскую среду
Лучшие мировые практики умных городов и их внедрение в российскую средуЛучшие мировые практики умных городов и их внедрение в российскую среду
Лучшие мировые практики умных городов и их внедрение в российскую среду
 
Data Engineering @ Patistic Innovations
Data Engineering @ Patistic InnovationsData Engineering @ Patistic Innovations
Data Engineering @ Patistic Innovations
 
7 key recipes for data engineering
7 key recipes for data engineering7 key recipes for data engineering
7 key recipes for data engineering
 
Пять разворотов на пути к осознанному применению проектного управления
Пять разворотов на пути к осознанному применению проектного управленияПять разворотов на пути к осознанному применению проектного управления
Пять разворотов на пути к осознанному применению проектного управления
 
Риф 2016 Иннополис. Город высоких технологий
Риф 2016 Иннополис. Город высоких технологийРиф 2016 Иннополис. Город высоких технологий
Риф 2016 Иннополис. Город высоких технологий
 

Similaire à Практики жизненного цикла систем машинного обучения

А.Левенчук -- Образование по машинному обучению
А.Левенчук -- Образование по машинному обучениюА.Левенчук -- Образование по машинному обучению
А.Левенчук -- Образование по машинному обучениюAnatoly Levenchuk
 
Тьюториал "Введение в системную инженерию" (14 января 2013)
Тьюториал "Введение в системную инженерию" (14 января 2013)Тьюториал "Введение в системную инженерию" (14 января 2013)
Тьюториал "Введение в системную инженерию" (14 января 2013)Anatoly Levenchuk
 
Представление знаний в технических системах
Представление знаний в технических системахПредставление знаний в технических системах
Представление знаний в технических системахAnatoly Levenchuk
 
Системная инженерия в России и мире
Системная инженерия в России и миреСистемная инженерия в России и мире
Системная инженерия в России и миреAnatoly Levenchuk
 
А.Левенчук -- Понятие системы в системной инженерии
А.Левенчук -- Понятие системы в системной инженерииА.Левенчук -- Понятие системы в системной инженерии
А.Левенчук -- Понятие системы в системной инженерииAnatoly Levenchuk
 
Что такое системная инженерия
Что такое системная инженерияЧто такое системная инженерия
Что такое системная инженерияAnatoly Levenchuk
 
Системное мышление -- непопсовый обзор курса
Системное мышление -- непопсовый обзор курсаСистемное мышление -- непопсовый обзор курса
Системное мышление -- непопсовый обзор курсаAnatoly Levenchuk
 
Service Robotics in Science and Education
Service Robotics in Science and EducationService Robotics in Science and Education
Service Robotics in Science and EducationIosif Itkin
 
Архитектура для мобильных игр - с чего начать и популярные решения / Евгений ...
Архитектура для мобильных игр - с чего начать и популярные решения / Евгений ...Архитектура для мобильных игр - с чего начать и популярные решения / Евгений ...
Архитектура для мобильных игр - с чего начать и популярные решения / Евгений ...DevGAMM Conference
 
А.Левенчук -- Будущее проектирования
А.Левенчук -- Будущее проектированияА.Левенчук -- Будущее проектирования
А.Левенчук -- Будущее проектированияAnatoly Levenchuk
 
А.Левенчук -- инженерия психики и киберпсихики
А.Левенчук -- инженерия психики и киберпсихикиА.Левенчук -- инженерия психики и киберпсихики
А.Левенчук -- инженерия психики и киберпсихикиAnatoly Levenchuk
 
Инженерия будущего (СПб)
Инженерия будущего (СПб)Инженерия будущего (СПб)
Инженерия будущего (СПб)Anatoly Levenchuk
 
Стандартизация предмета системной инженерии
Стандартизация предмета системной инженерииСтандартизация предмета системной инженерии
Стандартизация предмета системной инженерииAnatoly Levenchuk
 
Блеск и нищета современного ИИ, из истории кибернетики в СССР, философия ИИ -...
Блеск и нищета современного ИИ, из истории кибернетики в СССР, философия ИИ -...Блеск и нищета современного ИИ, из истории кибернетики в СССР, философия ИИ -...
Блеск и нищета современного ИИ, из истории кибернетики в СССР, философия ИИ -...Anton Moiseev
 
Основы концептуального проектирования
Основы концептуального проектированияОсновы концептуального проектирования
Основы концептуального проектированияAnton Tyukov
 
Карта знаний инженера-программиста // Timur Shemsedinov // KharkivJS 2018
Карта знаний инженера-программиста // Timur Shemsedinov // KharkivJS 2018Карта знаний инженера-программиста // Timur Shemsedinov // KharkivJS 2018
Карта знаний инженера-программиста // Timur Shemsedinov // KharkivJS 2018Timur Shemsedinov
 
Системный архитектор и поиск нирваны
Системный архитектор и поиск нирваныСистемный архитектор и поиск нирваны
Системный архитектор и поиск нирваныYehor Churilov
 
Современна Программная инженерия. Системная инженерия
Современна Программная инженерия. Системная инженерияСовременна Программная инженерия. Системная инженерия
Современна Программная инженерия. Системная инженерияMarcus Akoev
 
Безлюдные организации и их проблемы
Безлюдные организации и их проблемыБезлюдные организации и их проблемы
Безлюдные организации и их проблемыAnatoly Levenchuk
 
робототехника
робототехникаробототехника
робототехникаPrimNMC
 

Similaire à Практики жизненного цикла систем машинного обучения (20)

А.Левенчук -- Образование по машинному обучению
А.Левенчук -- Образование по машинному обучениюА.Левенчук -- Образование по машинному обучению
А.Левенчук -- Образование по машинному обучению
 
Тьюториал "Введение в системную инженерию" (14 января 2013)
Тьюториал "Введение в системную инженерию" (14 января 2013)Тьюториал "Введение в системную инженерию" (14 января 2013)
Тьюториал "Введение в системную инженерию" (14 января 2013)
 
Представление знаний в технических системах
Представление знаний в технических системахПредставление знаний в технических системах
Представление знаний в технических системах
 
Системная инженерия в России и мире
Системная инженерия в России и миреСистемная инженерия в России и мире
Системная инженерия в России и мире
 
А.Левенчук -- Понятие системы в системной инженерии
А.Левенчук -- Понятие системы в системной инженерииА.Левенчук -- Понятие системы в системной инженерии
А.Левенчук -- Понятие системы в системной инженерии
 
Что такое системная инженерия
Что такое системная инженерияЧто такое системная инженерия
Что такое системная инженерия
 
Системное мышление -- непопсовый обзор курса
Системное мышление -- непопсовый обзор курсаСистемное мышление -- непопсовый обзор курса
Системное мышление -- непопсовый обзор курса
 
Service Robotics in Science and Education
Service Robotics in Science and EducationService Robotics in Science and Education
Service Robotics in Science and Education
 
Архитектура для мобильных игр - с чего начать и популярные решения / Евгений ...
Архитектура для мобильных игр - с чего начать и популярные решения / Евгений ...Архитектура для мобильных игр - с чего начать и популярные решения / Евгений ...
Архитектура для мобильных игр - с чего начать и популярные решения / Евгений ...
 
А.Левенчук -- Будущее проектирования
А.Левенчук -- Будущее проектированияА.Левенчук -- Будущее проектирования
А.Левенчук -- Будущее проектирования
 
А.Левенчук -- инженерия психики и киберпсихики
А.Левенчук -- инженерия психики и киберпсихикиА.Левенчук -- инженерия психики и киберпсихики
А.Левенчук -- инженерия психики и киберпсихики
 
Инженерия будущего (СПб)
Инженерия будущего (СПб)Инженерия будущего (СПб)
Инженерия будущего (СПб)
 
Стандартизация предмета системной инженерии
Стандартизация предмета системной инженерииСтандартизация предмета системной инженерии
Стандартизация предмета системной инженерии
 
Блеск и нищета современного ИИ, из истории кибернетики в СССР, философия ИИ -...
Блеск и нищета современного ИИ, из истории кибернетики в СССР, философия ИИ -...Блеск и нищета современного ИИ, из истории кибернетики в СССР, философия ИИ -...
Блеск и нищета современного ИИ, из истории кибернетики в СССР, философия ИИ -...
 
Основы концептуального проектирования
Основы концептуального проектированияОсновы концептуального проектирования
Основы концептуального проектирования
 
Карта знаний инженера-программиста // Timur Shemsedinov // KharkivJS 2018
Карта знаний инженера-программиста // Timur Shemsedinov // KharkivJS 2018Карта знаний инженера-программиста // Timur Shemsedinov // KharkivJS 2018
Карта знаний инженера-программиста // Timur Shemsedinov // KharkivJS 2018
 
Системный архитектор и поиск нирваны
Системный архитектор и поиск нирваныСистемный архитектор и поиск нирваны
Системный архитектор и поиск нирваны
 
Современна Программная инженерия. Системная инженерия
Современна Программная инженерия. Системная инженерияСовременна Программная инженерия. Системная инженерия
Современна Программная инженерия. Системная инженерия
 
Безлюдные организации и их проблемы
Безлюдные организации и их проблемыБезлюдные организации и их проблемы
Безлюдные организации и их проблемы
 
робототехника
робототехникаробототехника
робототехника
 

Plus de CEE-SEC(R)

Проектный офис и аналитик
Проектный офис и аналитикПроектный офис и аналитик
Проектный офис и аналитикCEE-SEC(R)
 
Онлайн-революция: от ранних репозиториев – к современным МООС-курсам
Онлайн-революция: от ранних репозиториев – к современным МООС-курсамОнлайн-революция: от ранних репозиториев – к современным МООС-курсам
Онлайн-революция: от ранних репозиториев – к современным МООС-курсамCEE-SEC(R)
 
Массовый параллелизм для гетерогенных вычислений на C++ для беспилотных автом...
Массовый параллелизм для гетерогенных вычислений на C++ для беспилотных автом...Массовый параллелизм для гетерогенных вычислений на C++ для беспилотных автом...
Массовый параллелизм для гетерогенных вычислений на C++ для беспилотных автом...CEE-SEC(R)
 
Как компании с вузами вместе ИТ специалиста готовили или Чем ИТ компания може...
Как компании с вузами вместе ИТ специалиста готовили или Чем ИТ компания може...Как компании с вузами вместе ИТ специалиста готовили или Чем ИТ компания може...
Как компании с вузами вместе ИТ специалиста готовили или Чем ИТ компания може...CEE-SEC(R)
 
«Знак качества» как инструмент анализа восприятия продукта клиентами
«Знак качества» как инструмент анализа восприятия продукта клиентами«Знак качества» как инструмент анализа восприятия продукта клиентами
«Знак качества» как инструмент анализа восприятия продукта клиентамиCEE-SEC(R)
 
Машинное обучение на каждый день
Машинное обучение на каждый деньМашинное обучение на каждый день
Машинное обучение на каждый деньCEE-SEC(R)
 
Process и Case Management в информационной системе:
Process и Case Management в информационной системе: Process и Case Management в информационной системе:
Process и Case Management в информационной системе: CEE-SEC(R)
 
Проблемы процесса разработки с точки зрения тестирования
Проблемы процесса разработки с точки зрения тестированияПроблемы процесса разработки с точки зрения тестирования
Проблемы процесса разработки с точки зрения тестированияCEE-SEC(R)
 
Как ЧПУ станку в домашней мастерской не превратиться в мульт героев “двое из ...
Как ЧПУ станку в домашней мастерской не превратиться в мульт героев “двое из ...Как ЧПУ станку в домашней мастерской не превратиться в мульт героев “двое из ...
Как ЧПУ станку в домашней мастерской не превратиться в мульт героев “двое из ...CEE-SEC(R)
 
Ай-трекинг в UX исследованиях
Ай-трекинг в UX исследованияхАй-трекинг в UX исследованиях
Ай-трекинг в UX исследованияхCEE-SEC(R)
 
Настоящее и будущее решений для разработки кросс-платформенных мобильных гибр...
Настоящее и будущее решений для разработки кросс-платформенных мобильных гибр...Настоящее и будущее решений для разработки кросс-платформенных мобильных гибр...
Настоящее и будущее решений для разработки кросс-платформенных мобильных гибр...CEE-SEC(R)
 
Технологичный подход к повышению продуктивности – кейсы и исследования
Технологичный подход к повышению продуктивности – кейсы и исследованияТехнологичный подход к повышению продуктивности – кейсы и исследования
Технологичный подход к повышению продуктивности – кейсы и исследованияCEE-SEC(R)
 
Субъектно-ориентированные информационные системы на предприятиях
Субъектно-ориентированные информационные системы на предприятияхСубъектно-ориентированные информационные системы на предприятиях
Субъектно-ориентированные информационные системы на предприятияхCEE-SEC(R)
 
Шаблоны контейнеров в Virtuozzo
Шаблоны контейнеров в VirtuozzoШаблоны контейнеров в Virtuozzo
Шаблоны контейнеров в VirtuozzoCEE-SEC(R)
 
Apache Storm: от простого приложения до подробностей реализации
Apache Storm: от простого приложения до подробностей реализацииApache Storm: от простого приложения до подробностей реализации
Apache Storm: от простого приложения до подробностей реализацииCEE-SEC(R)
 
Семантическое ядро рунета
Семантическое ядро рунетаСемантическое ядро рунета
Семантическое ядро рунетаCEE-SEC(R)
 
Разработка требований для противоречащих законодательств
Разработка требований для противоречащих законодательствРазработка требований для противоречащих законодательств
Разработка требований для противоречащих законодательствCEE-SEC(R)
 
IT-Лаборатория: кузница кадров и стартапов
IT-Лаборатория: кузница кадров и стартаповIT-Лаборатория: кузница кадров и стартапов
IT-Лаборатория: кузница кадров и стартаповCEE-SEC(R)
 
Технология предметно ориентированного программирования гетерогенных многоядер...
Технология предметно ориентированного программирования гетерогенных многоядер...Технология предметно ориентированного программирования гетерогенных многоядер...
Технология предметно ориентированного программирования гетерогенных многоядер...CEE-SEC(R)
 
Разработка системы автоматизированного тестирования при помощи фреймворка Pro...
Разработка системы автоматизированного тестирования при помощи фреймворка Pro...Разработка системы автоматизированного тестирования при помощи фреймворка Pro...
Разработка системы автоматизированного тестирования при помощи фреймворка Pro...CEE-SEC(R)
 

Plus de CEE-SEC(R) (20)

Проектный офис и аналитик
Проектный офис и аналитикПроектный офис и аналитик
Проектный офис и аналитик
 
Онлайн-революция: от ранних репозиториев – к современным МООС-курсам
Онлайн-революция: от ранних репозиториев – к современным МООС-курсамОнлайн-революция: от ранних репозиториев – к современным МООС-курсам
Онлайн-революция: от ранних репозиториев – к современным МООС-курсам
 
Массовый параллелизм для гетерогенных вычислений на C++ для беспилотных автом...
Массовый параллелизм для гетерогенных вычислений на C++ для беспилотных автом...Массовый параллелизм для гетерогенных вычислений на C++ для беспилотных автом...
Массовый параллелизм для гетерогенных вычислений на C++ для беспилотных автом...
 
Как компании с вузами вместе ИТ специалиста готовили или Чем ИТ компания може...
Как компании с вузами вместе ИТ специалиста готовили или Чем ИТ компания може...Как компании с вузами вместе ИТ специалиста готовили или Чем ИТ компания може...
Как компании с вузами вместе ИТ специалиста готовили или Чем ИТ компания може...
 
«Знак качества» как инструмент анализа восприятия продукта клиентами
«Знак качества» как инструмент анализа восприятия продукта клиентами«Знак качества» как инструмент анализа восприятия продукта клиентами
«Знак качества» как инструмент анализа восприятия продукта клиентами
 
Машинное обучение на каждый день
Машинное обучение на каждый деньМашинное обучение на каждый день
Машинное обучение на каждый день
 
Process и Case Management в информационной системе:
Process и Case Management в информационной системе: Process и Case Management в информационной системе:
Process и Case Management в информационной системе:
 
Проблемы процесса разработки с точки зрения тестирования
Проблемы процесса разработки с точки зрения тестированияПроблемы процесса разработки с точки зрения тестирования
Проблемы процесса разработки с точки зрения тестирования
 
Как ЧПУ станку в домашней мастерской не превратиться в мульт героев “двое из ...
Как ЧПУ станку в домашней мастерской не превратиться в мульт героев “двое из ...Как ЧПУ станку в домашней мастерской не превратиться в мульт героев “двое из ...
Как ЧПУ станку в домашней мастерской не превратиться в мульт героев “двое из ...
 
Ай-трекинг в UX исследованиях
Ай-трекинг в UX исследованияхАй-трекинг в UX исследованиях
Ай-трекинг в UX исследованиях
 
Настоящее и будущее решений для разработки кросс-платформенных мобильных гибр...
Настоящее и будущее решений для разработки кросс-платформенных мобильных гибр...Настоящее и будущее решений для разработки кросс-платформенных мобильных гибр...
Настоящее и будущее решений для разработки кросс-платформенных мобильных гибр...
 
Технологичный подход к повышению продуктивности – кейсы и исследования
Технологичный подход к повышению продуктивности – кейсы и исследованияТехнологичный подход к повышению продуктивности – кейсы и исследования
Технологичный подход к повышению продуктивности – кейсы и исследования
 
Субъектно-ориентированные информационные системы на предприятиях
Субъектно-ориентированные информационные системы на предприятияхСубъектно-ориентированные информационные системы на предприятиях
Субъектно-ориентированные информационные системы на предприятиях
 
Шаблоны контейнеров в Virtuozzo
Шаблоны контейнеров в VirtuozzoШаблоны контейнеров в Virtuozzo
Шаблоны контейнеров в Virtuozzo
 
Apache Storm: от простого приложения до подробностей реализации
Apache Storm: от простого приложения до подробностей реализацииApache Storm: от простого приложения до подробностей реализации
Apache Storm: от простого приложения до подробностей реализации
 
Семантическое ядро рунета
Семантическое ядро рунетаСемантическое ядро рунета
Семантическое ядро рунета
 
Разработка требований для противоречащих законодательств
Разработка требований для противоречащих законодательствРазработка требований для противоречащих законодательств
Разработка требований для противоречащих законодательств
 
IT-Лаборатория: кузница кадров и стартапов
IT-Лаборатория: кузница кадров и стартаповIT-Лаборатория: кузница кадров и стартапов
IT-Лаборатория: кузница кадров и стартапов
 
Технология предметно ориентированного программирования гетерогенных многоядер...
Технология предметно ориентированного программирования гетерогенных многоядер...Технология предметно ориентированного программирования гетерогенных многоядер...
Технология предметно ориентированного программирования гетерогенных многоядер...
 
Разработка системы автоматизированного тестирования при помощи фреймворка Pro...
Разработка системы автоматизированного тестирования при помощи фреймворка Pro...Разработка системы автоматизированного тестирования при помощи фреймворка Pro...
Разработка системы автоматизированного тестирования при помощи фреймворка Pro...
 

Практики жизненного цикла систем машинного обучения

  • 1. Практики жизненного цикла систем машинного обучения SECR’16 28 окбяря 2016г.
  • 2. Kind of Engineerings • Mechanical engineering • Agriculture engineering • Aerospace engineering – aircraft architecture • Systems engineering • System of systems engineering • … • Software engineering • Control [systems] engineering – control [system] architecture • Knowledge engineering -- architecture • Machine learning [system] engineering (-- architecture?) • … • Neural engineering • neural network engineering -- neural [network] architecture • Feature engineering -- ??? 2
  • 3. Systems, Software, Machine Learning Engineerings • Software engineering [term appeared in 1965, boosted by NATO as a profession in 1968] • Systems engineering [Bell Labs in 1940s, boosted as a profession by NCOSE 1990] • Machine learning engineering [term appeared in 2011] 3https://www.google.com/trends/explore#q=machine%20learning%20engineering&cmpt=q&tz=Etc%2FGMT-3
  • 4. Вместо «программа» подставьте «система машинного обучения». Why is my program not working? You need to know why? To repair compiler? Software engineer (systems) To advance theory? Computer Scientist You need to program working properly? Software engineer (application) 4
  • 5. Жизненный цикл системы – это про тех, кто её делает 5 t Обеспечивающие системы (их много!), описанные минимально как практики- компоненты и проекты- модули по изменению целевой системы Целевая система Эксплуатация «Практики жизненного цикла систем машинного обучения»
  • 6. Проблемы с ЖЦ 1.0 6 • Появилась параллельная инженерия (сначала «итерации», а потом и вообще всё смешалось) • Нельзя обсуждать «почему предпринятие вообще работает», методы работы, методологии. Только «как собрать из кусочков во времени». Горбатая диаграмма (hump diagram) из RUP (Rational Unified Process) Практики, именованные по дисциплинам!
  • 7. Какие компоненты предприятия? (как оно работает?) Практика = дисциплина + технология Дисциплинированные (компетентные) исполнители [все ли люди?], обеспеченные необходимыми для поддержки дисциплины инструментами 7
  • 8. Схематизация жизненного цикла: различение дисциплины и технологии в практике • дисциплины = мышление (операции с абстрактными типизированными объектами). Меняются за 30 лет. Учатся в школе и ВУЗе. Практика определяется по её дисциплине. Инвестиции в «человеческий капитал». • технологии = инструменты и рабочие продукты (поддержка мышления в экзокортексе). Меняются каждые 5 лет. Учатся на производстве. Проекты используют технологии как «ресурсы». Инвестиции в традиционный капитал. • Дисциплины тренируют на задачах (заранее поставленных) • Понимание связи дисциплин и технологий, идеальных объектов дисциплин и рабочих продуктов в жизни нужно ТРЕНИРОВАТЬ, для этого обычно нужен преподаватель • Маскировка в реальной жизни: а) задача не поставлена б) много отвлечений 8 В жизни ни одного слова из учебника В учебнике ни одного слова из жизни =Компоненты, функциональные единицы, альфы =Модули, конструктивные единицы, рабочие продукты
  • 9. Системная схема проекта 9 Технологический менеджмент и предпринимательство Инженерный менеджмент Инженерия Технологический менеджмент Using system Enabling system System of interest http://arxiv.org/abs/1502.00121
  • 11. Какие практики можно ожидать?! • Специализацию практик системной инженерии • Специализацию практик программной инженерии • Управление жизненным циклом (методология разработки) • Инженерия требований • Инженерия архитектуры • Инженерия испытаний • Управление конфигурацией • … На многих уровнях технологического стека! 11
  • 12. Инженерия психики Инженерия машинного обучения Инженерия предприятия Системная инженерия Постановка задачи на модернизацию (всегда brownfield) Замысел и требования Стратегирование Замысел и требования Намеревание Архитектура Архитектура Архитектура и проектирование (выращивание субстрата) программирование архитектуры Постановка практик: набор персонала, закупка технологий Изготовление и интеграция/сборка Дообучение (ибо всегда brownfield) Обучение (training), Постановка практик в части обучения работе наладка Автоматизация навыка Передача обучения (transfer learning), сжатие сетки, ансамблирование (но ярко выраженной сборки нет, плохая модульность) Merge/aquisition на уровне предприятий (но нет «сборки» отдельных практик, плохая модульность) Модернизация заменой модулей Аттестация, экзамены, освидетельствование Проверка и приёмка Оценка, аттестация Проверка и приёмка Жизнь Вывод (inference) Работа Эксплуатация Жизненные циклы обучающихся систем 12
  • 13. Жизненный цикл систем машинного обучения • Экстремальный ЖЦ: начинается много раньше, чем замысел, заканчивается много позже вывода из эксплуатации • Многоуровневый ЖЦ: разный на всех уровнях интеллект-стека • Нет методологий разработки: сказать agile – это ничего не сказать (кто признается, что он «негибкий»?), нет отдельных практик, принципов, инструментов • Нет учебников по практикам ЖЦ, только отдельные статьи. 13
  • 14. INCOSE VISION 2025 14 Проблемы с модульностью на высоких уровнях (где появляются сети, люди – непонятная связность): переход от сборки-наладки к «эволюции», «обучению», «системообразованию»
  • 15. Метафоры жизненного цикла машинного обучения 15 часовщик лесниксадовник инженерия Обучение Tesla – уже сегодня Восток: смириться и растить. Запад: добиваться модульности, растить потом.
  • 16. МЕЖДИСЦИПЛИНАРНОСТЬ Интеллект-функции + интеллект-стек + где это в мире 16 На основе рис.3 в ISO 81346-1 -Модули =Компоненты +Места
  • 17. Главная дисциплина: архитектура (важные решения) 17 «Логическая архитектура» (функциональная декомпозиция, структура компонент) итеративно совмещается с «физической архитектурой» (продуктная композиция, структура модулей) Модульный синтез: • Компонуемость – собираемость модулей • Комозициональность – собираемость функций на модулях ISO 81346-1 Figure 7 https://pages.nist.gov/cpspwg/
  • 18. Малая связность: ключ к развитию и совершенствованию • Модульность: каждая связь имеет цену. Не было бы цены, не было бы модулей • http://arxiv.org/abs/1207.2743 • Меньше связность – круче улучшения! • http://www.pnas.org/content/108/22/9008.full 18 Падение стоимости при улучшении отдельных модулей (n), при разном числе связей каждого из них (d) Чтобы изменения улучшали дело, нужно меньше связей!
  • 19. Модульности очень разные: • Knowledge graphs (онтологии и семантики) – структурированная память (MemNN, differentiable neural computer) • Embeddings – priors (замечание Nando de Freitas, http://ailev.livejournal.com/1240509.html) • Models as modules (например, progressive networks для multitask learning, ансаблирование и его моделирование -- https://arxiv.org/abs/1605.06431, разные виды transfer learning) • Learning algorithms as modules (например, frameworks), и отдельные элементы для алгоритмов (обзор -- http://fastml.com/deep-learning-architecture-diagrams/). • … Серебряной пули нет, и никогда не будет. 19
  • 20. Intelligence Platform Stack 20 Application (domain) Platform Cognitive Architecture Platform Learning Algorithm Platform Computational library General Computer Language CPU GPU/TPU/DPU/FPGA/Physical computation Drivers GPU/TPU/DPU/FPGA/Physical computation Accelerator Neurocompiler Neuromorphic driver Neuromorphic chip Disruptionenablers Disruptiondemand Thanks for computer gamers for their disruption demand to give us disruption enabler such as GPU!
  • 21. Платформы машинного обучения • Одной платформы не хватит никогда! • Master algorithm: тренд на гибридизацию разных подходов • Когнитивная архитектура: тренд на комбинирование разных подходов • Reinforcement learning • Adversarial architectures 21 Shallow Learning Big Data Deep Learning Neuro evolution Bayes Army Symbolic Теорема бесплатного завтрака
  • 22. Conversion of engineerings and Disruption of engineerings 22 Software Engineering Machine Learning Engineering Janosh Szepanovits. Convergence: Model-Based Software, Systems And Control Engineering + http://www.infoq.com/presentations/Model-Based-Design-Janos-Sztipanovits Le Bottou – «Machine Learning disrupts software engineering» http://leon.bottou.org/slides/2challenges/2challenges.pdf We can add: • Machine learning disrupts systems engineering • Machine learning disrupts control engineering • … • Machine learning disrupts contemporary engineering
  • 23. Литература по инженерии MLE: больше постановки проблем, чем решения • Leon Bottou, Two big challenges in machine learning http://leon.bottou.org/slides/2challenges/2challenges.pdf • D. Sculley, Gary Holt, Daniel Golovin, Eugene Davydov, Todd Phillips, Dietmar Ebner, Vinay Chaudhary, Michael Young, Jean-Francois Сrespo, Dan Dennison, Hidden Technical Debt in Machine Learning Systems http://papers.nips.cc/paper/5656-hidden-technical-debt-in-machine-learning-systems.pdf • Nando de Freitas, Learning to learn and compositionality with deep recurrent neural networks https://youtu.be/x1kf4Zojtb0 • Diogo Almeida, Modular in theory, inflexible in practice http://conferences.oreilly.com/artificial-intelligence/ai-deep-learning-bots-ny/public/schedule/detail/54081 23
  • 24. Can we use systems and software engineering wisdom in MLE? Engineering is not only about modularity and modular synthesis! What about other aspects?! • More attention to left part of V-diagram (as in MBSE) • More attention to right part of V-diagram (DevOps, release early, release often – optimizations later) • … • What else? 24
  • 25. Спасибо за внимание! Анатолий Левенчук, http://ailev.ru ailev@asmp.msk.su TechInvestLab 25