2. Актуальность
В условиях быстрого развития различных
направлений интеллектуальной обработки данных
(ИОД) – OLAP, Data Mining, Data Science, и т.п.:
- недостаточно развиты теоретические основы
создания информационных систем для ИОД;
- выбор и использование методов и алгоритмов
обработки, исследуемых параметров требуют
высокой квалификации;
- результаты обработки данных не приводят к
извлечению зависимостей достаточной
специфичности и полезности;
- накопленные в данной области знания требуют
соответствующей инженерии, организации в виде,
доступном для автоматизации их использования и
модификации.
3. Актуальность
Необходима разработка принципов организации
КИС для ИОД с интегрированными базами знаний
и хранилищами данных, создаваемыми и
используемыми на основе онтологического
подхода и других методов инженерии знаний,
что позволит повысить эффективность как баз
знаний, так и работы КИС с точки зрения
адекватности извлекаемых моделей, точности и
достоверности прогнозирования и поддержки
принятия решений.
4. Научно-техническая проблема заключается
в следующем:
- имеется большое количество разнородных
математических и алгоритмических методов извлечения
скрытых зависимостей из данных, которые необходимы для
прогнозирования и поддержки принятия решений в ОТС;
- эти методы базируются на слабо совмещаемом
математическом и операционном аппарате;
- особенности и порядок применения этих методов
являются частью слабо формализованных знаний
экспертов и аналитиков;
- автоматизация при обработке данных обеспечивается
на низком уровне абстракции;
- практически каждая КИС для ИОД разрабатывается для
решения конкретной задачи анализа данных, отсутствует
универсальная технология решения широкого круга
задач и адаптируемости информационных систем и баз
знаний к изменению условий обработки данных и свойств
объектов анализа.
5. Работа выполнялась в рамках следующих госбюджетных НИР и грантов:
«Розвиток засобів візуального структурного проектування систем на основі
об’єктно-орієнтованого підходу (ООП) й інтелектуалізації поводження моделей»,
Д-03-2000
«Підвищення якості проектування програмного забезпечення на основі розвитку
методології ООП та її інтеграції з технологіями штучного інтелекту», Д-02-2003
«Підвищення інтелектуальності систем інформаційного забезпечення процесу
проектування складних об'єктів», Д-02-2005
«Підвищення інтелектуальності інформаційних систем на основі розвитку і
використання онтологій та візуального структурного підходу», Д-02-2007
«Розвиток технології проектування інформаційних систем на основі методів
інженерії знань», Д-01-2010
«Розробка інформаційного забезпечення і технології автоматизованого
проектування виробів, технологічного оснащення і процесів виготовлення деталей
складної геометрії», Д-06-2013
«Розробка інформаційних технологій для вирішення завдань інтелектуального
аналізу даних у машинобудуванні на основі методів інженерії знань», Д-05-2015
Міжнародної освітньої програми TEMPUS «Розробка курсів по вбудованих
системах з реалізацією інноваційних віртуальних підходів до інтеграції науки,
освіти і виробництва в Україні, Грузії, Вірменії» № 544091-1-2013-1-BE-JPCR.
Связь работы с научными программами,
планами, темами
6. Целью работы является обеспечение
оперативности и достоверности результатов
интеллектуальной обработки данных в
организационно-технических системах,
адекватности извлекаемых из данных
зависимостей и правил за счет применения
инженерии знаний и развития
теоретических основ, методов и средств
построения компьютеризированных
информационных систем на основе
онтологического подхода.
Цель работы
8. Работа компьютеризированной информационной
системы для интеллектуальной обработки данных
(КИС для ИОД) на основе инженерии знаний
цель функционирования - извлечение моделей работы
предметных областей и поддержка принятия решений
8
9. Проблемная область и основная идея моделирования
КИС для ИОД на основе инженерии знаний
10. Задача
прогнозирования
и ППР
Система
(процесс)
преобразования
материальных
потоков и
потоков данных
Вычислительные
преобразования,
компенсация
помех и
погрешностей
Задача
измерения
Задача
отображения
Задача
накопления
Задача
выборки и
агрегации
Задача
ИОД
Восприятие
сигналов
(сообщений)
Генерация
отчетов
Формирова-
ние
оперативных
баз данных
Сбор и
накопление
исторических
данных
Из внешних
источников
On-line
Transaction
Processing
On-line
Analysis
Processing
Первичное и
аналого-
цифровое
преобразование
Формирова-
ние
хранилищ
моделей
Синтез и
обучение
моделей
Оптимизация
на основе
моделей
Выработка
управляющих
воздействийГенерация форм
и графиков
Сигналы,
сообщения,
результаты
осмотров,
опросов …
Управляющие
воздействия
ИИС
(информационно-
измерительные системы)
КИС для ИОД СППР
(системы поддержки
принятия решений)
ИС
(информационные
системы)
САУ
Формализация
целей, задач,
ограничений и
критериев
функционирования
, объектов и связей,
атрибутов, …
Классификация и
спецификация
устройств,
параметров,
возмущающих
воздействий,
измерительного
канала, шкал, …
Классификация и
спецификация
методов и
алгоритмов
преобразований,
приемов
визуализации,
элементов
интерфейса, …
Информационно
е моделирование
и концептуальное
проектирование
баз и хранилищ
данных, …
Классификация и
спецификация
методов
агрегации,
многомерного
представления,
…
Классификация и
спецификация методов
и алгоритмов ИОД,
искусственного
интеллекта, свертки
экспертных оценок, …
Результаты инженерии знаний (онтологического моделирования)
Роль и место КИС для ИОД и инженерии знаний
при решении задач обработки данных
11. Фрагмент онтологической модели
алгоритмического и программного обеспечения
ИОД
Модель ИОД
(KDD aka DM)
Стандарт
организации
процесса DM
CRISP
CWM-
DM
Формат
хранения
модели
Стандарт
интерфейса для
обмена с ПО
Язык описания и
обмена
моделями
Файл с
описанием
модели
SEMMA
User-
defined
standart
PMML PFA
User-
defined
language
SQL/
MMOLE DB
for DM
Язык запросов
для операций
DM
MDX DMX
User-
defined
language
использует
учитывает
извлекается-по
описывается-на
учитывает
формируется-в-
соотвествии
CSV
XML for
Analysis
12. Состояние рынка программных средств для
интеллектуальной обработки данных
Универсальные пакеты статистического анализа,
Пакеты нечеткой логики и нейронных сетей,
Пакеты многопараметрического разведочного анализа,
Пакеты алгоритмов машинного обучения, …
OpenSource пакеты и библиотеки Data
Mining and Machine Learning: WEKA,
Wolfram, R, scikit-learn, …
13. Классификация программного обеспечения ИОД
Программное обеспечение для
интеллектуальной обработки данных
Stand-alone
приложение
Web-
сервис
Библиотека
функций
Универсальный
пакет
по специфике использования
Специализирован-
ное приложение
по использованию engines для обработки правил
olap4j
Google
Cloud
Prediction
Разработанное в
универсальной
среде
Разработанное в
специализиро-
ванной среде
Программа
на Prolog
Программа
на Lisp
Пакет
символьной
математики
Спец. пакет
для DM/ML
Пакет для
онтологической
инженерии
Protege
Пакет
стат-
обработки
Служба в
составе СУБД
по основному назначению
На основе
Drools.NET
R
Studio
WEKA
MalLAB
Wolfram
SPSS
Statistica
Analysis
Sevices
(SQL
Server)
OntoStudio
BI-DM
(Oracle)
Poly-
Analist
IBM
DM
scikit-
learn
Xelopes
Protégé.net
по уровню специализации
15. Пример архитектурного решения
при построении КИС для ИОД
масштаба предприятия или бизнес-процесса
СУБД (со службами
анализа данных) MS SQL
Server + Analysis Services /
ORACLE + ORACLE Data
Mining / … ХД/БД
Пакеты и библиотеки
(с реализацией функций
Statistics, Data Mining,
Machine Learning, …)
MatLAB / Statistica /
Wolfram / R / …
API
Локальные
средства сбора
данных
Удаленные
средства сбора
данных
КИС для ИОД масштаба предприятия
СУБД (на
удаленном
хосте)
Сервисы IoT (Internet of
Things)
Сервисы WEBDav (Web-based
Distributed Authoring and
Versioning)
Алгоритмы
ИОД
Бизнес-
логика
предприятия
Онтологические модели и
средства запросов к ним
Интерфейс
спакетами
ислужбами
Предприятие /
Бизнес-процесс
ХД/БД
18. Структурно-функциональная модель КИС для
ИОД на основе анализа потоков данных и
активностей (процессов обработки данных)
18
Разработка и анализ такой модели позволили
определить основные блоки, модули и подсистемы
КИС для ИОД, их иерархию, взаимосвязи и
инцидентность при обработке данных, а также
управляющие сигналы, исполнителей, требования к
результатам ИОД и ограничения при получении и
использовании потоков данных.
19. Структурно-функциональная модель на основе
анализа потоков данных и активностей
(процессов обработки данных)
19
A2
Получение
неструктури-
рованных данных
Формулировка задачи
анализа данных
Протокол измерительной
процедуры и формат сбора данных
Правила преобразования шкал
Полевой оператор
Аналитик ПрО
Аналитик проблемной задачи
A3
Проектирование и
физическая реализация
реляционной структуры ХД
Метаданные ХД
«Сырые» (Raw)
данные
(результаты
изменений)
Управляющие данные для онтологического, информационного и
датологического моделирования
Шаблоны и протоколы моделирования
Модели и форматы хранения данных
Аналитик ПрО
Аналитик проблемной задачи
Администратор ХД; Оператор ИС
Неструктурированные
данные
Лицо, принимающее
решения (ЛПР)
Аналитик ПрО
A1
Формирование
потребности в
проведении KDD
Законы управляемого развития
организационно-технических
систем (ОТС)
Производствен-
ная программа и
отчетность
Текущее
состояние
ОТС и внешней
среды
Описание и бизнес-
логика ПрО
Сведения о связанных
с проблемной задачей
хранилищах данных
3 4
20. Структурно-функциональная модель на основе
анализа потоков данных и активностей
(продолжение)
20
1
A4
Преобразование в
структурированные
данные и
заполнение ХД
Протокол
процедуры
преобразования
A5
Очистка (Cleaning)
данных,
устранение
коллизий и
нормализация
Протокол процедуры очистки
Шаблоны очистки и
преобразования данных
Аналитик ПрО
Аналитик
проблемной задачи
Администратор ХД
Оператор ИС
Аналитик ПрО
Аналитик
проблемной задачи
Администратор ХД
Оператор ИС
A6
Инжиниринг
признаков
(Feature
Engineering)
Алгоритмы
определения
информативности
и методов
факторного анализа
Требования к
формату
представления,
точности и
адекватности
извлекаемых
моделей
Аналитик проблемной задачи
Инженер по представлению
знаний
Инженер по методам KDD
2
Перечень
параметров
модели и их
значимость
Гипотеза о форме зависимости параметров
Перечень зависимых друг от друга параметров
Структури-
рованные
данные
Преобразо-
ванные
данные
3
4
21. Структурно-функциональная модель на основе
анализа потоков данных и активностей
(продолжение)
21
2
A7
Извлечение
моделей (знаний)
из данных
Вид модели и
ограничения
матаппарата
Формат
представления
модели
A8
Визуализация
результатов
моделирования.
Проверка
адекватности модели
Средства
визуализации
Протокол проверки
Критерии
адекватности
A9
Использование
модели при
поддержке принятия
решений
Протокол проверки
«что-если»
Интерфейс ИС
Модель
зависимости
параметров
Модель с
подтвержденной
адекватностью
Результат
использования
Аналитик ПрО
Аналитик проблемной
задачи
Инженер по
представлению знаний
Инженер по
представлению
знаний
Инженер по методам
KDD
Аналитик ПрО
Оператор ИС
ЛПР
Перечень
параметров
модели и их
значимость
22. Структурно-функциональная модель на основе
анализа потоков данных и активностей
(продолжение)
22
A10
Онтологическое
моделирование
проблемной
задачи
Вид онтологической
модели и задачи
моделирования
Формат
представления
модели
A11
Информационное
моделирование
задачи обработки
и анализа данных
Вид
информационной
модели и задачи
моделирования
Шаблоны
моделирования
A12
Формирование
гипотез и выбор
признаков
Протокол
обсуждения и
формализации
гипотез
Онтологическая
модель
проблемной
задачи
Информационная
модель
проблемной
задачи Гипотеза о форме
зависимости
параметров
Перечень зависимых
друг от друга
параметров
Информаци-
онные
потребност
и ЛПР
Аналитик ПрО
Аналитик проблемной
задачи
Администратор ХД
Аналитик ПрО
Аналитик проблемной
задачи
Администратор ХД
Аналитик ПрО
Администратор ХД
Сведения о
ПрО
1
29. Моделирование предметных областей для
построения хранилищ данных
(используемые подходы)
Моделирование многоуровневых абстракций (MOF+UML)
30. Гибридная технология проектирования БД на
основе ER-диаграмм и диаграмм ФЗ
Предложенная технология проектирования
позволяет:
- выявить отсутствие атрибутов в ER-диаграмме;
- определить правильность расстановки атрибутов в
ER-диаграмме;
- обосновать назначенные разработчиком степени
связей и классы принадлежности сущностей в ER-
диаграмме.
С другой стороны:
- ER-диаграммы позволяют осмысленно трактовать
наличие ФЗ между атрибутами универсального
отношения;
- ER-диаграммы дополняют формальное
представление направленных графов в диаграмме ФЗ
возможностью информационной проверки
правильности их построения.
31. Фрагмент базы правил совместного применения двух
подходов к проектированию структуры реляционной БД
Э1
1 Э2
1
Э1
2 Э2
2
Сущность 1 Связь 1
КА1
ОА1
Сущность 2
Асв1
1
Асв1
2
КА2
ОА2
Э1
1Э1
2Э1
3
Сущность 3
КА3
ОА3
КА1 ОА1Асв1
1 Асв1
2
КА2 ОА2КА3ОА3
Отношение 1
КА1
ОА1
Отношение 2
КА1
КА2
КА3
Асв1
1
Асв1
2
Отношение 3
КА2
ОА2
КА1
-КА1 КА2
-КА2
Отношение 4
КА3
ОА3КА3
-КА3
32. Фрагмент базы правил совместного применения двух
подходов к проектированию структуры реляционной БД
Сущность 1 Связь 1 Сущность 2
1 n
КА1
ОА1
Асв1
1
Асв1
2
КА2
ОА2
Связь 2Сущность 3
1
Асв2
1
Асв2
2
КА3
ОА3
n
КА1 ОА1
Асв2
1
Асв2
2
КА2 ОА2
КА3ОА3
Асв1
1
Асв1
2
Отношение 1
КА1
ОА1
Отношение 2
КА2
OА2
Асв1
1
Асв1
2
Асв2
1
Асв2
2
КА1
КА3
Отношение 3
КА3
ОА3
КА1
-КА1
КА3
-КА3
33. Фрагмент базы правил совместного применения двух
подходов к проектированию структуры реляционной БД
Сущность 1 Связь 1 Сущность 2
1 n
КА1
ОА1
Асв1
1
Асв1
2
КА2
ОА2
Связь 2Сущность 3
m
Асв2
1
Асв2
2
КА3
ОА3
n
КА3
ОА3
Асв2
2
Асв2
1
КА2
ОА2
КА1ОА1
Асв1
1
Асв1
2
Отношение 1
КА3
ОА3
Отношение 2
КА2
КА3
Асв2
1
Асв2
2
Отношение 3
КА2
ОА2
Асв1
1
Асв1
2
КА1
КА1
-КА1
КА2
-КА2
Отношение 4
КА1
ОА2
КА3
-КА3
40. Модель бизнес-процесса получения и перемещения
сырья на начальном этапе в виде EPC-диаграммы
Прибуття
автотранс-
порту
Маркування
тюків
Зважування
автотранс-
порту
Зважування
тюків
Розванта-
ження авто-
транспорту
Друк та
наклеюван-
ня етикеток
Переміщен-
ня до цеху
сортування
Облік
переміще-
них тюків
Переміщен-
ня до цеху
переробки
XOR V
Сканування
та запис
результатів
Комірник
Автоваги
Термо-
принтер
Сканер
Персональний
комп’ютер №1
Програмне
забезпе-
чення
База даних
Наванта-
жувач
Ваги для
тюків
- обладнання, що забезпечує
виконання функції
- підрозділ або персонал, що
забезпечує виконання функції
- функція (активність у рамках
бізнес-процесу)
- подія (зміна стану)
На подальшу обробку
42. Розробка інформаційного й програмного забезпечення підсистеми
підтримки прийняття рішень на основі інженерії знань про вибір і
режимів інтенсивних пластичних деформацій (ІПД)
Інформаційне забезпечення ПМК для автоматизації прийняття
рішень у САПР процесів ІПД заготівок у вигляді онтології,
створеної за допомогою редактора онтологій Protege, з базою
правил на мові SWRL
Результати аналізу процесів ІПД і
правил реалізації різних варіантів
деформування заготівок
И.5.1 И.5.2 И.5.3 И.5.
4
И.5.2.
1
И.5.2.2
И.5.2.3
.
И.5.2.1.1
И.5.2.1.
2
И.5.2.2.1
И.5.2.2.
2
И.5.2.3.
1
И.5.2.3.
2
И.5.2.3.
3
И.5.2.1.2.1
И.5.2.1.2.2.
И.5.2.1.2.
3
И.5.2.1.2.4
И.5.2.3.3.
1
И.5.2.3.3.
2
И.5.1.1
И.5.1.1.1
И.5.1.2
И.5.1.1.2
И.5.1.2.1
И.5.1.2.2
И.5.4.1
И.5.4.2
И.5
Зміна площі
поперечного переріза
за цикл
Зміна форми
поперечного переріза
Поділ (злиття) площі
в перетині
Пропорційно довжині
Зі зміною
площі
Без зміни
площі
Зменьшення
Збільшення
Непропорційно довжині
Зі зміною
форми
Без зміни
форми
Більше 2 струмків
2 струмки
И5.3
З розподілом
площини
Без поділу площі на
струмки
Зміна площі
перетину
Зсув перетину щодо
осі
Поворот
перетину
щодо осі
Спосіб створення деформації
Вид повороту Напрямок повороту
Кут до осі дії сили,
Alfa
В точці, Alfa
Кут у площині
перпендикулярної до осі
дії сили, x, Alfa
По довжині
деформації,
F(x)
И.5.2.2.
2
З поділом і злиттям
Деформируемый
обсяг (Обсяг
деформації)
Вся заготівля відразу
Послідовно при
зсуві місця
деформації
Зі злиттям
И.5.2.3.
4
Результат запиту на мові SQWRL до онтології з базою
правил у Protege, виконаного з підсистеми САПР
44. Метод та технологія моделювання складних об'єктів
проектування й підтримки прийняття конструктивних і
технологічних рішень на основі методів інженерії знань
ИАДИАД
Дерево
решений
Дерево
решений
OLAP-
анализ
OLAP-
анализ
Кластери-
зация
Кластери-
зация
БДБД
ЭОЭО
ТПТП
АнализАнализ
Результат
ЭО
Результат
ЭО
РезультатРезультат
Результат
ИАД
Результат
ИАД
МетодМетод
ДанныеДанные
Данные
для ИАД
Данные
для ИАД
Данные
для ЭО
Данные
для ЭО
использует
Данные
для дерева
решений
Данные
для дерева
решений
Данные для
OLAP-
анализа
Данные для
OLAP-
анализа
Данные для
кластеризации
Данные для
кластеризации
представляет
формирует
Результат
для ДР
Результат
для ДРOLAP-
анализ
OLAP-
анализ
Результат
кластериза
ции
Результат
кластериза
ции
*
1
1
1
1*
1
1
1
*
...
...
...
ТехнологТехнолог
РаботникРаботник
АналитикАналитикпроводит
составляет
ДокументацияДокументацияМаршрутная
карта
Маршрутная
карта
Операционная
карта
Операционная
карта
...
1*
1*
Технологическая
инструкция
Технологическая
инструкция
работает
1
*
Онтологія предметної області САПР технологічних
процесів виготовлення виробів складної геометрії
Розробка реляційної структури
сховища даних для накопичення
відомостей про прецеденти
технологічних операцій, її реалізація
та наповнення виробничими даними
Формування багатовимірного
представлення агрегованих даних
для виявлення аналітиками
прихованих залежностей
Візуалізація даних та
застосування методів
Data Mining
47. Перспективні напрямки та результати
впровадження
Автоматизація пошуку в сховищах даних, локальних і
глобальних комп'ютерних мережах:
- Розпізнавання зображень і пошук за анотованим описом і
шаблоном зображення;
- Пошук 3D-моделей в архівах креслень за заданим
анотованим описом або зразком;
- Аналіз, автоматизація реферування та пошук текстових
фрагментів у науко-технічних документах.
48. Автоматизація проектування складних об'єктів і процесів
їхнього виготовлення на основі:
- Витягу знань із баз і сховищ даних про прецеденти
реалізації технологічних процесів;
- Побудови експертних систем для підтримки прийняття
конструкторських і технологічних рішень на основі
методів інженерії знань (онтологій, баз правил,
когнітивних карт, предметно-предметно-орієнтованих мов
моделювання й програмування й т.д. );
Перспективні напрямки та результати
впровадження
49. Автоматизація проектування складних об'єктів і процесів
їхнього виготовлення на основі:
- Імітаційного моделювання складних об'єктів проектування
(на прикладі виробів машинобудування) і організаційно-
технічних систем;
- Проектування реляційних баз і сховищ даних для різних
предметних областей на основі вдосконалених методик з
використанням інформаційних моделей і концепції
функціональних залежностей.
Перспективні напрямки та результати
впровадження
50. Навчальний процес:
- участь у програмі DESІRE (TEMPUS) по розробці методик
викладання й навчальних курсів на основі віртуальних
лабораторних практикумів по проектуванню й
застосуванню убудованих систем (Embedded Systems).
- Розробка стандартів для підготовки магістрів
спеціальності "Інформаційні технології проектування" і
формування вмісту курсів.
- Розвиток методик адаптивного тестування знань на основі
онтологічного підходу й удосконалення методів обробки
експертних даних.
Перспективні напрямки та результати
впровадження
51. Краткие выводы
- разработана универсальная методология
проектирования КИС для ИОД, не
ограничиваемая спецификациями конкретных
ПрО, задач и инструментов ИОД;
- формализованы знания о ПрО и процессах
ИОД и обеспечено хранение и накопление
результатов формализации в виде
онтологических моделей на соответствующих
языках описания, а также запросы к ним и
интерпретация результатов;
- разработаны архитектурные и технические
решения для аппаратно-программной
реализации КИС для ИОД.