SlideShare une entreprise Scribd logo
1  sur  126
Télécharger pour lire hors ligne
НИЗКОМОЛЕКУЛЯРНОЕ
ПРОЕКТИРОВАНИЕ
W I A D 2 0 1 7
1 8 Ф Е В Р А Л Я
С Т Р У К Т У Р И Р О В А Н Н Ы Е Д А Н Н Ы Е И U X
Л А Р А С И М О Н О В А
1. Информационная архитектура
•	 Общее определение и области применения
•	 Основная область применения ИА — разработка цифровых продуктов
•	 Взаимоотношения ИА и остальных процессов разработки продкутов
•	 ИА и структурированные данные
2. Подход к структурированию данных
•	 Исследование предметной области
•	 Выделение основных ее сущностей
•	 Моделирование содержания
•	 Выбор схемы данных
•	 Структурирование и наполнение словарей
3. Структура данных и ее влияние на продукт
•	 Разработка: удобное проектирование баз данных, бэкенда, логики фронтенда
•	 Дизайн: UI-kit и масштабируемость
•	 UX: понятные интерфейсы, чистые данные, умные рекомендательные системы, machine learning
ПЛАН
1.
ИНФОРМАЦИОННАЯ
АРХИТЕКТУРА
ОПРЕДЕЛЕНИЕ
Информационня архитектура — совокупность практик,
обеспечивающих:
•	Сбор и анализ информации;
•	Ее структурирование, описание внутренних связей;
•	Разработка форматов ее хранения;
•	И способов передачи для дальнейего использования
в разных контекстах
1 . И н ф орма ц ионна я ар х итектура
КОНТЕКСТЫ ПРИМЕНЕНИЯ
1 . И н ф орма ц ионна я ар х итектура
d i g i ta l a n a L o g
КОНТЕКСТЫ ПРИМЕНЕНИЯ
1 . И н ф орма ц ионна я ар х итектура
d i g i ta l a n a L o g
Инструменты и сервисы
•	 Логика фронт-энда и бэк-энда
•	 Пользовательские сценарии
•	 Контент-стратегии
КОНТЕКСТЫ ПРИМЕНЕНИЯ
1 . И н ф орма ц ионна я ар х итектура
d i g i ta l a n a L o g
Инструменты и сервисы
•	 Логика фронт-энда и бэк-энда
•	 Пользовательские сценарии
•	 Контент-стратегии
Базы данных
•	 Структура сущностей в справочниках
•	 Структура содержания словарных статей
•	 Правила наполнения справочников и словарей
КОНТЕКСТЫ ПРИМЕНЕНИЯ
1 . И н ф орма ц ионна я ар х итектура
d i g i ta l a n a L o g
Инструменты и сервисы
•	 Логика фронт-энда и бэк-энда
•	 Пользовательские сценарии
•	 Контент-стратегии
Процессы
•	 Бизнес-аналитика
•	 Методологии обучения
•	 Методологии управления
Базы данных
•	 Структура сущностей в справочниках
•	 Структура содержания словарных статей
•	 Правила наполнения справочников и словарей
КОНТЕКСТЫ ПРИМЕНЕНИЯ
1 . И н ф орма ц ионна я ар х итектура
d i g i ta l a n a L o g
Инструменты и сервисы
•	 Логика фронт-энда и бэк-энда
•	 Пользовательские сценарии
•	 Контент-стратегии
Процессы
•	 Бизнес-аналитика
•	 Методологии обучения
•	 Методологии управления
Базы данных
•	 Структура сущностей в справочниках
•	 Структура содержания словарных статей
•	 Правила наполнения справочников и словарей
Физические объекты
•	 Библиотеки
•	 Счета
•	 Инструменты на верстаке
КОНТЕКСТЫ ПРИМЕНЕНИЯ
1 . И н ф орма ц ионна я ар х итектура
d i g i ta l
ди з а й н ц и ф ровы х п родуктов
a n a L o g
Инструменты и сервисы
•	 Логика фронт-энда и бэк-энда
•	 Пользовательские сценарии
•	 Контент-стратегии
Процессы
•	 Бизнес-аналитика
•	 Методологии обучения
•	 Методологии управления
Базы данных
•	 Структура сущностей в справочниках
•	 Структура содержания словарных статей
•	 Правила наполнения справочников и словарей
Физические объекты
•	 Библиотеки
•	 Счета
•	 Инструменты на верстаке
ПРОДАКТ-ДИЗАЙН
1 . И н ф орма ц ионна я ар х итектура
су б страт = о б ласт ь
•	 Основные понятия
•	 Их взаимосвязи
•	 Терминология
ПРОДАКТ-ДИЗАЙН
1 . И н ф орма ц ионна я ар х итектура
су б страт = о б ласт ь
п ол ь з ователи
•	 Основные понятия
•	 Их взаимосвязи
•	 Терминология
•	 Спектр возможных
взаимодействий
с элементами области
•	 Базовые привычки
и сценарии
ПРОДАКТ-ДИЗАЙН
1 . И н ф орма ц ионна я ар х итектура
су б страт = о б ласт ь
п ол ь з ователи
И нструменты
•	 Основные понятия
•	 Их взаимосвязи
•	 Терминология
•	 Спектр возможных
взаимодействий
с элементами области
•	 Базовые привычки
и сценарии
•	 Облегчение
взаимодействий
•	 Расширение
возможностей
пользователя
ПРОДАКТ-ДИЗАЙН
1 . И н ф орма ц ионна я ар х итектура
су б страт = о б ласт ь
п ол ь з ователи
И нструменты
•	 Основные понятия
•	 Их взаимосвязи
•	 Терминология
•	 Спектр возможных
взаимодействий
с элементами области
•	 Базовые привычки
и сценарии
•	 Облегчение
взаимодействий
•	 Расширение
возможностей
пользователя
=>новы й
п родукт
ПРОДАКТ-ДИЗАЙН
1 . И н ф орма ц ионна я ар х итектура
су б страт = о б ласт ь
п ол ь з ователи
И нструменты
Исследования и анализ
•	 Основные понятия
•	 Их взаимосвязи
•	 Терминология
•	 Спектр возможных
взаимодействий
с элементами области
•	 Базовые привычки
и сценарии
•	 Облегчение
взаимодействий
•	 Расширение
возможностей
пользователя
IA
PM
IA
PM
ПРОДАКТ-ДИЗАЙН
1 . И н ф орма ц ионна я ар х итектура
су б страт = о б ласт ь
п ол ь з ователи
И нструменты
п родуктова я С Т Р АТ Е Г И Я
п ол ь з овател ь ска я логика
п одро б на я ра б ота с данными
ф ормал ь на я логика
Исследования и анализ
•	 Основные понятия
•	 Их взаимосвязи
•	 Терминология
•	 Спектр возможных
взаимодействий
с элементами области
•	 Базовые привычки
и сценарии
•	 Облегчение
взаимодействий
•	 Расширение
возможностей
пользователя
IA
PM
IA
PM
ПРОДАКТ-ДИЗАЙН и ИА
1 . И н ф орма ц ионна я ар х итектура
Исследования и анализ
•	 Опросы
•	 Брифы
ПРОДАКТ-ДИЗАЙН и ИА
1 . И н ф орма ц ионна я ар х итектура
Исследования и анализ
Оптимизация и формализация
•	 Опросы
•	 Брифы
•	 Схемы
•	 Таблицы
•	 Майндмэпы
•	 Спецификации
•	 Вайрфреймы
ПРОДАКТ-ДИЗАЙН и ИА
1 . И н ф орма ц ионна я ар х итектура
Исследования и анализ
Оптимизация и формализация
Имплементация
•	 Опросы
•	 Брифы
•	 Поддержка дизайна
•	 Поддержка разработки
•	 Схемы
•	 Таблицы
•	 Майндмэпы
•	 Спецификации
•	 Вайрфреймы
ПРОДАКТ-ДИЗАЙН и ИА
1 . И н ф орма ц ионна я ар х итектура
Исследования и анализ
Оптимизация и формализация
Имплементация
Тестирование
•	 Опросы
•	 Брифы
•	 Поддержка дизайна
•	 Поддержка разработки
•	 Схемы
•	 Таблицы
•	 Майндмэпы
•	 Спецификации
•	 Вайрфреймы
ПРОДАКТ-ДИЗАЙН и ИА
1 . И н ф орма ц ионна я ар х итектура
Исследования и анализ
Оптимизация и формализация
Имплементация
Тестирование
•	 Опросы
•	 Брифы
•	 Поддержка дизайна
•	 Поддержка разработки
•	 Схемы
•	 Таблицы
•	 Майндмэпы
•	 Спецификации
•	 Вайрфреймы
ПРОДАКТ-ДИЗАЙН и ИА
1 . И н ф орма ц ионна я ар х итектура
Исследования и анализ
Оптимизация и формализация
Имплементация
Тестирование
•	 Опросы
•	 Брифы
•	 Поддержка дизайна
•	 Поддержка разработки
•	 Схемы
•	 Таблицы
•	 Майндмэпы
•	 Спецификации
•	 Вайрфреймы
структурирование данны х
2.
СТРУКТУРИРОВАНИЕ
ДАННЫХ
КОНТЕКСТ
Два типа задач про стурктурирование у ИА:
2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
КОНТЕКСТ
Два типа задач про стурктурирование у ИА:
1. Формализация логики предметной области
•	 С какими сущностями мы работаем?
•	 Как они связаны?
•	 Какие их свойства релевантны?
•	 Какие термины используются для описания свойств?
2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
КОНТЕКСТ
Два типа задач про стурктурирование у ИА:
1. Формализация логики предметной области
•	 С какими сущностями мы работаем?
•	 Как они связаны?
•	 Какие их свойства релевантны?
•	 Какие термины используются для описания свойств?
2. Структурирование информации полученной
информации под ее «потребителя»
•	 Кому мы хотим передать информацию? Разработчик, дизайнер, пользователь
•	 Под какие задачи?
•	 В каком виде она будет наиболее понятна? Вайрфреймы, схемы, таблицы, текст
2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
КОНТЕКСТ
Два типа задач про стурктурирование у ИА:
1. Формализация логики предметной области
•	 С какими сущностями мы работаем?
•	 Как они связаны?
•	 Какие их свойства релевантны?
•	 Какие термины используются для описания свойств?
2. Структурирование информации полученной
информации под ее «потребителя»
•	 Кому мы хотим передать информацию? Разработчик, дизайнер, пользователь
•	 Под какие задачи?
•	 В каком виде она будет наиболее понятна? Вайрфреймы, схемы, таблицы, текст
2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
И А П Р О И З В О Д С Т В Е Н Н Ы Х П Р О Ц Е С С О В ( С П Е Ц И Ф И К А Ц И И )
ПРЕДМЕТНАЯ ОБЛАСТЬ
Вдумчивое ее моделирование позволяет повысить
эффективность создания продукта и принимать
взвешенные решения на разных уровнях
2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
ПРЕДМЕТНАЯ ОБЛАСТЬ
Вдумчивое ее моделирование позволяет повысить
эффективность создания продукта и принимать
взвешенные решения на разных уровнях
1. Бизнес: процессы, логистика, финансы
2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
ПРЕДМЕТНАЯ ОБЛАСТЬ
Вдумчивое ее моделирование позволяет повысить
эффективность создания продукта и принимать
взвешенные решения на разных уровнях
1. Бизнес: процессы, логистика, финансы
2. Разработка: базы данных, фронтэнд, бекэнд
2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
ПРЕДМЕТНАЯ ОБЛАСТЬ
Вдумчивое ее моделирование позволяет повысить
эффективность создания продукта и принимать
взвешенные решения на разных уровнях
1. Бизнес: процессы, логистика, финансы
2. Разработка: базы данных, фронтэнд, бекэнд
3. Графический дизайн: UI-кит
2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
ПРЕДМЕТНАЯ ОБЛАСТЬ
Вдумчивое ее моделирование позволяет повысить
эффективность создания продукта и принимать
взвешенные решения на разных уровнях
1. Бизнес: процессы, логистика, финансы
2. Разработка: базы данных, фронтэнд, бекэнд
3. Графический дизайн: UI-кит
4. UX и продакт дизайн: сценарии, ML, масштабирование
2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
ПРЕДМЕТНАЯ ОБЛАСТЬ
2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
Сущности / Concepts
Свойства / Properties
Агенты / Agents
Термины / Terms
Связи / Realtionships
в з аимоде й стви я
ПРЕДМЕТНАЯ ОБЛАСТЬ
2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
Сущности / Concepts
Свойства / Properties
Агенты / Agents
Термины / Terms
Связи / Realtionships
в з аимоде й стви я
М одел ь данны х
Модель данных это совокупность терминов
и принципов, описывающих определенную
предметную область
ОБЩЕЕ ОПРЕДЕЛЕНИЕ
2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
МОДЕЛИРОВАНИЕ ДАННЫХ
2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
Чтобы построить любую модель, нужно
определить границы вселенной, которую она
должна описывать, и сформулировать задачи
и области где информация, входящая в ее
состав будет использоваться
Изучение
области
1
МОДЕЛИРОВАНИЕ ДАННЫХ
2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
Определить источники, которые содержат
информацию об области, ее сущностях,
процессах, агентах
1. Базы данных
2. Сайты организаций / людей
3. Инструменты
4. Существующие модели
ИСТОЧНИКИ
2 . 1 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / и з у ч ение о б ласти
Изучение
области
1
Моделирование
области
ключевые сущности и их взаимосвязи
2
МОДЕЛИРОВАНИЕ ДАННЫХ
2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
Вселенная может состоять,
например, из
отобранных согласно
определенному набору принципов
ОБЪЕКТОВ
ВСЕЛЕННАЯ
2 . 2 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование о б ласти
И набора
Вселенная может состоять,
например, из
отобранных согласно
определенному набору принципов
ОБЪЕКТОВ СВЯЗАННЫХ СУЩНОСТЕЙ
ВСЕЛЕННАЯ
2 . 2 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование о б ласти
ЛЮДИ
создатели, владельцы, пользователи
И набора
Вселенная может состоять,
например из
отобранных согласно
определенному набору принципов
ОБЪЕКТОВ СВЯЗАННЫХ СУЩНОСТЕЙ
ВСЕЛЕННАЯ
2 . 2 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование о б ласти
ОРГАНИЗАЦИИ
музеи, склады, бренды, контрагенты
ЛЮДИ
создатели, владельцы, пользователи
И набора
Вселенная может состоять,
например из
отобранных согласно
определенному набору принципов
ОБЪЕКТОВ СВЯЗАННЫХ СУЩНОСТЕЙ
ВСЕЛЕННАЯ
2 . 2 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование о б ласти
СОБЫТИЯ
продажи, выставки, концерты, исследования
ОРГАНИЗАЦИИ
музеи, склады, бренды, контрагенты
ЛЮДИ
создатели, владельцы, пользователи
И набора
Вселенная может состоять,
например из
отобранных согласно
определенному набору принципов
ОБЪЕКТОВ СВЯЗАННЫХ СУЩНОСТЕЙ
ВСЕЛЕННАЯ
2 . 2 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование о б ласти
места
точки продаж, места рождения, событий
СОБЫТИЯ
продажи, выставки, концерты, исследования
ОРГАНИЗАЦИИ
музеи, склады, бренды, контрагенты
ЛЮДИ
создатели, владельцы, пользователи
И набора
Вселенная может состоять,
например из
отобранных согласно
определенному набору принципов
ОБЪЕКТОВ СВЯЗАННЫХ СУЩНОСТЕЙ
ВСЕЛЕННАЯ
2 . 2 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование о б ласти
источники
книги, статьи, сайты
места
точки продаж, места рождения, событий
СОБЫТИЯ
продажи, выставки, концерты, исследования
ОРГАНИЗАЦИИ
музеи, склады, бренды, контрагенты
ЛЮДИ
создатели, владельцы, пользователи
И набора
СВЯЗАННЫХ СУЩНОСТЕЙ
Вселенная может состоять,
например из
отобранных согласно
определенному набору принципов
ОБЪЕКТОВ
ВСЕЛЕННАЯ
2 . 2 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование о б ласти
Доработка:
ВСЕЛЕННАЯ
2 . 2 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование о б ласти
Доработка:
1. Вынесение наиболее значимых концептов в
отдельные сущности и их более подробное описание
ВСЕЛЕННАЯ
2 . 2 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование о б ласти
Доработка:
1. Вынесение наиболее значимых концептов в
отдельные сущности и их более подробное описание
Аукционная продажа
Событие
Остальные события
выставки,
исследования,
реставрации
ВСЕЛЕННАЯ
2 . 2 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование о б ласти
Доработка:
1. Вынесение наиболее значимых концептов в
отдельные сущности и их более подробное описание
2. Разделение сущности на несколько отдельных
Аукционная продажа
Событие
Остальные события
выставки,
исследования,
реставрации
ВСЕЛЕННАЯ
2 . 2 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование о б ласти
Доработка:
1. Вынесение наиболее значимых концептов в
отдельные сущности и их более подробное описание
2. Разделение сущности на несколько отдельных
Аукционная продажа
Событие
Мес
Адрес
то
Адм. единица
Остальные события
выставки,
исследования,
реставрации
название
адрес
город, страна, континент
координаты
тип: город, страна, ...
название
родительский термин
+
ВСЕЛЕННАЯ
2 . 2 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование о б ласти
Моделирование
содержания
свойства ключевых сущностей
4
3
Изучение
области
1
МОДЕЛИРОВАНИЕ ДАННЫХ
2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
Моделирование
области
ключевые сущности и их взаимосвязи
2
ТРИ ВОПРОСА
2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
А. Как используются данные?
2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
Умные поисковые интерфейсы
(автокомплиты, полнотекстовый поиск, фильтрация и сортировка по полям)
А. Как используются данные?
2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
Умные поисковые интерфейсы
(автокомплиты, полнотекстовый поиск, фильтрация и сортировка по полям)
Удобство и эффективность контроля качества
(автоматическое распознавание отклоняющихся значений, валидация бизнес-правил)
А. Как используются данные?
2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
Умные поисковые интерфейсы
(автокомплиты, полнотекстовый поиск, фильтрация и сортировка по полям)
Удобство и эффективность контроля качества
(автоматическое распознавание отклоняющихся значений, валидация бизнес-правил)
Тренировка алгоритмов получения данных
(автоматическое распознавание нужных текстов, их скрейпинг и парсинг в структурированные поля)
А. Как используются данные?
2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
Умные поисковые интерфейсы
(автокомплиты, полнотекстовый поиск, фильтрация и сортировка по полям)
Удобство и эффективность контроля качества
(автоматическое распознавание отклоняющихся значений, валидация бизнес-правил)
Обучение алгоритмов получения данных
(автоматическое распознавание нужных текстов, их скрейпинг и парсинг в структурированные поля)
Обучение алгоритмов кластеризации
(поиск по изображению, рекомендации похожих объектов)
А. Как используются данные?
2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
Умные поисковые интерфейсы
(автокомплиты, полнотекстовый поиск, фильтрация и сортировка по полям)
Удобство и эффективность контроля качества
(автоматическое распознавание отклоняющихся значений, валидация бизнес-правил)
Обучение алгоритмов получения данных
(автоматическое распознавание нужных текстов, их скрейпинг и парсинг в структурированные поля)
Обучение алгоритмов кластеризации
(поиск по изображению, рекомендации похожих объектов)
Расчет динамики цен
(расчет ценовых индексов, вычисление ценовых коридоров)
А. Как используются данные?
2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
B. Какие данные нужны?
2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
Определение набора свойств для ключевых сущностей
ОБЪЕКТ
ИСТОЧНИК
СОБЫТИЕ
ЧЕЛОВЕК
МЕСТО
ОРГАНИЗАЦИЯ
автор
длина
тип
название
валюта
имя
материал
роль
куратор
статус
широта
цвет
дата
адрес
цена
редактор
спонсор
ссылка
сво й ствасу щ ности
B. Какие данные нужны?
2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
С. Как данные получают?
2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
Скрейпинг с сайтов в индустрии
(текстовые описания, обычно слабо структурированные, структура отличается от источника к источнику)
С. Как данные получают?
2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
Скрейпинг с сайтов в индустрии
(текстовые описания, обычно слабо структурированные, структура отличается от источника к источнику)
Отцифровка аналоговых источников
(неструктурированные текстовые описания, полученные методом оптического распознования, с ошибками)
С. Как данные получают?
2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
Скрейпинг с сайтов в индустрии
(текстовые описания, обычно слабо структурированные, структура отличается от источника к источнику)
Отцифровка аналоговых источников
(неструктурированные текстовые описания, полученные методом оптического распознования, с ошибками)
Подключение к тематическим базам данных
(хорошо стркутурированные, общепринятые методы организации и терминология, но небольшие объемы)
С. Как данные получают?
2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
Скрейпинг с сайтов в индустрии
(текстовые описания, обычно слабо структурированные, структура отличается от источника к источнику)
Отцифровка аналоговых источников
(неструктурированные текстовые описания, полученные методом оптического распознования, с ошибками)
Подключение к тематическим базам данных
(хорошо стркутурированные, общепринятые методы организации и терминология, но небольшие объемы)
Ручной ввод
(времязатратно и высокая вероятность ошибок)
С. Как данные получают?
2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
P 1
P 3
P 7
P 6
P 8
P 9
P 2
V 1.1L 1
V 3.1L 3
V 7.1L 7
V 2.2L 2
V 6.1L 6
V 8.4
V 9.1
L 8.2
L 9 V 9.3
V 6.2
V 8.5
V 9.2
сво й ства з на ч ени я
P 10 V 10.1L 10 V 10.3V 10.2
ле й б л
су щ ност ь
ТРИ ВОПРОСА
2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
А. Как данные используются?
В. Какие данные нужны?
С. Как данные получают?
P 1
P 3
P 7
P 6
P 8
P 9
P 2
V 1.1L 1
V 3.1L 3
V 7.1L 7
V 2.2L 2
V 6.1L 6
V 8.4
V 9.1
L 8.2
L 9 V 9.3
V 6.2
V 8.5
V 9.2
сво й ства з на ч ени я
P 10 V 10.1L 10 V 10.3V 10.2
ле й б л
су щ ност ь
ТРИ ВОПРОСА
2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
P 1
P 3
P 7
P 6
P 8
P 9
P 2
V 1.1L 1
V 3.1L 3
V 7.1L 7
V 2.2L 2
V 6.1L 6
V 8.4
V 9.1
L 8.2
L 9 V 9.3
V 6.2
V 8.5
V 9.2
сво й ства з на ч ени я
P 10 V 10.1L 10 V 10.3V 10.2
ле й б л
су щ ност ь
О
д
р
А. Как данные используются?
В. Какие данные нужны?
С. Как данные получают?
от б ор в модел ь
релевантны х данны х
высокого ка ч ества
реалисти ч но й досту п ности
=>
СЛЕДСТВИЯ
2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
Отбор в модель релевантных данных высокого
качества и реалестичной доступности требует:
•	 Определения релевантных свойств для каждой ключевой сущности;
•	 Скрейпинг и, потенциально, хранения фри-текстовых данных;
•	 Парсинг фри-текстовых данных в структурированные поля нужного уровня подробности;
•	 Имплементации контролируемых словарей терминов, использующихся как значения основных свойств.
6
5
Дизайн схемы
данных
принципы организации свойств
Моделирование
содержания
свойства ключевых сущностей
4
3
Изучение
области
1
МОДЕЛИРОВАНИЕ ДАННЫХ
2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
Моделирование
области
ключевые сущности и их взаимосвязи
2
Полная модель данных состоит из:
ЧТО ТАКОЕ СХЕМА ДАННЫХ?
2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
Полная модель данных состоит из:
Сущностей представляющих основные концепты
(Объект, Событие, Место, Человек, ...)
ЧТО ТАКОЕ СХЕМА ДАННЫХ?
2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
Полная модель данных состоит из:
Сущностей представляющих основные концепты
(Объект, Событие, Место, Человек, ...)
Списка свойств каждой сущности и их структуры
(Объект: автор, дата создания, место создания, материал, измерения, ...)
(Измерения: тип, значение, единица измерения, система измерения, ...)
ЧТО ТАКОЕ СХЕМА ДАННЫХ?
2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
Полная модель данных состоит из:
Сущностей представляющих основные концепты
(Объект, Событие, Место, Человек, ...)
Списка свойств каждой сущности и их структуры
(Объект: автор, дата создания, место создания, материал, измерения, ...)
(Измерения: тип, значение, единица измерения, система измерения, ...)
Словарей значений (терминов) для каждого из свойств
(Единицы измерения: м, метры, футы, feet, mètre, ...)
ЧТО ТАКОЕ СХЕМА ДАННЫХ?
2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
Полная модель области состоит из:
Сущностей представляющих основные концепты
(Объект, Событие, Место, Человек, ...)
Списка свойств каждой сущности и их структуры
(Объект: автор, дата создания, место создания, материал, измерения, ...)
(Измерения: тип, значение, единица измерения, система измерения, ...)
Словарей значений (терминов) для каждого из свойств
(Единицы измерения: м, метры, футы, feet, mètre, ...)
Взаимосвязей сущностей, свойств и значений
(онтологии, сущность-атрибут-значение EAV, etc)
ЧТО ТАКОЕ СХЕМА ДАННЫХ?
2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
Они сгруппированы в две конструкции,
которые моделируются отдельно:
ЧТО ТАКОЕ СХЕМА ДАННЫХ?
2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
Они сгруппированы в две конструкции,
которые моделируются отдельно:
Сущности + Свойства + Отношения = Схема
ЧТО ТАКОЕ СХЕМА ДАННЫХ?
2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
Они сгруппированы в две конструкции,
которые моделируются отдельно:
Сущности + Свойства + Отношения = Схема
Термины + Отношения = Словари
ЧТО ТАКОЕ СХЕМА ДАННЫХ?
2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
МОДЕЛЬ
{
ЧТО ТАКОЕ СХЕМА ДАННЫХ?
2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
Они сгруппированы в две конструкции,
которые моделируются отдельно:
Сущности + Свойства + Отношения = Схема
Термины + Отношения = Словари
Какие подходы уже существуют для описания области?
			 		
ВЫБОР СХЕМЫ: АНАЛОГИ
2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
Какие подходы уже существуют для описания области?
Онтологические фреймворки
Пример: schema.org, dbpedia.org
Принцип: Субъект – Предикат – Объект (RDF)
Плюсы: высокая описательная гибкость
Минусы: свойства не организованы в логические кластеры
	 	 сложно управлять и разработать единообразные принципы описания
			 		
ВЫБОР СХЕМЫ: АНАЛОГИ
2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
Какие подходы уже существуют для описания области?
Онтологические фреймворки
Пример: schema.org, dbpedia.org
Принцип: Субъект – Предикат – Объект (RDF)
Плюсы: высокая описательная гибкость
Минусы: свойства не организованы в логические кластеры
	 	 сложно управлять и разработать единообразные принципы описания	
Категорийные фреймворки
Пример: Getty’s Categories for the Description of Works of Art (CDWA)
Принцип: Entity – Attribute – Value (EAV)
Плюсы: свойства сгруппированы в концептуальные блоки
	 описательные принципы четко определены
Минусы: менее гибкая
ВЫБОР СХЕМЫ: АНАЛОГИ
2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
1. Удобство принципа организации
2. Специфичность для области
3. Признаность сообществом
4. Описание смежных конецптов
5. Проработанная терминология (словари)
ВЫБОР СХЕМЫ: ОРИЕНТИРЫ
2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
ОГРАНИЧЕНИЯ СХЕМЫ
2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
1. Подробность
2. Полнота описания области
ОГРАНИЧЕНИЯ СХЕМЫ
2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
1. Подробность
2. Полнота описания области
=>
упрощение / усложнение существующих сущностей
расширение набора сущностей
Создание
тезаврусов
список терминов, их свойства и связи
7
8 6
5
Дизайн схемы
данных
принципы организации свойств
Моделирование
содержания
свойства ключевых сущностей
4
3
Изучение
области
1
МОДЕЛИРОВАНИЕ ДАННЫХ
2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
Моделирование
области
ключевые сущности и их взаимосвязи
2
Список терминов
Утверждения об их иерархических взаимосвязях
Утверждения о синонимии (+ переводы)
Утверждения о связанных терминах (≠ синонимы)
Утверждения о предпочтительности терминов
Набор дополнительных свойств (определения, ссылки)
Нестрогий синоним: Словарь
ЧТО ТАКОЕ ТЕЗАВРУС?
2 . 8 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / со з дание те з аврусов
ТЕЗАУРУСЫ: ОРИЕНТИРЫ
2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
ТЕЗАУРУСЫ: ОРИЕНТИРЫ
2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
1. Что уже есть?
(Примеры: AAT, TGN, ULAN, CONA)
ТЕЗАУРУСЫ: ОРИЕНТИРЫ
2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
1. Что уже есть?
(Примеры: AAT, TGN, ULAN, CONA)
2. Как организованы статьи и их взаимосвязи?
(Синонимы, переводы, иерархии, предпочтительность, мэппинг, определения)
ТЕЗАУРУСЫ: ОРИЕНТИРЫ
2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
1. Что уже есть?
(Примеры: AAT, TGN, ULAN, CONA)
2. Как организованы статьи и их взаимосвязи?
(Синонимы, переводы, иерархии, предпочтительность, мэппинг, определения)
3. Насколько полные?
(Краткие/полные словари)
ТЕЗАУРУСЫ: ОРИЕНТИРЫ
2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
1. Что уже есть?
(Примеры: AAT, TGN, ULAN, CONA)
2. Как организованы статьи и их взаимосвязи?
(Синонимы, переводы, иерархии, предпочтительность, мэппинг, определения)
3. Насколько полные?
(Краткие/полные словари)
4. Как происходит модерация?
(Открытый краудсорс, краудсорс среди специалистов, кураторы)
ТЕЗАУРУСЫ: ОРИЕНТИРЫ
2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
1. Что уже есть?
(Примеры: AAT, TGN, ULAN, CONA)
2. Как организованы статьи и их взаимосвязи?
(Синонимы, переводы, иерархии, предпочтительность, мэппинг, определения)
3. Насколько полные?
(Краткие/полные словари)
4. Как происходит модерация?
(Открытый краудсорс, краудсорс среди специалистов, кураторы)
5. Откуда еще брать термины?
(Несловарные источники: сайты индустрии)
ПРИМЕР СЛОВАРНОЙ СТАТЬИ
словари
Единицы измерений
Материалы
Системы счисления
Типы измерений
Техники
Роли
2 . 8 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / со з дание те з аврусов
ПРИМЕР СЛОВАРНОЙ СТАТЬИ
словари С ловар ь « Р О Л И »
Единицы измерений
Материалы
Системы счисления
Типы измерений
Техники
Роли
Автор
Водитель
Издатель
Композитор
Космонавт
Художник
Футуролог
Этнограф
2 . 8 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / со з дание те з аврусов
ПРИМЕР СЛОВАРНОЙ СТАТЬИ
словари С ловар ь « Р О Л И » стат ь я « х удо ж ник »
Единицы измерений
Материалы
Системы счисления
Типы измерений
Техники
Роли
Автор
Водитель
Издатель
Композитор
Космонавт
Художник
Футуролог
Этнограф
ID: [номер термина]
Иерархия: создатель
		 художник
			 акварелист
			 график
Getty ID: [AAT identification number]
Определение: [текстовое описание]
Мэппинг на другие словари
Типы объектов: картины
			 литографии
Области: изящные искусства
Категории искусства: авангард
					 ренессанс
Синонимы и переводы
painter (English, preferred)
peintre (French)
kunstmaler (German)
			
2 . 8 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / со з дание те з аврусов
ФОРМАЛИЗАЦИЯ МОДЕЛИ
2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
ФОРМАЛИЗАЦИЯ МОДЕЛИ
2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
1. Список типов сущностей
•	 Ключевые сущности: объект, человек, организация, событие, источник
•	 Второстепенные: измерение, премия, заметка (видимые в справочниках и невидимые)
•	 Словари
ФОРМАЛИЗАЦИЯ МОДЕЛИ
2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
1. Список типов сущностей
•	 Ключевые сущности: объект, человек, организация, событие, источник
•	 Второстепенные: измерение, премия, заметка (видимые в справочниках и невидимые)
•	 Словари
2. Верхнеуровневая схема связей ключевых сущностей
ФОРМАЛИЗАЦИЯ МОДЕЛИ
2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
1. Список типов сущностей
•	 Ключевые сущности: объект, человек, организация, событие, источник
•	 Второстепенные: измерение, премия, заметка (видимые в справочниках и невидимые)
•	 Словари
2. Верхнеуровневая схема для ключевых сущностей
3. Таблицы
•	 Три отдельные для: ключевых сущностей, второстепенных, словарей
•	 Вкладка = сущность / словарь
•	 Столбцы сущностей: свойство / тип данных (boolean, string, entity name, vocabulary name, date, url) / тип
сущности (entity, voсabulary, data)
•	 Столбцы словарей: термин / родительский термин / мэппинг на другие словари
ФОРМАЛИЗАЦИЯ МОДЕЛИ
2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
1. Список типов сущностей
•	 Ключевые сущности: объект, человек, организация, событие, источник
•	 Второстепенные: измерение, премия, заметка (видимые в справочниках и невидимые)
•	 Словари
2. Верхнеуровневая схема для ключевых сущностей
3. Таблицы
•	 Три отдельные для: ключевых сущностей, второстепенных, словарей
•	 Вкладка = сущность / словарь
•	 Столбцы сущностей: свойство / тип данных (boolean, string, entity name, vocabulary name, date, url) / тип
сущности (entity, voсabulary, data)
•	 Столбцы словарей: термин / родительский термин / мэппинг на другие словари
4. ER (или другие) диаграммы
3.
СТРУКТУРА ДАННЫХ
И ПРОДУКТ
ВЛИЯНИЕ НА 3 УРОВНЯХ
3 . С труктура данны х и п родукт
ВЛИЯНИЕ НА 3 УРОВНЯХ
А. Разработка
(удобное проектирование баз данных, бэкенда, логики фронтенда, масштабируемость)
3 . С труктура данны х и п родукт
A. РАЗРАБОТКА
3 С труктура данны х и п родукт / вли я ние на тре х уровн я х
1. Базы данных
Качественно описанные сущности легко кластеризовать по типам, характеризующимся одним
набором свойств и связей
= > оптимизация количества и структуры таблиц сущностей и таблиц-связей в базе
A. РАЗРАБОТКА
3 С труктура данны х и п родукт / вли я ние на тре х уровн я х
1. Базы данных
Качественно описанные сущности легко кластеризовать по типам, характеризующимся одним
набором свойств и связей
= > оптимизация количества и структуры таблиц сущностей и таблиц-связей в базе
2. Бекэнд и фронтэнд
Наглядная логика связей между сущностями, логика поведения отдельных их свойств становится
более явной
=> унификация кода и алгоритмов
A. РАЗРАБОТКА
3 С труктура данны х и п родукт / вли я ние на тре х уровн я х
1. Базы данных
Качественно описанные сущности легко кластеризовать по типам, характеризующимся одним
набором свойств и связей
= > оптимизация количества и структуры таблиц сущностей и таблиц-связей в базе
2. Бекэнд и фронтэнд
Наглядная логика связей между сущностями, логика поведения отдельных их свойств становится
более явной
=> унификация кода и алгоритмов
3. Масштабируемость
Наглядно описанная область дает возможность, во-первых, приоритизировать внедрение тех
или иных сущностей, во-вторых, легко добавлять новые сущности, используя уже реализованные
типовые шаблоны
ВЛИЯНИЕ НА 3 УРОВНЯХ
А. Разработка
(удобное проектирование баз данных, бэкенда, логики фронтенда, масштабируемость)
B. Графический дизайн
(UI-kit и масштабируемость)
3 . С труктура данны х и п родукт
1. Стилистическая логика страниц
•	 Стилистическая унификация страниц одного типа сущностей: «выставка» и «концерт» будут
выглядеть похоже, так как оба — «событие»;
•	 Стилистическая унификация страниц, выполняющих одну функцию: редактирование, создание,
просмотр;
•	 Стилистические различия страниц разных типов сущностей: страницы типа «объект», отличные от
страниц типа «событие».
B. ГРАФИЧЕСКИЙ ДИЗАЙН
3 С труктура данны х и п родукт / вли я ние на тре х уровн я х
1. Стилистическая логика страниц
•	 Стилистическая унификация страниц одного типа сущностей: «выставка» и «концерт» будут
выглядеть похоже, так как оба — «событие»;
•	 Стилистическая унификация страниц, выполняющих одну функцию: редактирование, создание,
просмотр;
•	 Стилистические различия страниц разных типов сущностей: страницы типа «объект», отличные от
страниц типа «событие».
2. Модульность
Четко описанные сущности позволяют создать сиситему шаблонов их отображения с возможностью
их использования в разных контекстах: страница, виджет в контексте другой старницы, модальности.
B. ГРАФИЧЕСКИЙ ДИЗАЙН
3 С труктура данны х и п родукт / вли я ние на тре х уровн я х
1. Стилистическая логика страниц
•	 Стилистическая унификация страниц одного типа сущностей: «выставка» и «концерт» будут
выглядеть похоже, так как оба — «событие»;
•	 Стилистическая унификация страниц, выполняющих одну функцию: редактирование, создание,
просмотр;
•	 Стилистические различия страниц разных типов сущностей: страницы типа «объект», отличные от
страниц типа «событие».
2. Модульность
Четко описанные сущности позволяют создать сиситему шаблонов их отображения с возможностью
их использования в разных контекстах: страница, виджет в контексте другой старницы, модальности.
3. Унификация UI элементов
Подробно продуманные свойства, для которых понятен тип данных, количество значений, влияние на
значения других свойств, позволяют сгруппировать их по аналогии и использовать в каждом случае
один тип UI элементов.
B. ГРАФИЧЕСКИЙ ДИЗАЙН
3 С труктура данны х и п родукт / вли я ние на тре х уровн я х
ВЛИЯНИЕ НА 3 УРОВНЯХ
А. Разработка
(удобное проектирование баз данных, бэкенда, логики фронтенда, масштабируемость)
B. Графический дизайн
(UI-kit и масштабируемость)
C. UX и продакт дизайн
(понятные интерфейсы, чистые пользовательские данные, умные рекомендательные системы, machine learning)
3 . С труктура данны х и п родукт
Умные поисковые интерфейсы
(автокомплиты, полнотекстовый поиск, фильтрация и сортировка по полям)
Удобство и эффективность контроля качества
(автоматическое распознавание отклоняющихся значений, валидация бизнес-правил)
Обучение алгоритмов получения данных
(автоматическое распознавание нужных текстов, их скрейпинг и парсинг в структурированные поля)
Обучение алгоритмов кластеризации
(поиск по изображению, рекомендации похожих объектов)
Рассчет динамики цен
(рассчет ценовых индексов, вычисление ценовых коридоров)
C. UX И ПРОДАКТ ДИЗАЙН
3 . С труктура данны х и п родукт / вли я ние на тре х уровн я х
как ис п ол ь з уютс я данные ?
А. Умный поиск
3 . С труктура данны х и п родукт / вли я ние на 3 уровн я х / U X и п Р О Д А К Т ди з а й н
The British Museum: структура данных
А. Умный поиск
3 . С труктура данны х и п родукт / вли я ние на 3 уровн я х / U X и п Р О Д А К Т ди з а й н
The British Museum: структура данных =>
•	 полнотекстовый поиск
•	 фильтрация и сортировка по полям
•	 автокомплит
А. Умный поиск
3 . С труктура данны х и п родукт / вли я ние на 3 уровн я х / U X и п Р О Д А К Т ди з а й н
McMaster-Carr: структура данных =>
•	 фильтрация и сортировка по полям
А. Умный поиск
3 . С труктура данны х и п родукт / вли я ние на 3 уровн я х / U X и п Р О Д А К Т ди з а й н
Carto Builder: структура данных =>
•	 фильтрация и отображение
В. Контроль качества
3 . С труктура данны х и п родукт / вли я ние на 3 уровн я х / U X и п Р О Д А К Т ди з а й н
Collectrium, примеры из стока: структура данных =>
•	 автоматическое распознавание отклоняющихся значений
•	 контроль вводимых данных
•	 валидация бизнес-правил
С. Алгоритмы скрейпинга
3 . С труктура данны х и п родукт / вли я ние на 3 уровн я х / U X и п Р О Д А К Т ди з а й н
Channelkit, Clara: структура данных =>
•	 автоматическое распознавание нужных текстов
•	 их скрейпинг и парсинг в структурированные поля
D. Алгоритмы кластеризации
3 . С труктура данны х и п родукт / вли я ние на 3 уровн я х / U X и п Р О Д А К Т ди з а й н
Amazon, Google image search: структура данных =>
•	 рекомендации похожих или комплиментарных объектов
•	 поиск по изображению
D. Предсказание цен
3 . С труктура данны х и п родукт / вли я ние на 3 уровн я х / U X и п Р О Д А К Т ди з а й н
Artprice, Airhint: структура данных =>
•	 рассчет ценовых индексов
•	 вычисление ценовых коридоров
СТРУКТУРА ДАННЫХ
1. Дизайн и разработка осознаннее
2. Базовый функционал удобнее
3. Пользовательские данные чище
4. Масштабируемость
5. «Магия»: ML надстройки (предсказания, рекомендации)
=>
3 . С труктура данны х и п родукт
СПАСИБО
W I A D 2 0 1 7
1 8 Ф Е В Р А Л Я
ССЫЛКИ
1. LS / WIAD 2017
(ссылки на источники, упомянутые в презентации и релевантные статьи)
2. IA Miscellaneous
(подборка разной информации про информационную архитектуру: книги, статьи, люди, события)
3. LS / Notes
(подборка моих около информационно-архитектурных заметок)
ЛАРА СИМОНОВА
Проекты
•	 Patrn (таск-менеджер для анимационной студии)
•	 Campus (образовательный проект рамках «Мастерской» Димы Барбанеля при поддержке Яндекс)
•	 Textr (текстовый конструктор для издательства)
•	 Почта России (подписное агентство, почта id, портал, электронные заказные письма)
•	 Channelkit (инструмент для организации знаний)
•	 Collectrium, the Christie’s Company (отдел анализа данных аукционного дома)
Контакты
•	 Facebook: Lara Simonova
•	 Upwork / Behance / Linkedin
•	 E-mail: lara@channelkit.com

Contenu connexe

En vedette

47 игровых механик - технологии геймификации (часть 1)
47 игровых механик - технологии геймификации (часть 1)47 игровых механик - технологии геймификации (часть 1)
47 игровых механик - технологии геймификации (часть 1)Dmitriy Ozhigin
 
John f kennedy powerpoint for macintosh
John f kennedy powerpoint for macintoshJohn f kennedy powerpoint for macintosh
John f kennedy powerpoint for macintoshGUNGUY123
 
On line intermediation and antitrust economics
On line intermediation and antitrust economics On line intermediation and antitrust economics
On line intermediation and antitrust economics Lear
 
Across platforms parity agreements
Across platforms parity agreements Across platforms parity agreements
Across platforms parity agreements Lear
 
C. conjugando el idiomacon las tic
C. conjugando el idiomacon las ticC. conjugando el idiomacon las tic
C. conjugando el idiomacon las ticaydacortes
 
My family tree
My family treeMy family tree
My family treeMarcos_L
 
4. presentacion(flor del carmen tenorio)
4. presentacion(flor del carmen tenorio)4. presentacion(flor del carmen tenorio)
4. presentacion(flor del carmen tenorio)aydacortes
 
E formation pour adultes
E formation pour adultesE formation pour adultes
E formation pour adultesRemi Daneyrole
 
10.30AM-Hayden - Research Presentation Update
10.30AM-Hayden - Research Presentation Update10.30AM-Hayden - Research Presentation Update
10.30AM-Hayden - Research Presentation UpdateHayden Isaacs
 
obzor-tiekhnologhii-kontieinierov
obzor-tiekhnologhii-kontieinierovobzor-tiekhnologhii-kontieinierov
obzor-tiekhnologhii-kontieinierovSergey Maximov
 
Arcturos Project - AdVision
Arcturos Project - AdVisionArcturos Project - AdVision
Arcturos Project - AdVisionathina_gk
 
pendock_et al frascati
pendock_et al frascatipendock_et al frascati
pendock_et al frascatiAndy Lloyd
 
Предложение по шоколаду 23 февраля
Предложение по шоколаду 23 февраляПредложение по шоколаду 23 февраля
Предложение по шоколаду 23 февраляAleksey Gladchenko
 

En vedette (15)

47 игровых механик - технологии геймификации (часть 1)
47 игровых механик - технологии геймификации (часть 1)47 игровых механик - технологии геймификации (часть 1)
47 игровых механик - технологии геймификации (часть 1)
 
John f kennedy powerpoint for macintosh
John f kennedy powerpoint for macintoshJohn f kennedy powerpoint for macintosh
John f kennedy powerpoint for macintosh
 
Infantil
InfantilInfantil
Infantil
 
On line intermediation and antitrust economics
On line intermediation and antitrust economics On line intermediation and antitrust economics
On line intermediation and antitrust economics
 
Médiakit
MédiakitMédiakit
Médiakit
 
Across platforms parity agreements
Across platforms parity agreements Across platforms parity agreements
Across platforms parity agreements
 
C. conjugando el idiomacon las tic
C. conjugando el idiomacon las ticC. conjugando el idiomacon las tic
C. conjugando el idiomacon las tic
 
My family tree
My family treeMy family tree
My family tree
 
4. presentacion(flor del carmen tenorio)
4. presentacion(flor del carmen tenorio)4. presentacion(flor del carmen tenorio)
4. presentacion(flor del carmen tenorio)
 
E formation pour adultes
E formation pour adultesE formation pour adultes
E formation pour adultes
 
10.30AM-Hayden - Research Presentation Update
10.30AM-Hayden - Research Presentation Update10.30AM-Hayden - Research Presentation Update
10.30AM-Hayden - Research Presentation Update
 
obzor-tiekhnologhii-kontieinierov
obzor-tiekhnologhii-kontieinierovobzor-tiekhnologhii-kontieinierov
obzor-tiekhnologhii-kontieinierov
 
Arcturos Project - AdVision
Arcturos Project - AdVisionArcturos Project - AdVision
Arcturos Project - AdVision
 
pendock_et al frascati
pendock_et al frascatipendock_et al frascati
pendock_et al frascati
 
Предложение по шоколаду 23 февраля
Предложение по шоколаду 23 февраляПредложение по шоколаду 23 февраля
Предложение по шоколаду 23 февраля
 

Similaire à Низкомолекулярное проектирование: структурированные данные и UX

5 alina petrenko - key requirements elicitation during the first contact wi...
5   alina petrenko - key requirements elicitation during the first contact wi...5   alina petrenko - key requirements elicitation during the first contact wi...
5 alina petrenko - key requirements elicitation during the first contact wi...Ievgenii Katsan
 
Human Centered Design
Human Centered DesignHuman Centered Design
Human Centered Designguvarov
 
Проектирование интерфейсов
Проектирование интерфейсовПроектирование интерфейсов
Проектирование интерфейсовVladimir Zimin
 
Сбор и анализ данных для моделирования деятельности организации
Сбор и анализ данных для моделирования деятельности организацииСбор и анализ данных для моделирования деятельности организации
Сбор и анализ данных для моделирования деятельности организацииOlya Kollen, PhD
 
Проводник по джунглям user experience
Проводник по джунглям user experienceПроводник по джунглям user experience
Проводник по джунглям user experiencetabtabus
 
DUMP-2013 Управление разработкой - Как дорасти до аналитика? - Желнова Наталья
DUMP-2013 Управление разработкой - Как дорасти до аналитика? - Желнова НатальяDUMP-2013 Управление разработкой - Как дорасти до аналитика? - Желнова Наталья
DUMP-2013 Управление разработкой - Как дорасти до аналитика? - Желнова Натальяit-people
 
Проектирование и UX
Проектирование и UXПроектирование и UX
Проектирование и UXUplab_University
 
зао «эвентос»
зао «эвентос»зао «эвентос»
зао «эвентос»ontosminerapi
 
SPb BA & SA Night. Learning a New Business Domain [1.01, RUS]
SPb BA & SA Night. Learning a New Business Domain [1.01, RUS]SPb BA & SA Night. Learning a New Business Domain [1.01, RUS]
SPb BA & SA Night. Learning a New Business Domain [1.01, RUS]Alex V. Petrov
 
Всё юзабилити за час
Всё юзабилити за часВсё юзабилити за час
Всё юзабилити за часDigital Guru Club
 
Инженерный дизайн: как делать умные и красивые продукты
Инженерный дизайн: как делать умные и красивые продуктыИнженерный дизайн: как делать умные и красивые продукты
Инженерный дизайн: как делать умные и красивые продуктыAlexey Borodkin
 
Ideal analyst code (Software Engineering)
Ideal analyst code (Software Engineering)Ideal analyst code (Software Engineering)
Ideal analyst code (Software Engineering)Dmitry Bezuglyy
 
Работа с требованиями в Agile
Работа с требованиями в AgileРабота с требованиями в Agile
Работа с требованиями в AgileISsoft
 
Идеальный аналитик и почему его не может быть
Идеальный аналитик и почему его не может бытьИдеальный аналитик и почему его не может быть
Идеальный аналитик и почему его не может бытьSQALab
 
Проектирование интерфейсов: Процесс+Команда=Продукт (2015)
Проектирование интерфейсов: Процесс+Команда=Продукт (2015)Проектирование интерфейсов: Процесс+Команда=Продукт (2015)
Проектирование интерфейсов: Процесс+Команда=Продукт (2015)Yaroslav Perevalov
 
“Спецификация формы и поведения”. Саша Куценко, Aidem. (29.01.2014)
“Спецификация формы и поведения”. Саша Куценко, Aidem. (29.01.2014)“Спецификация формы и поведения”. Саша Куценко, Aidem. (29.01.2014)
“Спецификация формы и поведения”. Саша Куценко, Aidem. (29.01.2014)SPECIA
 
"Написание спецификации формы и поведения: зачем, кому и как." Саша Куценко ...
 "Написание спецификации формы и поведения: зачем, кому и как." Саша Куценко ... "Написание спецификации формы и поведения: зачем, кому и как." Саша Куценко ...
"Написание спецификации формы и поведения: зачем, кому и как." Саша Куценко ...Lead Zeppelin
 

Similaire à Низкомолекулярное проектирование: структурированные данные и UX (20)

курс дизайн проектирования, цифрового продакт девелопмента
курс дизайн проектирования, цифрового продакт девелопмента курс дизайн проектирования, цифрового продакт девелопмента
курс дизайн проектирования, цифрового продакт девелопмента
 
5 alina petrenko - key requirements elicitation during the first contact wi...
5   alina petrenko - key requirements elicitation during the first contact wi...5   alina petrenko - key requirements elicitation during the first contact wi...
5 alina petrenko - key requirements elicitation during the first contact wi...
 
Human Centered Design
Human Centered DesignHuman Centered Design
Human Centered Design
 
Обучение дизайну продуктов на базе ценностей Customer Experience
Обучение дизайну продуктов  на базе ценностей  Customer Experience Обучение дизайну продуктов  на базе ценностей  Customer Experience
Обучение дизайну продуктов на базе ценностей Customer Experience
 
Проектирование интерфейсов
Проектирование интерфейсовПроектирование интерфейсов
Проектирование интерфейсов
 
Сбор и анализ данных для моделирования деятельности организации
Сбор и анализ данных для моделирования деятельности организацииСбор и анализ данных для моделирования деятельности организации
Сбор и анализ данных для моделирования деятельности организации
 
Проводник по джунглям user experience
Проводник по джунглям user experienceПроводник по джунглям user experience
Проводник по джунглям user experience
 
Dump nzh 01
Dump nzh 01Dump nzh 01
Dump nzh 01
 
DUMP-2013 Управление разработкой - Как дорасти до аналитика? - Желнова Наталья
DUMP-2013 Управление разработкой - Как дорасти до аналитика? - Желнова НатальяDUMP-2013 Управление разработкой - Как дорасти до аналитика? - Желнова Наталья
DUMP-2013 Управление разработкой - Как дорасти до аналитика? - Желнова Наталья
 
Проектирование и UX
Проектирование и UXПроектирование и UX
Проектирование и UX
 
зао «эвентос»
зао «эвентос»зао «эвентос»
зао «эвентос»
 
SPb BA & SA Night. Learning a New Business Domain [1.01, RUS]
SPb BA & SA Night. Learning a New Business Domain [1.01, RUS]SPb BA & SA Night. Learning a New Business Domain [1.01, RUS]
SPb BA & SA Night. Learning a New Business Domain [1.01, RUS]
 
Всё юзабилити за час
Всё юзабилити за часВсё юзабилити за час
Всё юзабилити за час
 
Инженерный дизайн: как делать умные и красивые продукты
Инженерный дизайн: как делать умные и красивые продуктыИнженерный дизайн: как делать умные и красивые продукты
Инженерный дизайн: как делать умные и красивые продукты
 
Ideal analyst code (Software Engineering)
Ideal analyst code (Software Engineering)Ideal analyst code (Software Engineering)
Ideal analyst code (Software Engineering)
 
Работа с требованиями в Agile
Работа с требованиями в AgileРабота с требованиями в Agile
Работа с требованиями в Agile
 
Идеальный аналитик и почему его не может быть
Идеальный аналитик и почему его не может бытьИдеальный аналитик и почему его не может быть
Идеальный аналитик и почему его не может быть
 
Проектирование интерфейсов: Процесс+Команда=Продукт (2015)
Проектирование интерфейсов: Процесс+Команда=Продукт (2015)Проектирование интерфейсов: Процесс+Команда=Продукт (2015)
Проектирование интерфейсов: Процесс+Команда=Продукт (2015)
 
“Спецификация формы и поведения”. Саша Куценко, Aidem. (29.01.2014)
“Спецификация формы и поведения”. Саша Куценко, Aidem. (29.01.2014)“Спецификация формы и поведения”. Саша Куценко, Aidem. (29.01.2014)
“Спецификация формы и поведения”. Саша Куценко, Aidem. (29.01.2014)
 
"Написание спецификации формы и поведения: зачем, кому и как." Саша Куценко ...
 "Написание спецификации формы и поведения: зачем, кому и как." Саша Куценко ... "Написание спецификации формы и поведения: зачем, кому и как." Саша Куценко ...
"Написание спецификации формы и поведения: зачем, кому и как." Саша Куценко ...
 

Низкомолекулярное проектирование: структурированные данные и UX

  • 1. НИЗКОМОЛЕКУЛЯРНОЕ ПРОЕКТИРОВАНИЕ W I A D 2 0 1 7 1 8 Ф Е В Р А Л Я С Т Р У К Т У Р И Р О В А Н Н Ы Е Д А Н Н Ы Е И U X Л А Р А С И М О Н О В А
  • 2. 1. Информационная архитектура • Общее определение и области применения • Основная область применения ИА — разработка цифровых продуктов • Взаимоотношения ИА и остальных процессов разработки продкутов • ИА и структурированные данные 2. Подход к структурированию данных • Исследование предметной области • Выделение основных ее сущностей • Моделирование содержания • Выбор схемы данных • Структурирование и наполнение словарей 3. Структура данных и ее влияние на продукт • Разработка: удобное проектирование баз данных, бэкенда, логики фронтенда • Дизайн: UI-kit и масштабируемость • UX: понятные интерфейсы, чистые данные, умные рекомендательные системы, machine learning ПЛАН
  • 4. ОПРЕДЕЛЕНИЕ Информационня архитектура — совокупность практик, обеспечивающих: • Сбор и анализ информации; • Ее структурирование, описание внутренних связей; • Разработка форматов ее хранения; • И способов передачи для дальнейего использования в разных контекстах 1 . И н ф орма ц ионна я ар х итектура
  • 5. КОНТЕКСТЫ ПРИМЕНЕНИЯ 1 . И н ф орма ц ионна я ар х итектура d i g i ta l a n a L o g
  • 6. КОНТЕКСТЫ ПРИМЕНЕНИЯ 1 . И н ф орма ц ионна я ар х итектура d i g i ta l a n a L o g Инструменты и сервисы • Логика фронт-энда и бэк-энда • Пользовательские сценарии • Контент-стратегии
  • 7. КОНТЕКСТЫ ПРИМЕНЕНИЯ 1 . И н ф орма ц ионна я ар х итектура d i g i ta l a n a L o g Инструменты и сервисы • Логика фронт-энда и бэк-энда • Пользовательские сценарии • Контент-стратегии Базы данных • Структура сущностей в справочниках • Структура содержания словарных статей • Правила наполнения справочников и словарей
  • 8. КОНТЕКСТЫ ПРИМЕНЕНИЯ 1 . И н ф орма ц ионна я ар х итектура d i g i ta l a n a L o g Инструменты и сервисы • Логика фронт-энда и бэк-энда • Пользовательские сценарии • Контент-стратегии Процессы • Бизнес-аналитика • Методологии обучения • Методологии управления Базы данных • Структура сущностей в справочниках • Структура содержания словарных статей • Правила наполнения справочников и словарей
  • 9. КОНТЕКСТЫ ПРИМЕНЕНИЯ 1 . И н ф орма ц ионна я ар х итектура d i g i ta l a n a L o g Инструменты и сервисы • Логика фронт-энда и бэк-энда • Пользовательские сценарии • Контент-стратегии Процессы • Бизнес-аналитика • Методологии обучения • Методологии управления Базы данных • Структура сущностей в справочниках • Структура содержания словарных статей • Правила наполнения справочников и словарей Физические объекты • Библиотеки • Счета • Инструменты на верстаке
  • 10. КОНТЕКСТЫ ПРИМЕНЕНИЯ 1 . И н ф орма ц ионна я ар х итектура d i g i ta l ди з а й н ц и ф ровы х п родуктов a n a L o g Инструменты и сервисы • Логика фронт-энда и бэк-энда • Пользовательские сценарии • Контент-стратегии Процессы • Бизнес-аналитика • Методологии обучения • Методологии управления Базы данных • Структура сущностей в справочниках • Структура содержания словарных статей • Правила наполнения справочников и словарей Физические объекты • Библиотеки • Счета • Инструменты на верстаке
  • 11. ПРОДАКТ-ДИЗАЙН 1 . И н ф орма ц ионна я ар х итектура су б страт = о б ласт ь • Основные понятия • Их взаимосвязи • Терминология
  • 12. ПРОДАКТ-ДИЗАЙН 1 . И н ф орма ц ионна я ар х итектура су б страт = о б ласт ь п ол ь з ователи • Основные понятия • Их взаимосвязи • Терминология • Спектр возможных взаимодействий с элементами области • Базовые привычки и сценарии
  • 13. ПРОДАКТ-ДИЗАЙН 1 . И н ф орма ц ионна я ар х итектура су б страт = о б ласт ь п ол ь з ователи И нструменты • Основные понятия • Их взаимосвязи • Терминология • Спектр возможных взаимодействий с элементами области • Базовые привычки и сценарии • Облегчение взаимодействий • Расширение возможностей пользователя
  • 14. ПРОДАКТ-ДИЗАЙН 1 . И н ф орма ц ионна я ар х итектура су б страт = о б ласт ь п ол ь з ователи И нструменты • Основные понятия • Их взаимосвязи • Терминология • Спектр возможных взаимодействий с элементами области • Базовые привычки и сценарии • Облегчение взаимодействий • Расширение возможностей пользователя =>новы й п родукт
  • 15. ПРОДАКТ-ДИЗАЙН 1 . И н ф орма ц ионна я ар х итектура су б страт = о б ласт ь п ол ь з ователи И нструменты Исследования и анализ • Основные понятия • Их взаимосвязи • Терминология • Спектр возможных взаимодействий с элементами области • Базовые привычки и сценарии • Облегчение взаимодействий • Расширение возможностей пользователя IA PM IA PM
  • 16. ПРОДАКТ-ДИЗАЙН 1 . И н ф орма ц ионна я ар х итектура су б страт = о б ласт ь п ол ь з ователи И нструменты п родуктова я С Т Р АТ Е Г И Я п ол ь з овател ь ска я логика п одро б на я ра б ота с данными ф ормал ь на я логика Исследования и анализ • Основные понятия • Их взаимосвязи • Терминология • Спектр возможных взаимодействий с элементами области • Базовые привычки и сценарии • Облегчение взаимодействий • Расширение возможностей пользователя IA PM IA PM
  • 17. ПРОДАКТ-ДИЗАЙН и ИА 1 . И н ф орма ц ионна я ар х итектура Исследования и анализ • Опросы • Брифы
  • 18. ПРОДАКТ-ДИЗАЙН и ИА 1 . И н ф орма ц ионна я ар х итектура Исследования и анализ Оптимизация и формализация • Опросы • Брифы • Схемы • Таблицы • Майндмэпы • Спецификации • Вайрфреймы
  • 19. ПРОДАКТ-ДИЗАЙН и ИА 1 . И н ф орма ц ионна я ар х итектура Исследования и анализ Оптимизация и формализация Имплементация • Опросы • Брифы • Поддержка дизайна • Поддержка разработки • Схемы • Таблицы • Майндмэпы • Спецификации • Вайрфреймы
  • 20. ПРОДАКТ-ДИЗАЙН и ИА 1 . И н ф орма ц ионна я ар х итектура Исследования и анализ Оптимизация и формализация Имплементация Тестирование • Опросы • Брифы • Поддержка дизайна • Поддержка разработки • Схемы • Таблицы • Майндмэпы • Спецификации • Вайрфреймы
  • 21. ПРОДАКТ-ДИЗАЙН и ИА 1 . И н ф орма ц ионна я ар х итектура Исследования и анализ Оптимизация и формализация Имплементация Тестирование • Опросы • Брифы • Поддержка дизайна • Поддержка разработки • Схемы • Таблицы • Майндмэпы • Спецификации • Вайрфреймы
  • 22. ПРОДАКТ-ДИЗАЙН и ИА 1 . И н ф орма ц ионна я ар х итектура Исследования и анализ Оптимизация и формализация Имплементация Тестирование • Опросы • Брифы • Поддержка дизайна • Поддержка разработки • Схемы • Таблицы • Майндмэпы • Спецификации • Вайрфреймы структурирование данны х
  • 24. КОНТЕКСТ Два типа задач про стурктурирование у ИА: 2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
  • 25. КОНТЕКСТ Два типа задач про стурктурирование у ИА: 1. Формализация логики предметной области • С какими сущностями мы работаем? • Как они связаны? • Какие их свойства релевантны? • Какие термины используются для описания свойств? 2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
  • 26. КОНТЕКСТ Два типа задач про стурктурирование у ИА: 1. Формализация логики предметной области • С какими сущностями мы работаем? • Как они связаны? • Какие их свойства релевантны? • Какие термины используются для описания свойств? 2. Структурирование информации полученной информации под ее «потребителя» • Кому мы хотим передать информацию? Разработчик, дизайнер, пользователь • Под какие задачи? • В каком виде она будет наиболее понятна? Вайрфреймы, схемы, таблицы, текст 2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
  • 27. КОНТЕКСТ Два типа задач про стурктурирование у ИА: 1. Формализация логики предметной области • С какими сущностями мы работаем? • Как они связаны? • Какие их свойства релевантны? • Какие термины используются для описания свойств? 2. Структурирование информации полученной информации под ее «потребителя» • Кому мы хотим передать информацию? Разработчик, дизайнер, пользователь • Под какие задачи? • В каком виде она будет наиболее понятна? Вайрфреймы, схемы, таблицы, текст 2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х И А П Р О И З В О Д С Т В Е Н Н Ы Х П Р О Ц Е С С О В ( С П Е Ц И Ф И К А Ц И И )
  • 28. ПРЕДМЕТНАЯ ОБЛАСТЬ Вдумчивое ее моделирование позволяет повысить эффективность создания продукта и принимать взвешенные решения на разных уровнях 2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
  • 29. ПРЕДМЕТНАЯ ОБЛАСТЬ Вдумчивое ее моделирование позволяет повысить эффективность создания продукта и принимать взвешенные решения на разных уровнях 1. Бизнес: процессы, логистика, финансы 2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
  • 30. ПРЕДМЕТНАЯ ОБЛАСТЬ Вдумчивое ее моделирование позволяет повысить эффективность создания продукта и принимать взвешенные решения на разных уровнях 1. Бизнес: процессы, логистика, финансы 2. Разработка: базы данных, фронтэнд, бекэнд 2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
  • 31. ПРЕДМЕТНАЯ ОБЛАСТЬ Вдумчивое ее моделирование позволяет повысить эффективность создания продукта и принимать взвешенные решения на разных уровнях 1. Бизнес: процессы, логистика, финансы 2. Разработка: базы данных, фронтэнд, бекэнд 3. Графический дизайн: UI-кит 2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
  • 32. ПРЕДМЕТНАЯ ОБЛАСТЬ Вдумчивое ее моделирование позволяет повысить эффективность создания продукта и принимать взвешенные решения на разных уровнях 1. Бизнес: процессы, логистика, финансы 2. Разработка: базы данных, фронтэнд, бекэнд 3. Графический дизайн: UI-кит 4. UX и продакт дизайн: сценарии, ML, масштабирование 2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
  • 33. ПРЕДМЕТНАЯ ОБЛАСТЬ 2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х Сущности / Concepts Свойства / Properties Агенты / Agents Термины / Terms Связи / Realtionships в з аимоде й стви я
  • 34. ПРЕДМЕТНАЯ ОБЛАСТЬ 2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х Сущности / Concepts Свойства / Properties Агенты / Agents Термины / Terms Связи / Realtionships в з аимоде й стви я М одел ь данны х
  • 35. Модель данных это совокупность терминов и принципов, описывающих определенную предметную область ОБЩЕЕ ОПРЕДЕЛЕНИЕ 2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
  • 36. МОДЕЛИРОВАНИЕ ДАННЫХ 2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х Чтобы построить любую модель, нужно определить границы вселенной, которую она должна описывать, и сформулировать задачи и области где информация, входящая в ее состав будет использоваться
  • 37. Изучение области 1 МОДЕЛИРОВАНИЕ ДАННЫХ 2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
  • 38. Определить источники, которые содержат информацию об области, ее сущностях, процессах, агентах 1. Базы данных 2. Сайты организаций / людей 3. Инструменты 4. Существующие модели ИСТОЧНИКИ 2 . 1 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / и з у ч ение о б ласти
  • 39. Изучение области 1 Моделирование области ключевые сущности и их взаимосвязи 2 МОДЕЛИРОВАНИЕ ДАННЫХ 2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
  • 40. Вселенная может состоять, например, из отобранных согласно определенному набору принципов ОБЪЕКТОВ ВСЕЛЕННАЯ 2 . 2 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование о б ласти
  • 41. И набора Вселенная может состоять, например, из отобранных согласно определенному набору принципов ОБЪЕКТОВ СВЯЗАННЫХ СУЩНОСТЕЙ ВСЕЛЕННАЯ 2 . 2 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование о б ласти
  • 42. ЛЮДИ создатели, владельцы, пользователи И набора Вселенная может состоять, например из отобранных согласно определенному набору принципов ОБЪЕКТОВ СВЯЗАННЫХ СУЩНОСТЕЙ ВСЕЛЕННАЯ 2 . 2 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование о б ласти
  • 43. ОРГАНИЗАЦИИ музеи, склады, бренды, контрагенты ЛЮДИ создатели, владельцы, пользователи И набора Вселенная может состоять, например из отобранных согласно определенному набору принципов ОБЪЕКТОВ СВЯЗАННЫХ СУЩНОСТЕЙ ВСЕЛЕННАЯ 2 . 2 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование о б ласти
  • 44. СОБЫТИЯ продажи, выставки, концерты, исследования ОРГАНИЗАЦИИ музеи, склады, бренды, контрагенты ЛЮДИ создатели, владельцы, пользователи И набора Вселенная может состоять, например из отобранных согласно определенному набору принципов ОБЪЕКТОВ СВЯЗАННЫХ СУЩНОСТЕЙ ВСЕЛЕННАЯ 2 . 2 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование о б ласти
  • 45. места точки продаж, места рождения, событий СОБЫТИЯ продажи, выставки, концерты, исследования ОРГАНИЗАЦИИ музеи, склады, бренды, контрагенты ЛЮДИ создатели, владельцы, пользователи И набора Вселенная может состоять, например из отобранных согласно определенному набору принципов ОБЪЕКТОВ СВЯЗАННЫХ СУЩНОСТЕЙ ВСЕЛЕННАЯ 2 . 2 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование о б ласти
  • 46. источники книги, статьи, сайты места точки продаж, места рождения, событий СОБЫТИЯ продажи, выставки, концерты, исследования ОРГАНИЗАЦИИ музеи, склады, бренды, контрагенты ЛЮДИ создатели, владельцы, пользователи И набора СВЯЗАННЫХ СУЩНОСТЕЙ Вселенная может состоять, например из отобранных согласно определенному набору принципов ОБЪЕКТОВ ВСЕЛЕННАЯ 2 . 2 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование о б ласти
  • 47. Доработка: ВСЕЛЕННАЯ 2 . 2 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование о б ласти
  • 48. Доработка: 1. Вынесение наиболее значимых концептов в отдельные сущности и их более подробное описание ВСЕЛЕННАЯ 2 . 2 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование о б ласти
  • 49. Доработка: 1. Вынесение наиболее значимых концептов в отдельные сущности и их более подробное описание Аукционная продажа Событие Остальные события выставки, исследования, реставрации ВСЕЛЕННАЯ 2 . 2 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование о б ласти
  • 50. Доработка: 1. Вынесение наиболее значимых концептов в отдельные сущности и их более подробное описание 2. Разделение сущности на несколько отдельных Аукционная продажа Событие Остальные события выставки, исследования, реставрации ВСЕЛЕННАЯ 2 . 2 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование о б ласти
  • 51. Доработка: 1. Вынесение наиболее значимых концептов в отдельные сущности и их более подробное описание 2. Разделение сущности на несколько отдельных Аукционная продажа Событие Мес Адрес то Адм. единица Остальные события выставки, исследования, реставрации название адрес город, страна, континент координаты тип: город, страна, ... название родительский термин + ВСЕЛЕННАЯ 2 . 2 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование о б ласти
  • 52. Моделирование содержания свойства ключевых сущностей 4 3 Изучение области 1 МОДЕЛИРОВАНИЕ ДАННЫХ 2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х Моделирование области ключевые сущности и их взаимосвязи 2
  • 53. ТРИ ВОПРОСА 2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
  • 54. А. Как используются данные? 2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
  • 55. Умные поисковые интерфейсы (автокомплиты, полнотекстовый поиск, фильтрация и сортировка по полям) А. Как используются данные? 2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
  • 56. Умные поисковые интерфейсы (автокомплиты, полнотекстовый поиск, фильтрация и сортировка по полям) Удобство и эффективность контроля качества (автоматическое распознавание отклоняющихся значений, валидация бизнес-правил) А. Как используются данные? 2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
  • 57. Умные поисковые интерфейсы (автокомплиты, полнотекстовый поиск, фильтрация и сортировка по полям) Удобство и эффективность контроля качества (автоматическое распознавание отклоняющихся значений, валидация бизнес-правил) Тренировка алгоритмов получения данных (автоматическое распознавание нужных текстов, их скрейпинг и парсинг в структурированные поля) А. Как используются данные? 2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
  • 58. Умные поисковые интерфейсы (автокомплиты, полнотекстовый поиск, фильтрация и сортировка по полям) Удобство и эффективность контроля качества (автоматическое распознавание отклоняющихся значений, валидация бизнес-правил) Обучение алгоритмов получения данных (автоматическое распознавание нужных текстов, их скрейпинг и парсинг в структурированные поля) Обучение алгоритмов кластеризации (поиск по изображению, рекомендации похожих объектов) А. Как используются данные? 2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
  • 59. Умные поисковые интерфейсы (автокомплиты, полнотекстовый поиск, фильтрация и сортировка по полям) Удобство и эффективность контроля качества (автоматическое распознавание отклоняющихся значений, валидация бизнес-правил) Обучение алгоритмов получения данных (автоматическое распознавание нужных текстов, их скрейпинг и парсинг в структурированные поля) Обучение алгоритмов кластеризации (поиск по изображению, рекомендации похожих объектов) Расчет динамики цен (расчет ценовых индексов, вычисление ценовых коридоров) А. Как используются данные? 2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
  • 60. B. Какие данные нужны? 2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
  • 61. Определение набора свойств для ключевых сущностей ОБЪЕКТ ИСТОЧНИК СОБЫТИЕ ЧЕЛОВЕК МЕСТО ОРГАНИЗАЦИЯ автор длина тип название валюта имя материал роль куратор статус широта цвет дата адрес цена редактор спонсор ссылка сво й ствасу щ ности B. Какие данные нужны? 2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
  • 62. С. Как данные получают? 2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
  • 63. Скрейпинг с сайтов в индустрии (текстовые описания, обычно слабо структурированные, структура отличается от источника к источнику) С. Как данные получают? 2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
  • 64. Скрейпинг с сайтов в индустрии (текстовые описания, обычно слабо структурированные, структура отличается от источника к источнику) Отцифровка аналоговых источников (неструктурированные текстовые описания, полученные методом оптического распознования, с ошибками) С. Как данные получают? 2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
  • 65. Скрейпинг с сайтов в индустрии (текстовые описания, обычно слабо структурированные, структура отличается от источника к источнику) Отцифровка аналоговых источников (неструктурированные текстовые описания, полученные методом оптического распознования, с ошибками) Подключение к тематическим базам данных (хорошо стркутурированные, общепринятые методы организации и терминология, но небольшие объемы) С. Как данные получают? 2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
  • 66. Скрейпинг с сайтов в индустрии (текстовые описания, обычно слабо структурированные, структура отличается от источника к источнику) Отцифровка аналоговых источников (неструктурированные текстовые описания, полученные методом оптического распознования, с ошибками) Подключение к тематическим базам данных (хорошо стркутурированные, общепринятые методы организации и терминология, но небольшие объемы) Ручной ввод (времязатратно и высокая вероятность ошибок) С. Как данные получают? 2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я
  • 67. 2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я P 1 P 3 P 7 P 6 P 8 P 9 P 2 V 1.1L 1 V 3.1L 3 V 7.1L 7 V 2.2L 2 V 6.1L 6 V 8.4 V 9.1 L 8.2 L 9 V 9.3 V 6.2 V 8.5 V 9.2 сво й ства з на ч ени я P 10 V 10.1L 10 V 10.3V 10.2 ле й б л су щ ност ь
  • 68. ТРИ ВОПРОСА 2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я А. Как данные используются? В. Какие данные нужны? С. Как данные получают? P 1 P 3 P 7 P 6 P 8 P 9 P 2 V 1.1L 1 V 3.1L 3 V 7.1L 7 V 2.2L 2 V 6.1L 6 V 8.4 V 9.1 L 8.2 L 9 V 9.3 V 6.2 V 8.5 V 9.2 сво й ства з на ч ени я P 10 V 10.1L 10 V 10.3V 10.2 ле й б л су щ ност ь
  • 69. ТРИ ВОПРОСА 2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я P 1 P 3 P 7 P 6 P 8 P 9 P 2 V 1.1L 1 V 3.1L 3 V 7.1L 7 V 2.2L 2 V 6.1L 6 V 8.4 V 9.1 L 8.2 L 9 V 9.3 V 6.2 V 8.5 V 9.2 сво й ства з на ч ени я P 10 V 10.1L 10 V 10.3V 10.2 ле й б л су щ ност ь О д р А. Как данные используются? В. Какие данные нужны? С. Как данные получают? от б ор в модел ь релевантны х данны х высокого ка ч ества реалисти ч но й досту п ности =>
  • 70. СЛЕДСТВИЯ 2 . 4 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / моделирование содер ж ани я Отбор в модель релевантных данных высокого качества и реалестичной доступности требует: • Определения релевантных свойств для каждой ключевой сущности; • Скрейпинг и, потенциально, хранения фри-текстовых данных; • Парсинг фри-текстовых данных в структурированные поля нужного уровня подробности; • Имплементации контролируемых словарей терминов, использующихся как значения основных свойств.
  • 71. 6 5 Дизайн схемы данных принципы организации свойств Моделирование содержания свойства ключевых сущностей 4 3 Изучение области 1 МОДЕЛИРОВАНИЕ ДАННЫХ 2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х Моделирование области ключевые сущности и их взаимосвязи 2
  • 72. Полная модель данных состоит из: ЧТО ТАКОЕ СХЕМА ДАННЫХ? 2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
  • 73. Полная модель данных состоит из: Сущностей представляющих основные концепты (Объект, Событие, Место, Человек, ...) ЧТО ТАКОЕ СХЕМА ДАННЫХ? 2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
  • 74. Полная модель данных состоит из: Сущностей представляющих основные концепты (Объект, Событие, Место, Человек, ...) Списка свойств каждой сущности и их структуры (Объект: автор, дата создания, место создания, материал, измерения, ...) (Измерения: тип, значение, единица измерения, система измерения, ...) ЧТО ТАКОЕ СХЕМА ДАННЫХ? 2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
  • 75. Полная модель данных состоит из: Сущностей представляющих основные концепты (Объект, Событие, Место, Человек, ...) Списка свойств каждой сущности и их структуры (Объект: автор, дата создания, место создания, материал, измерения, ...) (Измерения: тип, значение, единица измерения, система измерения, ...) Словарей значений (терминов) для каждого из свойств (Единицы измерения: м, метры, футы, feet, mètre, ...) ЧТО ТАКОЕ СХЕМА ДАННЫХ? 2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
  • 76. Полная модель области состоит из: Сущностей представляющих основные концепты (Объект, Событие, Место, Человек, ...) Списка свойств каждой сущности и их структуры (Объект: автор, дата создания, место создания, материал, измерения, ...) (Измерения: тип, значение, единица измерения, система измерения, ...) Словарей значений (терминов) для каждого из свойств (Единицы измерения: м, метры, футы, feet, mètre, ...) Взаимосвязей сущностей, свойств и значений (онтологии, сущность-атрибут-значение EAV, etc) ЧТО ТАКОЕ СХЕМА ДАННЫХ? 2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
  • 77. Они сгруппированы в две конструкции, которые моделируются отдельно: ЧТО ТАКОЕ СХЕМА ДАННЫХ? 2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
  • 78. Они сгруппированы в две конструкции, которые моделируются отдельно: Сущности + Свойства + Отношения = Схема ЧТО ТАКОЕ СХЕМА ДАННЫХ? 2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
  • 79. Они сгруппированы в две конструкции, которые моделируются отдельно: Сущности + Свойства + Отношения = Схема Термины + Отношения = Словари ЧТО ТАКОЕ СХЕМА ДАННЫХ? 2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
  • 80. МОДЕЛЬ { ЧТО ТАКОЕ СХЕМА ДАННЫХ? 2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х Они сгруппированы в две конструкции, которые моделируются отдельно: Сущности + Свойства + Отношения = Схема Термины + Отношения = Словари
  • 81. Какие подходы уже существуют для описания области? ВЫБОР СХЕМЫ: АНАЛОГИ 2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
  • 82. Какие подходы уже существуют для описания области? Онтологические фреймворки Пример: schema.org, dbpedia.org Принцип: Субъект – Предикат – Объект (RDF) Плюсы: высокая описательная гибкость Минусы: свойства не организованы в логические кластеры сложно управлять и разработать единообразные принципы описания ВЫБОР СХЕМЫ: АНАЛОГИ 2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
  • 83. Какие подходы уже существуют для описания области? Онтологические фреймворки Пример: schema.org, dbpedia.org Принцип: Субъект – Предикат – Объект (RDF) Плюсы: высокая описательная гибкость Минусы: свойства не организованы в логические кластеры сложно управлять и разработать единообразные принципы описания Категорийные фреймворки Пример: Getty’s Categories for the Description of Works of Art (CDWA) Принцип: Entity – Attribute – Value (EAV) Плюсы: свойства сгруппированы в концептуальные блоки описательные принципы четко определены Минусы: менее гибкая ВЫБОР СХЕМЫ: АНАЛОГИ 2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
  • 84. 1. Удобство принципа организации 2. Специфичность для области 3. Признаность сообществом 4. Описание смежных конецптов 5. Проработанная терминология (словари) ВЫБОР СХЕМЫ: ОРИЕНТИРЫ 2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
  • 85. ОГРАНИЧЕНИЯ СХЕМЫ 2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х 1. Подробность 2. Полнота описания области
  • 86. ОГРАНИЧЕНИЯ СХЕМЫ 2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х 1. Подробность 2. Полнота описания области => упрощение / усложнение существующих сущностей расширение набора сущностей
  • 87. Создание тезаврусов список терминов, их свойства и связи 7 8 6 5 Дизайн схемы данных принципы организации свойств Моделирование содержания свойства ключевых сущностей 4 3 Изучение области 1 МОДЕЛИРОВАНИЕ ДАННЫХ 2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х Моделирование области ключевые сущности и их взаимосвязи 2
  • 88. Список терминов Утверждения об их иерархических взаимосвязях Утверждения о синонимии (+ переводы) Утверждения о связанных терминах (≠ синонимы) Утверждения о предпочтительности терминов Набор дополнительных свойств (определения, ссылки) Нестрогий синоним: Словарь ЧТО ТАКОЕ ТЕЗАВРУС? 2 . 8 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / со з дание те з аврусов
  • 89. ТЕЗАУРУСЫ: ОРИЕНТИРЫ 2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х
  • 90. ТЕЗАУРУСЫ: ОРИЕНТИРЫ 2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х 1. Что уже есть? (Примеры: AAT, TGN, ULAN, CONA)
  • 91. ТЕЗАУРУСЫ: ОРИЕНТИРЫ 2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х 1. Что уже есть? (Примеры: AAT, TGN, ULAN, CONA) 2. Как организованы статьи и их взаимосвязи? (Синонимы, переводы, иерархии, предпочтительность, мэппинг, определения)
  • 92. ТЕЗАУРУСЫ: ОРИЕНТИРЫ 2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х 1. Что уже есть? (Примеры: AAT, TGN, ULAN, CONA) 2. Как организованы статьи и их взаимосвязи? (Синонимы, переводы, иерархии, предпочтительность, мэппинг, определения) 3. Насколько полные? (Краткие/полные словари)
  • 93. ТЕЗАУРУСЫ: ОРИЕНТИРЫ 2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х 1. Что уже есть? (Примеры: AAT, TGN, ULAN, CONA) 2. Как организованы статьи и их взаимосвязи? (Синонимы, переводы, иерархии, предпочтительность, мэппинг, определения) 3. Насколько полные? (Краткие/полные словари) 4. Как происходит модерация? (Открытый краудсорс, краудсорс среди специалистов, кураторы)
  • 94. ТЕЗАУРУСЫ: ОРИЕНТИРЫ 2 . 6 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / Д И З А Й Н С Х Е М Ы Д А Н Н Ы Х 1. Что уже есть? (Примеры: AAT, TGN, ULAN, CONA) 2. Как организованы статьи и их взаимосвязи? (Синонимы, переводы, иерархии, предпочтительность, мэппинг, определения) 3. Насколько полные? (Краткие/полные словари) 4. Как происходит модерация? (Открытый краудсорс, краудсорс среди специалистов, кураторы) 5. Откуда еще брать термины? (Несловарные источники: сайты индустрии)
  • 95. ПРИМЕР СЛОВАРНОЙ СТАТЬИ словари Единицы измерений Материалы Системы счисления Типы измерений Техники Роли 2 . 8 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / со з дание те з аврусов
  • 96. ПРИМЕР СЛОВАРНОЙ СТАТЬИ словари С ловар ь « Р О Л И » Единицы измерений Материалы Системы счисления Типы измерений Техники Роли Автор Водитель Издатель Композитор Космонавт Художник Футуролог Этнограф 2 . 8 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / со з дание те з аврусов
  • 97. ПРИМЕР СЛОВАРНОЙ СТАТЬИ словари С ловар ь « Р О Л И » стат ь я « х удо ж ник » Единицы измерений Материалы Системы счисления Типы измерений Техники Роли Автор Водитель Издатель Композитор Космонавт Художник Футуролог Этнограф ID: [номер термина] Иерархия: создатель художник акварелист график Getty ID: [AAT identification number] Определение: [текстовое описание] Мэппинг на другие словари Типы объектов: картины литографии Области: изящные искусства Категории искусства: авангард ренессанс Синонимы и переводы painter (English, preferred) peintre (French) kunstmaler (German) 2 . 8 С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х / со з дание те з аврусов
  • 98. ФОРМАЛИЗАЦИЯ МОДЕЛИ 2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х
  • 99. ФОРМАЛИЗАЦИЯ МОДЕЛИ 2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х 1. Список типов сущностей • Ключевые сущности: объект, человек, организация, событие, источник • Второстепенные: измерение, премия, заметка (видимые в справочниках и невидимые) • Словари
  • 100. ФОРМАЛИЗАЦИЯ МОДЕЛИ 2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х 1. Список типов сущностей • Ключевые сущности: объект, человек, организация, событие, источник • Второстепенные: измерение, премия, заметка (видимые в справочниках и невидимые) • Словари 2. Верхнеуровневая схема связей ключевых сущностей
  • 101. ФОРМАЛИЗАЦИЯ МОДЕЛИ 2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х 1. Список типов сущностей • Ключевые сущности: объект, человек, организация, событие, источник • Второстепенные: измерение, премия, заметка (видимые в справочниках и невидимые) • Словари 2. Верхнеуровневая схема для ключевых сущностей 3. Таблицы • Три отдельные для: ключевых сущностей, второстепенных, словарей • Вкладка = сущность / словарь • Столбцы сущностей: свойство / тип данных (boolean, string, entity name, vocabulary name, date, url) / тип сущности (entity, voсabulary, data) • Столбцы словарей: термин / родительский термин / мэппинг на другие словари
  • 102. ФОРМАЛИЗАЦИЯ МОДЕЛИ 2 . С Т Р У К Т У Р И Р О В А Н И Е Д А Н Н Ы Х 1. Список типов сущностей • Ключевые сущности: объект, человек, организация, событие, источник • Второстепенные: измерение, премия, заметка (видимые в справочниках и невидимые) • Словари 2. Верхнеуровневая схема для ключевых сущностей 3. Таблицы • Три отдельные для: ключевых сущностей, второстепенных, словарей • Вкладка = сущность / словарь • Столбцы сущностей: свойство / тип данных (boolean, string, entity name, vocabulary name, date, url) / тип сущности (entity, voсabulary, data) • Столбцы словарей: термин / родительский термин / мэппинг на другие словари 4. ER (или другие) диаграммы
  • 104. ВЛИЯНИЕ НА 3 УРОВНЯХ 3 . С труктура данны х и п родукт
  • 105. ВЛИЯНИЕ НА 3 УРОВНЯХ А. Разработка (удобное проектирование баз данных, бэкенда, логики фронтенда, масштабируемость) 3 . С труктура данны х и п родукт
  • 106. A. РАЗРАБОТКА 3 С труктура данны х и п родукт / вли я ние на тре х уровн я х 1. Базы данных Качественно описанные сущности легко кластеризовать по типам, характеризующимся одним набором свойств и связей = > оптимизация количества и структуры таблиц сущностей и таблиц-связей в базе
  • 107. A. РАЗРАБОТКА 3 С труктура данны х и п родукт / вли я ние на тре х уровн я х 1. Базы данных Качественно описанные сущности легко кластеризовать по типам, характеризующимся одним набором свойств и связей = > оптимизация количества и структуры таблиц сущностей и таблиц-связей в базе 2. Бекэнд и фронтэнд Наглядная логика связей между сущностями, логика поведения отдельных их свойств становится более явной => унификация кода и алгоритмов
  • 108. A. РАЗРАБОТКА 3 С труктура данны х и п родукт / вли я ние на тре х уровн я х 1. Базы данных Качественно описанные сущности легко кластеризовать по типам, характеризующимся одним набором свойств и связей = > оптимизация количества и структуры таблиц сущностей и таблиц-связей в базе 2. Бекэнд и фронтэнд Наглядная логика связей между сущностями, логика поведения отдельных их свойств становится более явной => унификация кода и алгоритмов 3. Масштабируемость Наглядно описанная область дает возможность, во-первых, приоритизировать внедрение тех или иных сущностей, во-вторых, легко добавлять новые сущности, используя уже реализованные типовые шаблоны
  • 109. ВЛИЯНИЕ НА 3 УРОВНЯХ А. Разработка (удобное проектирование баз данных, бэкенда, логики фронтенда, масштабируемость) B. Графический дизайн (UI-kit и масштабируемость) 3 . С труктура данны х и п родукт
  • 110. 1. Стилистическая логика страниц • Стилистическая унификация страниц одного типа сущностей: «выставка» и «концерт» будут выглядеть похоже, так как оба — «событие»; • Стилистическая унификация страниц, выполняющих одну функцию: редактирование, создание, просмотр; • Стилистические различия страниц разных типов сущностей: страницы типа «объект», отличные от страниц типа «событие». B. ГРАФИЧЕСКИЙ ДИЗАЙН 3 С труктура данны х и п родукт / вли я ние на тре х уровн я х
  • 111. 1. Стилистическая логика страниц • Стилистическая унификация страниц одного типа сущностей: «выставка» и «концерт» будут выглядеть похоже, так как оба — «событие»; • Стилистическая унификация страниц, выполняющих одну функцию: редактирование, создание, просмотр; • Стилистические различия страниц разных типов сущностей: страницы типа «объект», отличные от страниц типа «событие». 2. Модульность Четко описанные сущности позволяют создать сиситему шаблонов их отображения с возможностью их использования в разных контекстах: страница, виджет в контексте другой старницы, модальности. B. ГРАФИЧЕСКИЙ ДИЗАЙН 3 С труктура данны х и п родукт / вли я ние на тре х уровн я х
  • 112. 1. Стилистическая логика страниц • Стилистическая унификация страниц одного типа сущностей: «выставка» и «концерт» будут выглядеть похоже, так как оба — «событие»; • Стилистическая унификация страниц, выполняющих одну функцию: редактирование, создание, просмотр; • Стилистические различия страниц разных типов сущностей: страницы типа «объект», отличные от страниц типа «событие». 2. Модульность Четко описанные сущности позволяют создать сиситему шаблонов их отображения с возможностью их использования в разных контекстах: страница, виджет в контексте другой старницы, модальности. 3. Унификация UI элементов Подробно продуманные свойства, для которых понятен тип данных, количество значений, влияние на значения других свойств, позволяют сгруппировать их по аналогии и использовать в каждом случае один тип UI элементов. B. ГРАФИЧЕСКИЙ ДИЗАЙН 3 С труктура данны х и п родукт / вли я ние на тре х уровн я х
  • 113. ВЛИЯНИЕ НА 3 УРОВНЯХ А. Разработка (удобное проектирование баз данных, бэкенда, логики фронтенда, масштабируемость) B. Графический дизайн (UI-kit и масштабируемость) C. UX и продакт дизайн (понятные интерфейсы, чистые пользовательские данные, умные рекомендательные системы, machine learning) 3 . С труктура данны х и п родукт
  • 114. Умные поисковые интерфейсы (автокомплиты, полнотекстовый поиск, фильтрация и сортировка по полям) Удобство и эффективность контроля качества (автоматическое распознавание отклоняющихся значений, валидация бизнес-правил) Обучение алгоритмов получения данных (автоматическое распознавание нужных текстов, их скрейпинг и парсинг в структурированные поля) Обучение алгоритмов кластеризации (поиск по изображению, рекомендации похожих объектов) Рассчет динамики цен (рассчет ценовых индексов, вычисление ценовых коридоров) C. UX И ПРОДАКТ ДИЗАЙН 3 . С труктура данны х и п родукт / вли я ние на тре х уровн я х как ис п ол ь з уютс я данные ?
  • 115. А. Умный поиск 3 . С труктура данны х и п родукт / вли я ние на 3 уровн я х / U X и п Р О Д А К Т ди з а й н The British Museum: структура данных
  • 116. А. Умный поиск 3 . С труктура данны х и п родукт / вли я ние на 3 уровн я х / U X и п Р О Д А К Т ди з а й н The British Museum: структура данных => • полнотекстовый поиск • фильтрация и сортировка по полям • автокомплит
  • 117. А. Умный поиск 3 . С труктура данны х и п родукт / вли я ние на 3 уровн я х / U X и п Р О Д А К Т ди з а й н McMaster-Carr: структура данных => • фильтрация и сортировка по полям
  • 118. А. Умный поиск 3 . С труктура данны х и п родукт / вли я ние на 3 уровн я х / U X и п Р О Д А К Т ди з а й н Carto Builder: структура данных => • фильтрация и отображение
  • 119. В. Контроль качества 3 . С труктура данны х и п родукт / вли я ние на 3 уровн я х / U X и п Р О Д А К Т ди з а й н Collectrium, примеры из стока: структура данных => • автоматическое распознавание отклоняющихся значений • контроль вводимых данных • валидация бизнес-правил
  • 120. С. Алгоритмы скрейпинга 3 . С труктура данны х и п родукт / вли я ние на 3 уровн я х / U X и п Р О Д А К Т ди з а й н Channelkit, Clara: структура данных => • автоматическое распознавание нужных текстов • их скрейпинг и парсинг в структурированные поля
  • 121. D. Алгоритмы кластеризации 3 . С труктура данны х и п родукт / вли я ние на 3 уровн я х / U X и п Р О Д А К Т ди з а й н Amazon, Google image search: структура данных => • рекомендации похожих или комплиментарных объектов • поиск по изображению
  • 122. D. Предсказание цен 3 . С труктура данны х и п родукт / вли я ние на 3 уровн я х / U X и п Р О Д А К Т ди з а й н Artprice, Airhint: структура данных => • рассчет ценовых индексов • вычисление ценовых коридоров
  • 123. СТРУКТУРА ДАННЫХ 1. Дизайн и разработка осознаннее 2. Базовый функционал удобнее 3. Пользовательские данные чище 4. Масштабируемость 5. «Магия»: ML надстройки (предсказания, рекомендации) => 3 . С труктура данны х и п родукт
  • 124. СПАСИБО W I A D 2 0 1 7 1 8 Ф Е В Р А Л Я
  • 125. ССЫЛКИ 1. LS / WIAD 2017 (ссылки на источники, упомянутые в презентации и релевантные статьи) 2. IA Miscellaneous (подборка разной информации про информационную архитектуру: книги, статьи, люди, события) 3. LS / Notes (подборка моих около информационно-архитектурных заметок)
  • 126. ЛАРА СИМОНОВА Проекты • Patrn (таск-менеджер для анимационной студии) • Campus (образовательный проект рамках «Мастерской» Димы Барбанеля при поддержке Яндекс) • Textr (текстовый конструктор для издательства) • Почта России (подписное агентство, почта id, портал, электронные заказные письма) • Channelkit (инструмент для организации знаний) • Collectrium, the Christie’s Company (отдел анализа данных аукционного дома) Контакты • Facebook: Lara Simonova • Upwork / Behance / Linkedin • E-mail: lara@channelkit.com