Эволюционный дизайн. Joker Students Day 2016
•
0 j'aime•679 vues
Случалось ли, что вы видели (чужой) код и хотели все переписать? Бывало такое, что вы не могли понять, почему кем-то было принято конкретное решение, не другое? Хотели ли вы воскликнуть:«А я бы сделал еще круче!»? Если вы задумывались об этом, вам будет интересно послушать историю о том, как эти вопросы возникали у Александра и Кирилла и как они решались в условиях большой компании. Разработчики расскажут, как в самом начале пути вытаскивали шашки и шли в атаку на проблемную архитектуру. Но все оказалось не так просто, и по мере погружения в проект парни стали понимать, что архитектура большой системы — компромисс между различными подходами и решениями, инновациями и легаси (наследованным кодом), централизацией и децентрализацией компонентов. Докладчики наработали очень много опыта в решении архитектурных задач и поделятся опытом и выработанными принципами, которых придерживаются в настоящее время. Во время доклада будут обсуждаться непростые вопросы, возникающие при принятии решений о том, как будет жить и эволюционировать система. Вместе со слушателями Александр и Кирилл проделают упражнение по созданию «таблицы технологий» и её эволюции. Также они покажут, насколько важно инженерное решение на любой из стадий развития системы.
Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à Эволюционный дизайн. Joker Students Day 2016
Similaire à Эволюционный дизайн. Joker Students Day 2016 (20)
Plus de Кирилл Толкачёв
Эволюционный дизайн. Joker Students Day 2016
- 1. 1 Эволюционный дизайн От любви до ненависти один шаг
- 5. 5 Эволюционный дизайн От любви до ненависти один шаг
- 6. 6 ● делается с первого раза ● не меняется годами ● не зависит от людей ● не зависит от процессов
- 7. 7 У нас конечно же так Потому что
- 8. 8 У нас конечно же так Потому что ● мы работаем в лучшем банке
- 9. 9 У нас конечно же так Потому что ● мы работаем в лучшем банке ● и все остальные банки завидуют нам
- 10. 10 У нас конечно же так Потому что ● мы работаем в лучшем банке ● и все остальные банки завидуют нам ● … ● Стойте, кажется это про другое
- 13. 13
- 14. 14
- 20. Немного деталей не помешает 20
- 21. Немного деталей не помешает 21
- 22. Архитектура 22
- 24. Что же такое архитектура? 24
- 25. Что же такое архитектура? 25
- 26. Что же такое архитектура? 26 https://www.youtube.com/watch?v=_Kex5hwGE-w
- 27. 27
- 28. yoman Yo start.spring.io Ss python Py lazybones Lz java Ja spring boot Sb gradle Gr asciidoctor Ad thrift Th docker Dr mesos Ms marathon Ma chronos Ch aurora Au Artifactory Ar Kubernetes Kb eureka Eu consul Cl etcd Ed zookeeper Zk hystrix Hx sleuth Sl zipkin Zn groovy Gy 28 Data Isolation Di Centralization paradox Cp LSD principle Ls DDD Dd Conway’s Law Co Smart Docs Sd Dynamic Sharing Ds Smart Libs Sl SOA So ansible An
- 29. yoman Yo start.spring.io Ss python Py lazybones Lz java Ja spring boot Sb gradle Gr asciidoctor Ad thrift Th docker Dr mesos Ms marathon Ma chronos Ch aurora Au Artifactory Ar Kubernetes Kb eureka Eu consul Cl etcd Ed zookeeper Zk hystrix Hx sleuth Sl zipkin Zn groovy Gy 29 Data Isolation Di Centralization paradox Cp LSD principle Ls DDD Dd Conway’s Law Co Smart Docs Sd Dynamic Sharing Ds Smart Libs Sl SOA So ansible An
- 30. yoman Yo start.spring.io Ss python Py lazybones Lz java Ja spring boot Sb gradle Gr asciidoctor Ad thrift Th docker Dr mesos Ms marathon Ma chronos Ch aurora Au Artifactory Ar Kubernetes Kb eureka Eu consul Cl etcd Ed zookeeper Zk hystrix Hx sleuth Sl zipkin Zn groovy Gy 30 Data Isolation Di Centralization paradox Cp LSD principle Ls DDD Dd Conway’s Law Co Smart Docs Sd Dynamic Sharing Ds Smart Libs Sl SOA So ansible An
- 31. 31 Закон Конвея
- 32. Big Ball of Mud 32
- 33. Big Ball of Mud 33
- 34. 34 Проблемы архитектуры ● Сильная связанность между модулями ● Слабое тестовое прикрытие ● Регрессионная спираль смерти ○ частично решалась Selenium-тестами ○ но это дорого
- 37. 37
- 38. 38
- 39. 39
- 40. 40
- 41. 12 April 1996 Первое упоминание SOA https://www.gartner.com/doc/302868/service-oriented-architectures- 41
- 42. Принципы SOA 1. Standardized service contract 2. Loose coupling 3. Encapsulation 4. Reusability 5. Autonomy 6. Statelessness 7. Discoverability 42
- 43. Принципы SOA 1. Standardized service contract 2. Loose coupling 3. Encapsulation 4. Reusability 5. Autonomy 6. Statelessness 7. Discoverability 43
- 45. 5 January 2009 SOA is Dead http://apsblog.burtongroup.com/2009/01/soa-is-dead-long-live-services.html 45
- 46. SOA != SOAP (WS-*) 46
- 48. 48 Проблема эволюции ● Начинали с одного проекта ○ одна команда ○ ui + три сервиса ● Более 10-ти однотипных проектов ○ несколько команд ○ десятки сервисов ○ технологически одинаковые
- 49. 49
- 51. 51 ● Spring Boot/Spring Cloud ● Ratpack ● Dropwizard ● Vert.x ● Restlet ● Spark ● KumuluzEE ?
- 52. 52 ● Spring Boot/Spring Cloud ● Ratpack ● Dropwizard ● Vert.x ● Restlet ● Spark ● KumuluzEE Выбирайте то, что больше нравится / в чем есть экспертиза
- 53. 53
- 54. 54
- 55. Принцип LSD - L языков программирования - S среднее число фреймворков на язык - D типов источников данных complexity = L * S * D 55
- 56. Немного LSD для вас - три языка программирования - два в среднем фреймворка на язык - семь типов источников данных - legacy WS, mongo db - OLTP, OLAP - elasticsearch, neo4j - Мишкина база %) complexity = 3 * 2 * 7 = 42 (!) 56
- 57. Чем нельзя пожертвовать? min (L * S * D) → ? 57
- 58. min (L * S * D) → max (D) 58
- 59. L = Java 18+ S = Spring Boot D = ∞ 59
- 60. L = Java L += Python L += JavaScript 60 Мы сами нарушаем правила
- 62. 62
- 63. 63 t0
- 65. 65 Код устарел
- 66. 66 Код устарел Нужно переименовать классы
- 67. 67 Код устарел Нужно переименовать классы Нужно удалить неиспользуемое
- 68. 68 Код устарел Нужно переименовать классы Нужно удалить неиспользуемое Прочая магия Время, ошибки, фрагментация
- 70. 70 Нужно переименовать классы Нужно кастомизировать руками Время актуализация
- 71. lazybones / start.spring.io / yeoman 71
- 72. lazybones create api 1.0.1 service_name 72
- 73. ~home > lazybones create api 0.0.1 rent-service 73
- 74. ~home > lazybones create api 0.0.1 rent-service Creating project from template api 0.0.1 in 'rent-service' Define value for 'group' [ru.joker]: 74
- 75. ~home > lazybones create api 0.0.1 rent-service Creating project from template api 0.0.1 in 'rent-service' Define value for 'group' [ru.joker]: Define value for 'version' [0.0.1]: 75
- 76. ~home > lazybones create api 0.0.1 rent-service Creating project from template api 0.0.1 in 'rent-service' Define value for 'group' [ru.joker]: Define value for 'version' [0.0.1]: srv1 ├──srv2 └──srv3 logging sleuth Define value for 'dependencies' [logging,sleuth]: 76
- 77. ~home > lazybones create api 0.0.1 rent-service Creating project from template api 0.0.1 in 'rent-service' Define value for 'group' [ru.joker]: Define value for 'version' [0.0.1]: srv1 ├──srv2 └──srv3 logging sleuth Define value for 'dependencies' [logging,sleuth]: Project created for rent-service! 77
- 78. 78
- 80. DRY off 80
- 81. TServerTransport serverTransport = new TServerSocket( new InetSocketAddress(InetAddress.getLocalHost(), port)); TProcessor processor = new TInsuranceService.Processor<>( //business value here ); server = new TSimpleServer( new TServer.Args(serverTransport).processor(processor)); server.serve(); 81
- 82. TSocket transport = new TSocket(host, port); transport.open(); TBinaryProtocol tBinaryProtocol = new TBinaryProtocol(transport); TInsuranceService.Client client = new TInsuranceService.Client(tBinaryProtocol); perform(client); //business value here transport.close(); 82
- 83. @ThriftController public class InsuranceController implements TInsuranceService.Iface { @Override public void someMethod(TInsurance insurance){ //business value here } } 83
- 84. @ThriftClient(serviceId = "insurance-service") TInsuranceService.Client client; ... perform(client); //business value here ... 84
- 87. @ThriftClient(serviceId = "insurance-service") TInsuranceService.Client client; TInsuranceService.Client client = Creator.create(TInsuranceService.Client.class, "insurance-service"); ... perform(client); //business value here ... 87
- 88. @Getter // generate getters @Setter // generate setters @Aspect // we are an aspect @ToString // generate toString() @EnableWs // SOAP is so enterprisy, we definitely need it @Endpoint // Seriously, just read above @EnableWebMvc // we want MVC @EnableCaching // and we want to cache stuff @Configuration // this class can configure itself @RestController // we want some REST @XmlRootElement // this component is marshallable @EnableWebSocket // we want web socket, it's so new-generation @RedisHash("cat") // this class is an entity saved in redis @EnableScheduling // we want scheduled tasks @EnableWebSecurity // and some built-in security @NoArgsConstructor // generate no args constructor @ContextConfiguration // we want context configuration for unit testing @SpringBootApplication // this is a Sprint Boot application @Accessors(chain = true) // getters/setters are chained (ala jQuery) @EnableAspectJAutoProxy // we want AspectJ auto proxy @EnableAutoConfiguration // and auto configuration @EnableRedisRepositories // since it is an entity we want to enable spring data repositories for redis @EnableWebSocketMessageBroker // we want a broker for web socket messages 88
- 90. documentation → smart documentation 90
- 91. Not smart = This is main documentation This document describes how to be the most fundamental and important document in the world of documents ... COPY-PASTE documentation from another document ... 91
- 92. Not so smart = This is main documentation This document describes how to be the most fundamental and important document in the world of documents include::https://raw.github.com/asciidoctor/asciidoctor/master/Gemfile[] include::../other.adoc[] include::/home/tolkv/git/docs-0/superdoc.adoc[] 92
- 93. Really smart = This is main documentation This document describes how to be the most fundamental and important document in the world of documents include::https://raw.github.com/asciidoctor/asciidoctor/master/Gemfile[] include::gradle://gradle-advanced:service-with-deps:1.0/deps.adoc[] include::gradle://:service/doc.adoc[] 93
- 94. Payment Service[jar,doc] Insurance Service [jar,doc] One Point of View [UberDoc.zip] Rent Service[jar,doc] Other Service [jar,doc] Агрегация информации 94
- 95. Парадокс централизации Чтобы эффективно разрабатывать распределённые приложения, нам нужны очень хорошие централизованные библиотеки и инструменты Например: логирование, health-checking, метрики, обработка типовых ошибок, автодокументирование 95
- 96. Парадокс централизации Чтобы эффективно разрабатывать распределённые приложения, нам нужны очень хорошие централизованные библиотеки и инструменты Но: не выносите бизнес-логику или доменные объекты! Не размывайте бизнес-контекст вашего API 96
- 97. lazybones Lz yoman Yo start.spring.io Ss java Ja thrift Th spring boot Sb gradle Gr asciidoctor Ad groovy Gy 97 Centralization paradox Cp LSD principle Ls DDD Dd Smart Docs Sd Smart Libs Sl SOA So Conway’s Law Co
- 99. 99 Одно приложение - одна БД Всё просто
- 100. N сервисов → 1 БД Изоляция на уровне таблиц или схем 100
- 101. N сервисов → 1 БД Изоляция через хранимые процедуры 101
- 102. 102 Transport Layer API API API API API
- 103. 103 Transport Layer API API API API API
- 104. N сервисов → 1 БД Распределённый монолит 104
- 105. N сервисов → N БД 105
- 106. N сервисов → N БД Распределённые транзакции – это больно 106
- 107. 107 Transport Layer API API API API API Очень много кода
- 108. N сервисов → N БД Ваше legacy тянет вас на дно 108
- 109. 109
- 110. M сервисов → 1 БД L сервисов → L БД M + L = N, M << L 110
- 111. 111 Transport Layer APIAPI API API API
- 112. M сервисов → 1 БД L сервисов → L БД M + L = N, M << L 112
- 113. lazybones Lz yoman Yo start.spring.io Ss java Ja thrift Th spring boot Sb gradle Gr asciidoctor Ad groovy Gy 113 Data Isolation Di Centralization paradox Cp LSD principle Ls DDD Dd Conway`s law Co Smart Docs Sd Smart Libs Sl SOA So
- 114. Доставка 114
- 115. war/ear 115 Зависимость от сервера приложений
- 116. executable fatJar 116 Зависимость от системных библиотек
- 117. executable fatJar/npm-пакет 117 Разный менеджмент для разных форматов дистрибуции
- 119. 119 war < fatJar < docker
- 121. scp fat.jar root@prod101:/home/app/ Что делать с консистентостью? Как быть с доступностью? 121
- 122. ./gradlew deployToArtifactory ansible -i [stage,dev,test] -t deploy “Прибитая молотком” конфигурация 122
- 125. 125
- 126. mesos / kubernetes / ∞ 126
- 128. 128 t Bare Metal
- 132. 132
- 133. Использование группы машин как одной WEB WASTED CACHE WASTED WASTED HADOOP 133
- 134. Представьте, что кластер это просто одна большая машина WEB WASTED CACHE WASTED WASTED HADOOP WASTED WEB CACHE HADOOP FREE FREE 134
- 135. lazybones Lz yoman Yo start.spring.io Ss python Py java Ja spring boot Sb gradle Gr asciidoctor Ad docker Dr mesos Ms marathon Ma chronos Ch aurora Au Kubernetes Kb groovy Gy 135 Data Isolation Di Centralization paradox Cp LSD principle Ls DDD Dd SAGAS Sa Smart Docs Sd Dynamic Sharing Ds Smart Libs Sl SOA So ansible An thrift Th Artifactory Ar
- 137. insert into settings_table values (key, endpoint) 137 “Прибитая молотком” конфигурация
- 138. update template → services.location kill -s HUP nginx 138 Остаётся статическая привязка ресурсов
- 140. 140 Service Client Registry-aware HTTP Client Service Registry Service Instance 1 Service Instance N Service Instance ... Load balance request Client side discovery
- 141. 141 Service Client Service Registry Service Instance 1 Service Instance N Service Instance ... Load balance request Router/Proxy Server side discovery
- 142. yoman Yo start.spring.io Ss python Py lazybones Lz java Ja spring boot Sb gradle Gr asciidoctor Ad thrift Th docker Dr mesos Ms marathon Ma chronos Ch aurora Au Artifactory Ar Kubernetes Kb eureka Eu consul Cl etcd Ed zookeeper Zk groovy Gy 142 Data Isolation Di Centralization paradox Cp LSD principle Ls DDD Dd SAGAS Sa Smart Docs Sd Dynamic Sharing Ds Smart Libs Sl SOA So ansible An
- 143. Защити себя сам 143
- 144. 144
- 145. 145 Хочу бегемота! Rent Service Payment Service Security Service Blockchain Service Insurance Service 5мс
- 146. 146 Хочу бегемота! Rent Service Payment Service Security Service Blockchain Service Insurance Service 300мс
- 147. 147 Хочу бегемота! Rent Service Payment Service Security Service Blockchain Service Insurance Service 300мс
- 148. 148 Хочу бегемота! Rent Service Payment Service Security Service Blockchain Service Insurance Service 300мс
- 149. 149 Хочу бегемота! Rent Service Payment Service Security Service Blockchain Service Insurance Service 300мс
- 150. 150 Circuit Breaker
- 151. 151 Хочу бегемота! Rent Service Payment Service Security Service Blockchain Service Insurance Service 300мс
- 152. 152 Хочу бегемота! Rent Service Payment Service Security Service Blockchain Service Insurance Service 300мс Open
- 153. 153 Хочу бегемота! Rent Service Payment Service Security Service Blockchain Service Insurance Service 300мс Half-Open
- 154. 154 Хочу бегемота! Rent Service Payment Service Security Service Blockchain Service Insurance Service 5мс Half-Open
- 155. 155 Хочу бегемота! Rent Service Payment Service Security Service Blockchain Service Insurance Service 5мс
- 157. 157
- 158. yoman Yo start.spring.io Ss python Py lazybones Lz java Ja spring boot Sb gradle Gr asciidoctor Ad thrift Th docker Dr mesos Ms marathon Ma chronos Ch aurora Au Artifactory Ar Kubernetes Kb eureka Eu consul Cl etcd Ed zookeeper Zk hystrix Hx groovy Gy 158 Data Isolation Di Centralization paradox Cp LSD principle Ls DDD Dd Smart Docs Sd Dynamic Sharing Ds Smart Libs Sl SOA So ansible An Conway’s Law Co
- 159. Следи за своим ПО 159
- 160. Нет трассировки - нет проблем? :) 160
- 161. X-Request-Id = X-Request-Id ?: new ID Простой вариант с ServletFilter 161
- 163. 163 RentService No TraceId No SpanId TraceId = X SpanId = A
- 164. 164 RentService PaymentService No TraceId No SpanId TraceId = X SpanId = A TraceId = X SpanId = B TraceId = X SpanId = C
- 165. 165 RentService PaymentService BlockchainService No TraceId No SpanId TraceId = X SpanId = A TraceId = X SpanId = B TraceId = X SpanId = C TraceId = X SpanId = D TraceId = X SpanId = D TraceId = X SpanId = F
- 166. 166 RentService PaymentService SecurityServiceBlockchainService No TraceId No SpanId TraceId = X SpanId = A TraceId = X SpanId = B TraceId = X SpanId = C TraceId = X SpanId = D TraceId = X SpanId = D TraceId = X SpanId = E TraceId = X SpanId = E TraceId = X SpanId = F TraceId = X SpanId = G
- 167. 167 RentService PaymentService SecurityServiceBlockchainService No TraceId No SpanId TraceId = X SpanId = A TraceId = X SpanId = B TraceId = X SpanId = B TraceId = X SpanId = C TraceId = X SpanId = C TraceId = X SpanId = D TraceId = X SpanId = D TraceId = X SpanId = E TraceId = X SpanId = E TraceId = X SpanId = F TraceId = X SpanId = G
- 168. 168 RentService PaymentService SecurityServiceBlockchainService TraceId = X SpanId = A No TraceId No SpanId TraceId = X SpanId = A TraceId = X SpanId = A TraceId = X SpanId = B TraceId = X SpanId = B TraceId = X SpanId = C TraceId = X SpanId = C TraceId = X SpanId = D TraceId = X SpanId = D TraceId = X SpanId = E TraceId = X SpanId = E TraceId = X SpanId = F TraceId = X SpanId = G
- 169. 169
- 170. 170
- 172. 172 RentService PaymentService SpanId = B Client Send TraceId = X SpanId = A
- 173. 173 RentService PaymentService SpanId = B Client Send SpanId = B Server Received TraceId = X SpanId = A TraceId = X SpanId = C
- 174. 174 RentService PaymentService SpanId = B Client Send SpanId = B Server Received SpanId = B Server Send TraceId = X SpanId = A TraceId = X SpanId = C
- 175. 175 RentService PaymentService SpanId = B Client Send SpanId = B Server Received SpanId = B Client Received SpanId = B Server Send TraceId = X SpanId = A TraceId = X SpanId = C
- 176. yoman Yo start.spring.io Ss python Py lazybones Lz java Ja spring boot Sb gradle Gr asciidoctor Ad thrift Th docker Dr mesos Ms marathon Ma chronos Ch aurora Au Artifactory Ar Kubernetes Kb eureka Eu consul Cl etcd Ed zookeeper Zk hystrix Hx sleuth Sl zipkin Zn groovy Gy 176 Data Isolation Di Centralization paradox Cp LSD principle Ls DDD Dd Smart Docs Sd Dynamic Sharing Ds Smart Libs Sl SOA So ansible An Conway’s Law Co
- 177. yoman Yo start.spring.io Ss python Py lazybones Lz java Ja spring boot Sb gradle Gr asciidoctor Ad thrift Th docker Dr mesos Ms marathon Ma chronos Ch aurora Au Artifactory Ar Kubernetes Kb eureka Eu consul Cl etcd Ed zookeeper Zk hystrix Hx sleuth Sl zipkin Zn groovy Gy 177 Data Isolation Di Centralization paradox Cp LSD principle Ls DDD Dd Smart Docs Sd Dynamic Sharing Ds Smart Libs Sl SOA So ansible An Conway’s Law Co
- 178. yoman Yo start.spring.io Ss python Py lazybones Lz java Ja spring boot Sb gradle Gr asciidoctor Ad thrift Th docker Dr mesos Ms marathon Ma chronos Ch aurora Au Artifactory Ar Kubernetes Kb eureka Eu consul Cl etcd Ed zookeeper Zk hystrix Hx sleuth Sl zipkin Zn groovy Gy 178 Data Isolation Di Centralization paradox Cp LSD principle Ls DDD Dd Smart Docs Sd Dynamic Sharing Ds Smart Libs Sl SOA So ansible An Conway’s Law Co ?
- 180. 1. Архитектура – функция от множества переменных Простить, потому что 180
- 181. 1. Архитектура – функция от множества переменных 2. Архитектура – результат эволюции на протяжении времени Простить, потому что 181
- 182. 1. Архитектура – функция от множества переменных 2. Архитектура – результат эволюции на протяжении времени 3. Принципы должны быть “вечны”, а инструменты актуальны и эффективны Простить, потому что 182
- 183. 1. SOA принципы живы Придерживайтесь принципов 183
- 184. 1. SOA принципы живы 2. Принцип LSD Придерживайтесь принципов 184
- 185. 1. SOA принципы живы 2. Принцип LSD 3. Изоляция данных делает жизнь приятнее Придерживайтесь принципов 185
- 186. 1. SOA принципы живы 2. Принцип LSD 3. Изоляция данных делает жизнь приятнее 4. Парадокс централизации Придерживайтесь принципов 186
- 187. 1. SOA принципы живы 2. Принцип LSD 3. Изоляция данных делает жизнь приятнее 4. Парадокс централизации 5. Планируй ресурсы динамически Придерживайтесь принципов 187
- 188. Links Лекция Жени Кривошеева про архитектуру: https://www.youtube.com/watch?v=_Kex5hwGE-w Пример Smart-библиотеки: https://github.com/lavcraft/grpc-spring-boot-starter Пример реализации “умной документации”: https://github.com/aatarasoff/documentation-plugin-demo 188
- 189. Спасибо! Готовы ответить на ваши вопросы @tolkv @aatarasoff 189 @lavcraft @aatarasoff