Работа с данными - это ключевая функция большинства приложений. Но работать с данными не так просто как кажется. С одной стороны, нам нужна производительность, с другой все best practices диктуют нам принцип persistence ignorance, с третьей еще и хочется писать красивый и понятный код. Как найти баланс между всем этим? Чем хороший IRepository отличается от плохого? Что такое CQRS и причем тут функциональное программирование? Об этом и пойдет речь, а так же немного граблей и личного опыта.

1. Что нам стоит DAL
построить?
Акуляков Артём

2. кто я есть
dotnet в основном
python в свободное время
functional programming еще
докладчик dotnetconf, d2d
организатор d2d
2

3. в чем проблема?
3

4. dal
data access layer
4

5. dal
data access layer
● persistence ignorance для bl
5

6. dal
data access layer
● persistence ignorance для bl
● обработка данных это ключевая функция
программы
6

7. dal
data access layer
● persistence ignorance для bl
● обработка данных это ключевая функция
программы
● большая часть проблем с
производительностью связана с доступом
к данным
7

8. противоречие
8

9. как построить dal?
9

10. repository
10

11. repository v1
public interface IRepository<TEntity>
where TEntity: class
{
IEnumerable<TEntity> GetAll();
TEntity GetById(int id);
void Add(TEntity obj);
void Update(TEntity obj);
void Remove(TEntity obj);
}
11

12. repository v1
public interface IPostsRepository : IRepository<Post>
{
Post GetByTitle(string title);
}
12

13. repository v1 # проблемы
● разрастание интерфейса
13

14. repository v1
public interface IPostsRepository : IRepository<Post>
{
Post GetByTitle(string title);
IEnumerable<Post> SearchByContent(string text);
IEnumerable<Post> GetOnlyWithComments();
… +100500 методов
}
14

15. repository v1 # проблемы
● разрастание интерфейса
● разрастание зависимостей
● разрастание ответственности
15

16. repository v1
public PostsRepository(IDbContext context,
ISearchEngine searchEngine,
ITokenizer tokenizer,
IPostComparator comparator,
ITransactionManager transactionManager,
… +100500 зависимостей)
{
…
}
16

17. что делать с операциями чтения?
17

18. IQueryable<T>
18

19. repository v2
public interface IRepository<TEntity>
where TEntity : class
{
IQueryable<TEntity> Query();
void Add(TEntity obj);
void Update(TEntity obj);
void Remove(TEntity obj);
}
19

20. repository v2
public IEnumerable<Post> GetActivePosts() {
return _repository.Query< Post>()
.Where(p => !p.IsDeleted)
.Include(p => p.Author).ToArray();
}
public IEnumerable<Post> GetTopPosts() {
return _repository.Query< Post>()
.Where(p => !p.IsDeleted)
.Where(p => p.Comments.Count() > 50)
.Include(p => p.Author).ToArray();
}
20

21. repository v2 # проблемы
● дублирование запросов
21

22. repository v2
public IEnumerable<Post> GetActivePosts() {
return _repository.Query< Post>()
.Where(p => !p.IsDeleted)
.Include(p => p.Author).ToArray();
}
public IEnumerable<Post> GetTopPosts() {
return _repository.Query< Post>()
.Where(p => !p.IsDeleted)
.Where(p => p.Comments.Count() > 50)
.Include(p => p.Author).ToArray();
}
22

23. repository v2 # проблемы
● дублирование запросов
● дублирование подгрузки
23

24. repository v2
public IEnumerable<Post> GetActivePosts() {
return _repository.Query< Post>()
.Where(p => !p.IsDeleted)
.Include(p => p.Author).ToArray();
}
public IEnumerable<Post> GetTopPosts() {
return _repository.Query< Post>()
.Where(p => !p.IsDeleted)
.Where(p => p.Comments.Count() > 50)
.Include(p => p.Author).ToArray();
}
24

25. include
- EntityFramework
- System.Data.Entity
- QueryableExtensions
- Include(...) + 2 overloads
25

26. repository v2 # проблемы
● дублирование запросов
● дублирование подгрузки
● include
26

27. specification
27

28. specification
public interface ISpecification<TEntity>
where TEntity : class
{
Expression<Func<TEntity, bool>> Filter { get; }
}
28

29. specification
public class NotDeleted : ISpecification<Post>
{
public Expression<Func<Post, bool>> Filter
{
get { return x => x.IsDeleted == false; }
}
}
29

30. repository v2 # уже лучше
public IEnumerable<Post> GetActivePosts() {
return _repository.Query< Post>()
.Where(_isActiveSpecification.Filter)
.Include(p => p.Author).ToArray();
}
public IEnumerable<Post> GetTopPosts() {
return _repository.Query< Post>()
.Where(_isActiveSpecification.Filter)
.Where(p => p.Comments.Count() > 50)
.Include(p => p.Author).ToArray();
}
30

31. немного “сахара”
public static IQueryable<TEntity>
Apply<TEntity>(this IQueryable<TEntity> query,
ISpecification<TEntity> spec)
where TEntity : class
{
return query.Where(spec.Filter);
}
31

32. repository v2 # еще лучше
public IEnumerable<Post> GetActivePosts() {
return _repository.Query< Post>()
.Apply(_isActiveSpecification)
.Include(p => p.Author).ToArray();
}
public IEnumerable<Post> GetTopPosts() {
return _repository.Query< Post>()
.Apply(_isActiveSpecification)
.Where(p => p.Comments.Count() > 50)
.Include(p => p.Author).ToArray();
}
32

33. repository v2 # проблемы
● дублирование запросов
● дублирование подгрузки
● include
33

34. collector
34

35. collector
public interface ICollector<TEntity>
where TEntity : class
{
IEnumerable<Expression<Func<TEntity, object>>> Includes
{
get;
}
}
35

36. collector
public class PostCollector : ICollector<Post>
{
public IEnumerable<Expression<Func<Post, object>>> Includes
{
get
{
yield return p => p.Author;
yield return p => p.Comments;
}
}
}
36

37. как применить collector с
repository?
37

38. collector
public interface IRepository<TEntity>
where TEntity : class;
{
IQueryable<TEntity> Query(
ICollector<TEntity> collector = null)
…
}
38

39. repository v2 # совсем хорошо
public IEnumerable<Post> GetTopPosts() {
return _repository
.Query<Post>(_postWithAuthorCollector)
.Apply(_onlyActiveSpecification)
.Where(p => p.Comments.Count() > 50)
.ToArray();
}
39

40. пример из реальной жизни
40

41. пример из жизни
public void BanAuthor(string login) {
var author = _authorsRep.Query().Single(a => a.Login == login);
var posts = _postsRep.Query().Where(p => p.Author.Id == author.Id);
foreach (var post in posts) {
post.IsDeleted = true;
_postsRep.Update(post);
}
author.Karma = 0;
author.IsReadOnly = true;
authorsRepository.Update(author);
} 41

42. unit of work
42

43. unit of work
public interface IUnitOfWork : IDisposable
{
void Commit();
}
43

44. repository
public interface IRepository<TEntity>
where TEntity : class
{
IQueryable<TEntity> Query(
ICollector<TEntity> collector = null);
void Add(TEntity obj);
void Remove(TEntity obj);
}
44

45. как связать unit of work и
repository?
45

46. unit of work + repository = factory
public interface IDalFactory
{
IRepository<TEntity> GetRepository<TEntity>()
where TEntity : class;
IUnitOfWork GetUnitOfWork();
}
46

47. unit of work
using (var uow = _dalFactory.GetUnitOfWork()){
var postsRep = _dalFactory.GetRepository< Post>();
var authorsRep = _dalFactory.GetRepository< Author>();
var author = authorsRep.Query().Single(a => a.Login == login);
var posts = postsRep.Query().Where(p => p.Author.Id == author.Id);
foreach (var post in posts) post.IsDeleted = true;
author.Karma = 0;
author.IsReadOnly = true;
uow.Commit();
} 47

48. profit?
48

49. итог
● repository
● unit of work
● factory
● specifications
● collectors
49

50. проблемы
● IQueryable<T> - дырявая абстракция
50

51. проблемы
● IQueryable<T> - дырявая абстракция
● cложно
51

52. проблемы
● IQueryable<T> - дырявая абстракция
● cложно
● много абстракций
52

53. как избавиться от этих
недостатков?
53

54. размышления
● cRud
54

55. размышления
● cRud
● масштабирование
55

56. масштабирование # как?
● индексы & оптимизация
56

57. масштабирование # как?
● индексы & оптимизация
● просто sql & Dapper.NET
57

58. масштабирование # как?
● индексы & оптимизация
● просто sql & Dapper.NET
● кластер
58

59. масштабирование # как?
● индексы & оптимизация
● просто sql & Dapper.NET
● кластер
● совсем не много денормализации
- много денормализации
- очень много денормализации
59

60. масштабирование # как?
● индексы & оптимизация
● просто sql & Dapper.NET
● кластер
● совсем не много денормализации
- много денормализации
- очень много денормализации
● NoSQL
- MongoDB, Redis, RavenDB, RethinkDB 60

61. как спроектировать dal
устойчивый к масштабированию?
61

62. нужно чуть больше супер силы
62

63. command-query responsibility
segregation
63

64. cqrs
64
command
-
query
dispatcher handler

65. cqrs
● commands & query
65

66. cqrs
public class PublishPostCommand : IValidatable {
public Guid PostUid { get; set; }
public DateTime PublishDate { get; set; }
…
}
public class PostsByDateQuery : IValidatable {
public DateTime PublicationDate { get; set; }
…
}
66

67. cqrs
● commands & queries
● handlers
67

68. cqrs
public interface ICommandHandler<in TCommand>
where TCommand : IValidatable
{
void Handle(TCommand command);
}
public interface IQueryHandler<in TQuery,out TResult>
where TQuery : IValidatable
{
TResult Handle(TQuery query);
}
68

69. cqrs # пример
public class PostByDateQueryHandler :
IQueryHandler<PostsByDateQuery, Post>
{
public PostByDateQueryHandler(IDbContext dbContext,
IMongoClient mongoClient)
{…}
public Post Handle(PostsByDateQuery query)
{…}
}
69

70. cqrs # можно реализовать bl
public class PostByDateQueryHandler :
IQueryHandler<PostsByDateQuery, Post>
{
public PostByDateQueryHandler(
IRepository<Post> dbContext,
IFullPostCollector collector)
{…}
public Post Handle(PostsByDateQuery query)
{…}
} 70

71. cqrs
● commands & queries
● handlers
● dispatcher
71

72. cqrs
public interface IDispatcher
{
void Dispatch<TCommand>(TCommand command)
where TCommand: IValidatable;
TResult Dispatch<TQuery, TResult>(TQuery query)
where TQuery : IValidatable;
}
72

73. cqrs # dispatcher
● ioc container
● message bus
● conventions
● …
73

74. cqrs # dispatcher
public class Dispatcher : IDispatcher {
…
public Dispatcher(IComponentContext componentContext)
{ _componentContext = componentContext; }
public void Dispatch<TCommand>(TCommand command)
where TCommand : IValidatable {
_componentContext
.Resolve<ICommandHandler <TCommand>>()
.Handle(command);
}
…
} 74

75. cqrs # используем
public Post ReadPost()
{
var query = new PostsByDateQuery
{
PublicationDate = DateTime.Now
};
return _dispatcher
.Dispatch<PostsByDateQuery, Post>(query);
}
75

76. cqrs
76
MyApp.Domain MyApp.DAL
Entites, Services,
Managers …
Commands
Queries
IDispatcher
IQueryHandler
ICommandHandler
CommandHandlers
QueryHandlers
Dispatcher

77. а что про масштабирование?
77

78. cqrs # масштабирование
78
db
ui
domain
dal
commands
dal : thin query model
queries

79. cqrs # масштабирование
79
write
db
ui
domain
dal
commands
dal : thin query model
queries
read
db

80. cqrs # масштабирование
80
write
db
ui
domain
dal
commands
dal : thin query model
queries
read
db

81. cqrs # достоинства
● очень чистый домен
81

82. cqrs # достоинства
● очень чистый домен
● сложность системы растет линейно
82

83. cqrs # достоинства
● очень чистый домен
● сложность системы растет линейно
● легко использовать специфичные
функции бд
83

84. cqrs # недостатки
● crud делать неудобно
84

85. cqrs # недостатки
● crud делать неудобно
● консистентность данных
85

86. cqrs # недостатки
● crud делать неудобно
● консистентность данных
● мало кто знает как готовить правильно
86

87. почитать
- http://cqrs.nu/
- http://martinfowler.com/bliki/CQRS.html
- http://blog.byndyu.ru/2014/07/command-and-query-responsibility.html
- http://blog.byndyu.ru/2014/05/blog-post.html
- http://blog.byndyu.ru/2013/03/dapper-queryobject-orm.html
- http://blog.byndyu.ru/2011/08/repository.html
- http://blog.byndyu.ru/2011/01/domain-driven-design-repository.html
- http://martinfowler.com/eaaCatalog/repository.html
- http://martinfowler.com/eaaCatalog/unitOfWork.html
- http://martinfowler.com/bliki/SpecificationByExample.html
- http://martinfowler.com/apsupp/spec.pdf
- http://blog.ploeh.dk/2012/03/26/IQueryableTisTightCoupling/
87

88. хорошая архитектура по - это
баланс между гибкостью и
сложностью
88

89. спасибо за внимание
akulyakov.artem@gmail.com
http://github.com/0xffaa
http://vk.com/oxffaa