딥뉴럴넷 클러스터링 실패기
•
0 j'aime•291 vues
** 해당 자료는 외부 공유 인가 되었습니다. 1. 딥러닝의 동작 방식에 대한 기초 가이드 2. 네트워크를 통한 공간 변환 개괄 "다음을 꼭 기억하세요. 지금까지 딥러닝의 실제 성공은 연속된 기하학적 변환을 사용하여 공간 X 에서 공간 Y 로 매핑하는 능력에 기인합니다." 프랑소와 숄레, 케라스 창시자에게 배우는 딥러닝 가운데.
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à 딥뉴럴넷 클러스터링 실패기
Similaire à 딥뉴럴넷 클러스터링 실패기 (20)
딥뉴럴넷 클러스터링 실패기
- 1. 하용호
- 4. 할 수 있는 일과 할 수 없는 일의 차이는 뭐지? 이걸 딥뉴럴넷으로 푸는 게 맞나... 답답 막막
- 5. 딥러닝을 바라보는 관점을 나누었으면 개운 편안 올ㅋ오졌고욬ㅋㅋㅋ
- 6. 인트로 딥러닝의 능력 기계적 패턴 감지 프로젝트 교훈
- 7. 시작은 광고/검색엔진 개발자, 그리고 빅데이터, 그러다 딥러닝 UI 팀, 벌써 일년+
- 11. 올바르게 처리하기에는 너무 많은 정보 진위 문맥 제한사항
- 12. 이야기의 축
- 13. 현업에서 보유한 데이터와 딥러닝 프로젝트의 연결 그리고 대찬 실패 그 과정에 담긴 데이터와 딥러닝에 대한 이야기 실무 딥러닝 마스터 출입금지 농담이고요, 참석 만으로도 큰 영광입니다. (굽신)
- 14. 인트로 딥러닝의 능력 기계적 패턴 감지 프로젝트 교훈
- 15. 프랑소와 숄레 케라스 창시자에게 배우는 딥러닝의 저자
- 16. 프랑소와 숄레 케라스 딥러닝 라이브러리 창시자
- 18. 겁내지 마세요 Don`t panic 은하수를 여행하는 히키하이커를 위한 안내서 가운데 개발 옴총 쉽슴다 Train a simple deep CNN on the CIFAR10 small images dataset. https://keras.io/examples/cifar10_cnn
- 19. P.421 다음을 꼭 기억하세요. 지금까지 딥러닝의 실제 성공은 연속된 기하학적 변환을 사용하여 공간 X 에서 공간 Y로 매핑하는 능력에 기인합니다.
- 20. P.408 딥러닝에서 모든 것은 벡터 입니다. 모두가 기하학적 공간에 놓인 하나의 포인트 입니다. Cats and dogs and convolutional neural networks http://bitly.kr/5ma9W
- 21. P.408 초기 입력 벡터 공간을 타깃 벡터 공간으로 바꾸는 것 입니다. 0 = 고양이 1 = 개 매핑
- 22. P.408 데이터가 가진 의미를 벡터와 기하학적 공간으로 변환한 후 한 공간에서 다른 공간으로 매핑하는 복잡한 기하학적 변환을 점진적으로 학습합니다. 겁내지 마세요 Don`t panic
- 23. P.408 데이터가 가진 의미를 벡터와 기하학적 공간으로 변환한 후 한 공간에서 다른 공간으로 매핑하는 복잡한 기하학적 변환을 점진적으로 학습합니다. 0 = 고양이 1 = 개 의미변환
- 24. P.408 데이터가 가진 의미를 벡터와 기하학적 공간으로 변환한 후 한 공간에서 다른 공간으로 매핑하는 복잡한 기하학적 변환을 점진적으로 학습합니다. 입력 공간 출력 공간 0.3 0.6 0.0 매핑
- 25. P.408 데이터가 가진 의미를 벡터와 기하학적 공간으로 변환한 후 한 공간에서 다른 공간으로 매핑하는 복잡한 기하학적 변환을 점진적으로 학습합니다. w11 w12 w21 w22 0.3 0.6 0.4 0.8 0.3 1 w11 w12 w21 w22 w31 w32 0.2 0.1 0.9 0.7 0.3 0.1 ← 초기 값 Random 출력 공간 기대값 입력 공간의 의미 “나는 개 사진” 출력 공간 파생 공간입력 공간 w31 w32
- 26. P.408 데이터가 가진 의미를 벡터와 기하학적 공간으로 변환한 후 한 공간에서 다른 공간으로 매핑하는 복잡한 기하학적 변환을 점진적으로 학습합니다. w11 w12 w21 w22 0.3 0.6 0.4 0.8 0.3 1 w11 w12 w21 w22 w31 w32 0.2 0.1 0.9 0.7 0.4 0.2 출력과 기대값의 차이를 보고 조금변경 출력 공간 기대값출력 공간 파생 공간입력 공간 w31 w32
- 27. P.408 데이터가 가진 의미를 벡터와 기하학적 공간으로 변환한 후 한 공간에서 다른 공간으로 매핑하는 복잡한 기하학적 변환을 점진적으로 학습합니다. w11 w12 w21 w22 0.3 0.6 0.4 0.8 0.3 1 w11 w12 w21 w22 w31 w32 0.1 0.2 0.8 0.6 0.4 0.2 차례대로 변경 출력 공간 기대값출력 공간 파생 공간입력 공간 w31 w32
- 28. P.408 데이터가 가진 의미를 벡터와 기하학적 공간으로 변환한 후 한 공간에서 다른 공간으로 매핑하는 복잡한 기하학적 변환을 점진적으로 학습합니다. w11 w12 w21 w22 0.3 0.6 0.7 0.5 0.5 1 w11 w12 w21 w22 w31 w32 0.1 0.2 0.8 0.6 0.4 0.2 처음 부터 다시 출력 공간 기대값출력 공간 파생 공간입력 공간 w31 w32
- 29. P.408 데이터가 가진 의미를 벡터와 기하학적 공간으로 변환한 후 한 공간에서 다른 공간으로 매핑하는 복잡한 기하학적 변환을 점진적으로 학습합니다. w11 w12 w21 w22 0.3 0.6 ? ? 1.0 1 w11 w12 w21 w22 w31 w32 ? ? ? ? ? ? 출력과 기대값이 같아질 때 까지 출력 공간 기대값출력 공간 파생 공간 입력 공간 w31 w32 학습 대상 기하학적 변환 기하학적 변환 결과
- 30. 딥러닝의 능력 연속된 기하학적 변환을 사용하여 공간 X 에서 공간 Y로 매핑 데이터는 많아졌고 컴퓨터는 됴아졌다
- 31. 딥러닝의 능력 연속된 기하학적 변환을 사용하여 공간 X 에서 공간 Y로 매핑
- 32. 딥러닝의 능력 연속된 기하학적 변환을 사용하여 공간 X 에서 공간 Y로 매핑 XOR 문제
- 33. 딥러닝의 능력 연속된 기하학적 변환을 사용하여 공간 X 에서 공간 Y로 매핑 다수의 변환 공간을 쌓는다 풍부한 표현력
- 34. P.421 다음을 꼭 기억하세요. 지금까지 딥러닝의 실제 성공은 연속된 기하학적 변환을 사용하여 공간 X 에서 공간 Y로 매핑하는 능력에 기인합니다.
- 35. 인트로 딥러닝의 능력 기계적 패턴 감지 프로젝트 교훈
- 36. 딥러닝 분류 지도 학습 입력 벡터와 타깃 벡터가 존재 딥러닝 성과 영역 비지도 학습 타깃 벡터가 없음 입력 벡터만으로 해당 벡터 특성 추출 강화 학습 환경 + 환경 내부의 에이전트 선택 가능한 행동 보상 최대화 생성 모델 준지도 학습 GAN, VAE
- 37. 우리가 가진 데이터의 상황 NO 레이블 선택 가능한 모델의 제한
- 38. 선택 가능한 모델의 제한 지도 학습 타깃 벡터가 없다 IF 룰 기반 레이블 선별, 해당 데이터 학습 "재현률/정확도를 100% 달성한 결과로 (뚜둔) 룰 기반과 완벽하게 동일한 데이터를 얻었습니다." 토론, 토론, 토론 ING
- 39. 선택 가능한 모델의 제한 강화 학습 환경과 에이전트가 없다 "사용자 분석을 위해, 사용자를 모사한 에이전트와 사용자 환경을 모사한 환경을 먼저 개발하겠습니다."
- 40. 선택 가능한 모델의 제한 생성 모델 입력 벡터와 유사한 벡터를 생성 희소 데이터의 증식? 테스트 데이터 증식? 팀 실무와의 거리감 어쩔...
- 41. 남은 하나의 대안 비지도 학습 프로젝트 착수 주의 환기 본격적으로 잠을 불러 보겠습니다
- 42. 목표 레이블이 없는 상황에서 딥뉴럴넷을 사용해 의미 있는 데이터를 생산하자
- 43. 시작은 범용 로그에서 패턴을 분류하는 문제 다양한 산업군에 쌓여 있기만한 데이터가 얼마나 많은가 다른 문제도 풀 수 있으리란 기대감
- 44. 대안 의도된 벡터를 설계하고 해당 벡터에 적합한 네트워크를 구성
- 45. 의도된 벡터 특성이 드러나는 값 반복된 행위가 존재한다면, 높은 값을 가진다 e.g. 빈도 집계, TF-IDF 특성이 드러나는 형태 로그 타입 시간 흐름 로그 타입 시간 흐름 1277 값
- 46. 의도된 네트워크 Fully Connected Neural Network 반복 행위를 검출하기에 단순 파라메터 개수 Recurrent Neural Network 사용자 행동이 마치 문법처럼, 위치에 의미가 있을까? 입력의 길이
- 47. 의도된 네트워크 Convolutional Neural Network 필터 형태와 필터 연산 위치에 따라 패턴 학습 가능 An intuitive guide to Convolutional Neural Networks http://bitly.kr/P4oXb 패턴이 어디에 나타나더라도 무관한 연산 방식 학습되는 녀석은? 필터!!!!
- 48. 의도된 네트워크 Convolutional Neural Network 필터 형태와 필터 연산 위치에 따라 패턴 학습 가능 입력 벡터 필터 출력 벡터 시간 축과 동일한 길이 1. 시간 패턴을 추출 2. 타입 별 패턴 식별 없음 로그 타입 시간 흐름
- 49. 의도된 네트워크 Auto Encoder 입력 벡터 공간을 다시 입력 벡터 공간으로 재현 재현률이 높다면, 작은 공간은 입력 벡터의 특성을 잘 압축하고 있을 것 Applied Deep Learning - Part 3: Autoencoders http://bitly.kr/dmRcT
- 50. 예상 반복을 드러낼 수 있는 형태로 입력 벡터 공간을 구축하고, 해당 벡터를 해석하기 적합한 네트워크를 설계하였다. 이 때, 중간 레이어는 의도에 따라 시간적 패턴의 특성이 압축 될 것이며. 곧, 기계적 반복 행위 군집과 그렇지 않은 군집을 잘 나눌 것 이다.
- 51. 실제 분류에 경향성은 보이지만, 결국 판단이 어렵다. 해석을 위한 부가 데이터를 붙일 때마다 상이한 해석 e.g BU, 룰 기반 데이터, 보안실 데이터 PCA 적용 클러스터 VAE 적용 클러스터 TO 다양한 테스트와 결과값이 있지만, 과감하게 생략하였습니다. 박수 주셔야 되는 부분입니다. 이야기 꺼내면 세시간++
- 52. 망했어요 부검 시작
- 53. 부검 시작 테스트 데이터 생성 4시간 동안 접속한 사용자 2주기 2000건 3주기 2000건 Random 2000건
- 54. 부검 시작 PCA silhouette 계수 : 0.3990474343299866 clusters 수 : 7 2 3 Random A 613 39 % 29 % 31 % B 635 34 % 29 % 36 % C 930 40 % 29 % 30 % D 579 35 % 29 % 34 % E 1016 34 % 30 % 35 % F 1637 26 % 40 % 32 % G 590 31 % 34 % 33 %
- 55. 부검 시작 CNN AE, 일반 사각 필터 silhouette 계수 : 0.45135506987571716 clusters 수 : 3 2 3 Random A 2384 33 % 34 % 31 % B 1590 31 % 32 % 35 % C 2026 33 % 32 % 33 %
- 56. 아..아;직은;;
- 57. 부검 시작 CNN AE, 시간 필터 silhouette 계수 : 0.5805606842041016 clusters 수 : 2 2 3 Random A 3326 37 % 27 % 34 % B 2674 27 % 40 % 32 %
- 58. 의도된 특성이 아닌 다른특성이 더 벡터 재현에 좋음 그게 무엇인지는? 알 수 없음 (저는 없었어여..)
- 59. 그렇다면, 분류 문제로 바꿔보자
- 60. Fully Connected Neural Network silhouette 계수 : 0.7792009115219116 clusters 수 : 3 2 3 Random A 4328 46 % 31 % 22 % B 1046 0 % 0 % 100 % C 626 0 % 100 % 0 %
- 61. CNN, 시간 필터 silhouette 계수 : 0.999113917350769 clusters 수 : 4 2 3 Random A 1999 0 % 0 % 99 % B 2001 99 % 0 % 0 % C 1998 0 % 100 % 0 % D 2 0 % 0 % 100 %
- 62. 인트로 딥러닝의 능력 기계적 패턴 감지 프로젝트 교훈
- 63. 분명 네트워크 구성에 따라 다른 결과 FCNNVS 의도된 CNN 그러나...
- 64. 변환은 블랙박스 “공간에서 공간으로 매핑(변환)하는 능력이 있다고 했지, 그 방식을 설명한다고는 안했다.” “매핑을 최적화 하는 다양한 절차와 기법이 있지만, 매핑 자체에 담긴 의미를 찾는 건 별개의 문제다.”
- 65. 자신을 재현하는데 필요한 변환을 학습 잘함 모름 레이블의 분류에 필요한 변환을 학습 잘함 모름
- 66. 오늘의 발표 성과 지표 1. 어떻게 딥러닝이 동작하는지 알겠다. (50) 2. 변환은 블랙박스, 에 담긴 한계가 느껴진다. (80) 3. 공간의 변환, 에 담긴 함의를 생각하게된다. (100) 4. 레이블이 없다는 실무를 보면 짠할 것 같다. (120)
- 67. “다음을 꼭 기억하세요. 지금까지 딥러닝의 실제 성공은 연속된 기하학적 변환을 사용하여 공간 X 에서 공간 Y로 매핑하는 능력에 기인합니다.”
- 69. 아쉬우니까, 어펜딕스 Notes from Coursera Deep Learning courses by Andrew Ng https://www.slideshare.net/TessFerrandez/notes-from-coursera-deep-learning-courses-by-andrew-ng