__Cloud_CNA_MSA_Service+Data+InferenceMesh 소개-박문기@메가존클라우드-20230320.pptx

Cloud, the NEXT 기술 소개:
CNA  MSA+MDA+MIA
Service | Data | Inference Mesh
AI Solution Architect Team@Megazone Cloud
박 문 기 | mkbahk@megazone.com

Documentation History
Revision Date Editor Contents Comment
0.1 2022-11-04 박문기 최초 작성
0.2 2022-12-13 박문기 IT분야 과제부문 추가
0.5 2023-03-06 박문기 Data Loop, Data Domain TTL 개념 추가
Revision History
Date Written by Documentation Title
2022-11-04 박문기 Cloud, CNA, MSA, Service | Data | Inference Mesh 소개
Original Documentation

발표자 이력 소개
o Physical Networking
o 과거 약 -10년간
o Cisco(CCIE), Alcatel-Lucent, Juniper
o Router, Switch, Firewall, IPS/IDS, L4 Switch/LB, ...
o Ethernet-Spanning-Tree, RIP, OSPF, ISIS, BGP, ...
o Virtual Networking
o 과거 약 +10년간, SDDC(SDC+SDN+SDS)
o OpenStack with KVM, Neutron, Ceph, ...
o VMWare with EXSi, NSX, vSAN,...
o Microsoft Hyper-V with Hyper-V, Hyper-V Networking, Storage Space Direct, ...
o Application Layer Networking
o 지금은, +6이상, Public-Private-Hybrid Cloud VPC,..., Kubernetes Calico,... , Bigdata-AI(Pipeline),
HPC, ...
o Application Networking: MSA+Service Mesh
o Data Networking: MDA+Data Mesh
o Inference Networking: MIA+Inference Mesh

Cloud와 Cloud Native의 목표는.. 왜? 어떻게? 뭐가 좋아지나...
1. (왜) 가속화된 초-전환, 초-연결 IT 환경변화에 대비하기 위해서
2. (어떻게-H/W) IT H/W 부분은 IaaS 서비스화하여
o 점유된, Over Subscription된 H/W(Server, Network, Storage)들 모아서 Pool화하고, 가상화기술을 통해 Tenant로 자원들을 분리해
서비스화해 제공하고
o 필요시 적시에 Pool의 가상H/W를 제공하고, 상황에 따라 확장・축소(Scale in/out, up/down)하면서, 축소된 자원을 다른 요청
들을 위해 빠르게 재-할당하는 유연성을 제공하고
3. (어떻게-S/W) S/W 부문도
o PaaS, SaaS 적극 활용으로 App.개발 시간을 단축하고
o App.분야인 기존 MACRO Service Architecture형 Monolith Architecture(Web-WAS-DB)를 작게 쪼개서 변화에 빠르게 적응할 수 있는
MSA(Micro Service Architecture)로 변경하여 Service Mesh형으로 관리하고
o Data분야도 Data Warehouse, DataLake(Bigdata), LakeHouse등 기존 MACRO Data Architecture를 작게 쪼개서 MDA(Micro Data
Architecture)로 전환 후 Data Mesh형태로 관리하고,
o AI로 동적프로그램 생성하여 App.개발시간 단축하고, AI분야도 초-거대 AI구현하는 AGI(Artificial General Intelligence, MACRO)보
다는 작은|특화된 ASI(Artificial Specialized Intelligence)인 MIA(Micro Inference Architecture)로 비지니스 환경에 적용하고 Inference
Mesh형태로 관리하는 시스템으로 전환하고
4. (어떻게-조직) 조직구조도 CI/CD형 DevOps환경, 데이타중심, 트랜잭션중심업무중심, 기술중심 문제해결중심, 직능중
심조직직무중심조직으로 전환하면
5. (좋아지는 것) 초-전환, 초-연결 환경에 빠르고, 지속적으로 적응할 수 IT as a Product 환경을 구현하는 것

IT Infra. 환경 변화 대응: Cloud
자원풀화
가상화
표준화
자동화
※ Tenant: 클라우드 내 한 사용자 또는 조직이
사용할 수 있는 가상 컴퓨터, 가상스토로지,
가상네트워크의 집합

Cloud형 서비스의 종류
가상화
(SDDC)

Cloud 서비스의 가치(1/3)
비용절감 (TCO) 직원 생산성 향상 운영 안정성 비즈니스 민첩성
Example
신제품 출시까지 걸리는 시간이
75% 빨라짐 (Unilever)
Example
재해복구를 고려하여, 중요
업무를 Multi-AZ및 Multi-리 전
에서 운영 (Expedia)
Example
TCO 50%이상 절감 (GE)
Example
매해 서버 구성하는데 사용되
는
500시간 이상을 줄임 (Sage)
What is it?
인프라스트럭처 비용 절감/클
라우드로 이관하는 비용 최소
화
What is it?
개별 업무 단위로 역할별 업
무 효율 개선
What is it?
SLA 향상및 예정되지 않은 다
운타임을 줄임으로 얻는 효과
What is it?
새로운 기능 및 어플리케이션을
빠르게 출시하고 그 과정에서의
오류를 줄임
Cost impact Value impact

Source: “Fostering Business and Organizational Transformation to Generate Business Value with Amazon Web Services”, IDC, Feb 2018.
8%
13%
32%
47%
IT인프라스트럭처 비용 절
감
리스크 회피–사용자 생산
성 증대
IT 인력 생산성
비즈니스 생산성 효
과
0% 10% 20% 30% 40% 50%
비용 절감 (TCO)
운영 안정성 비즈니스 민첩성
직원 생산성
클라우드로 이관 후 얻은 효과의 각 영역별 분포
Cloud Value Framework

80% 15% 5%

Private Cloud w/ SDDC 구성 예)
OoB Mgmt Switch
UTM
DDoS
Leaf-Group
Port-Group
10G x 4E, Bonding
802.1q Tagging
Leaf-Spine Architecture
Open pSwitch
Internet
HDDC(Hardware Defined Data Center)
SDDC(Software Defined Data Center)

주목할 몇가지 IT 트랜드

몇 가지 중요 트랜드(1/8): 초-전환시대: 급변하는 비지니스와 IT기술 변화
아마추어는 일을 위한 조건과 환경을 구성하느라 일을 시작 못하고,
프로는 일단 일을 시작한 후 필요한 조건과 환경을 일에 맞춘다.
5천 만명

몇 가지 중요 트랜드(2/8): 초-전환시대: 더 급변하는 비지니스와 IT기술
변화

몇 가지 중요 트랜드(3/8): 초-연결 시대, Networking is Everything...
The Tree of Life
WarCraft 본진
✘
Simplicity and unity are best, but dangerous. Complexity
and Diversity are not best, but stable.
www
Internet
Evolution
Universe
Data Fabric & Mesh
AI-Deep Neural Network
MSA
금융 탈-중앙화
하나의 통일된 체계(초기:생산성증가  중기:생산성감소  말기:생존성약화)
물리학적 Entropy증가, 생물학적 다양성증가종심의존|종속성감소독립적인 부분변화 가속생존성증가
왜 우리는 네트워크를 만들고 있는가 또는 스스로 결과적으로 네트워크화 되어가고 있나요?

몇 가지 중요 트랜드(4/8): AI & GPU Computing
IT for Business IT is Business
Data for Business Data is Business
AI for Business AI is Business
AI, Open the age of wisdom
GPU Computing 활용영역 확장
1. Game, Rendering, Video Transcoding,
암호화폐마이닝
2. AI Deep Learning
3. GPU Database(ex. SQream)
4. MCMC 금융공학
5. HPC Simulation
6. Live SR(Super Resolution)
7. 메타버스
o AI, GPU Computing 대두
o Static Programing(CPU) + Dynamic Programing(GPU-AI Model/Inference) 통합 서비스 환경
o CPU Computing + GPU Computing 통합 수행 환경

몇 가지 중요 트랜드(5/8): GP∙GPU Computing(계속)
o GP∙GPU Computing 예) GPU기반 Database System - SQream
o Columnar Database : 원시 데이터는 컬럼 계열로 수직화 분류 및 저장됨
o I/O 단위 최적화 : 컬럼 계열의 데이터는 “Chunking” 되며 메타데이터가 부여 됨
o 모든 “Chunk”는 자동적으로 저장 시 압축 • 로딩 시 압축해제 됨
o 시스템 메모리에 들어온 “Chunk”는 GPU메모리에 적재되며 Parallel Processing 됨
o 성능비교: 국내L통신사 CDR-요금제별 서비스 1일분석업무, Hadoop 100대-1:10:00, SQream 1대 w/ A100x8: 0:19:06
Automatic adaptive
compression
Data Data Data
GPU
Parallel chunk
processing
Data Skipping
Data Data Data
Chunking
Data Data Data
+ Metadata tagging
Columnar process
Data Data
Data
Data
Raw data
Data Data Data
Data Data Data
Data Data Data
GPU
Parallel chunk
processing
GPU 가속
분석DBMS
AMD EPYC 9004 GENOA CPU 96 Cores
vs.
NVIDIA H100 GPU 16,896 FP32 CUDA Cores

몇 가지 중요 트랜드(6/8): Virtualization기반Container기반으로 급속 전환
Cloud
Whitebox Switch H/W+Open vSwitch S/W
== Openflow enabled SDN Switch or Open pSwitch
VxLAN, GRE
Tunnel
옵션#1 옵션#2 옵션#3
Container Container Orchestrator
BareMetal  VM  Container  FaaS...

Kubernetes Clustering Platform
CPU 클러스터 운영 클러스터
GPU 클러스터
K8s CSI(Cloud Storage Interface)+CRI-O(Cloud Runtime Interface-OCI)+CNI(Cloud Network Interface), GDS(GPUDirect Storage)
분산병렬스토리지
K8s Container기반 AI-HPC-Bigdata-Quantum(6/8): 통합 플렛폼
DevOps DataOps
MLOps

몇 가지 중요 트랜드(7/8): Composable Enterprise

몇 가지 중요 트랜드(8/8): 양자컴퓨팅과 QML(Quantum Machine Learning)
소스: https://youtu.be/-o9AhIz1uvo?t=880
Qbit가 추가될 때 마다 NQbitNQbit 병렬처리 능력 향상

CNA환경에서 App. 개발전략 및 방법론
MSA(Micro Service Architecture)
&
Service Mesh

CNA(Cloud Native Architecture)와 MSA(Microservices Architecture)의 필요성

CNA(Cloud Native Arch. or Strategy)이란?
Host/Slave(1-Tier)Client/Server(2-Tier)Web Service(3-Tier: WebWASDB, SOA)CloudNative(NxN-Tier, NxAPI-GWNxMicroservicessNxDB, SOA+MSA)

MSA(Cloud Native한 S/W 개발 아키텍쳐)  Platform | Eco-System as a Product
Service-Oriented Architecture
compose of
Loosely coupled elements
that have
bounded contexts Microservices
App. Block
Monolith
App. Box
[초기장점->확장되면 단점으로]
1. 개발 속도가 빠름어려움
2. 테스트하기 쉬움어려움
3. 배포하기 쉬움어려움
4. 기능개선이 쉬움어려움
5. 통합된 신기술 도입어려움
[장점]
1. 모듈 독립성 유지로 배포용이
2. 신기술 도입이 용이
3. Ployglot: 적소에 최적기술사용
다양한 [아키텍쳐|언어|DataStore]
4.기능개선이 용이
5. 장애격리 용이
6. 확장성 용이
[단점]
1. 도입의 어려움
2. 복잡한 운영
3. 트랜잭션 유지의 어려
움
4. 디버깅의 어려움
Session-Oriented
Tightly Coupled

Monolith vs. MSA 서비스 확장성(Scale in/out, up/down) 비교

MSA와 Polyglot(다언어, 다형성)

Container내 MSA모듈 기본구성요소
(Service + Process + DataStore + Infra)
Microservices
K8s App. POD.
Sidecar, Proxy, Agent
Add-on, Interceptor,...
Biz Process
Mini
WWW Engine
Mini Mgmt. Web Page.
http://localhost:15xxx
L-4 LoadBalancer
Service Registry
/health
/config_dump
/env_dump
/logging
/process
/memory
/help
/api
/listeners
/secrets or cert
/ip
/hostname
/datacatalog
/....
Datastore
API-GW Portal
Data Portal
Service Mesh
Web Portal
Service Catalog
Service POD IP Mapping

Microservices
App. Block
Monolith
App. Box
Container, MSA을 담을 그릇(초-전환)
MSA

Container(Docker Container가 Embedded Tomcat Container 보다는...)
Microservices
App. 구조

MSA구현을 위한 기반 플랫폼: Spring Cloud vs. Kubernetes
MSA성공하려면 Java@Spring Framework, PaaS-TA, Oracle, 통일, 표준화,... 버려야!!!

MSA구현 플랫폼 예시: Spring Cloud

Container Orchestrator(Kubernetes)
 S/W적으로 변경가능한 SDDC(SDC, SDS, SDN)형 구성을 위한 모든 인프라 제공
 가장 중요한 속성: 주어진 형상을 끝까지 유지하려는 속성
 MSA의 De facto Standard 환경
 App. 배포 및 서비스에 최적화된 O/S...

전통적인 서비스 수행환경 vs. Kubernetes
Internet L-3 Router Firewall
L-4/L-7
LB Switch
L-2
Access Switch
Servers Storages
Desktop & Notebooks
DNS
Server
vLAN
vLAN
vLAN
vLAN
Backbone
L-3 Switch

MSA설계방법론: DDD(Domain Driven Design)
데이타,트랜젝션중심  업무중심
기술중심  문제해결중심
직능중심조직  직무중심조직

MSA를 위한 개발문화 중 필수조건  배포 자동화 및 지속적 배포
Anytime, not scheduled
소스: AWS

MSA신속성을 위한 CI/CD형 응용프로그램 개발 및 지속적 배포

MSA를 위한 조직문화: CI/CD형 DevOps  DataOps + MLOps 까지...
Monolith:
o 개발, 테스트, 배포, 운영조직 분리되어 있었음.
o 다른 쪽으로 일을 던진 후 알아서 처리하라고 잊
어버리는 방식
MSA:
o MSA 개발 및 운영조직 통합(Dev+Ops = DevOps)
o You run it, you build it. 만들면 운영까지 – Amazon
CTO 베르너 보겔수
o 개발팀은 프로젝트 그룹이 아닌 제품(Product) 그
룹에 소속
o 운영과 제품 관리 모두가 포함되어 조직적 구조,
o 제품 팀은 소프트웨어를 만들고 운영하는데 필
요한 모든 것을 소유

APIFirst: 외부와의 통일된 MSA 통신패턴: REST API(초-연결)
HTTP, REST API
o HTTP
o 클라이언트의 상태를 가지 않음(Stateless)
o 각 요청은 자기완비적(Self-Contained)
o REST vs. 그 외(EJB, SOAP, etc, ...)
o REST API
o 2000년 로이필딩(Roy Fielding)박사가 소개(HTTP 명세 writer)
o 원격자원(Resource)와 엔티티(Entity)를 다루는 데 초점
o 동사 대신 명사를, 행위 대신 엔티티에 집중
o REST는 기술 표준이 아닌 아키텍처 제약사항
o 상태가 없고 요청이 자기완비적이기 때문에 서비스도 수평적
으로 쉽게 확장

APIFirst: 외부와 통신 통제-API Gateway
Microservices
K8s App. POD.
Biz Process
Mini
WWW Engine
L-4 LoadBalancer
Service Registry
/health
/config_dump
/env_dump
/logging
/process
/memory
/help
/api
/listeners
/secrets or cert
/ip
/hostname
/datacatalog
/....
Datastore

MSA 복잡성(I)
DataLake
DataLake
DataLake
Service Mesh

MSA 복잡성해결사Service Mesh의 출현
MSA
API Gateway
Meshed Service Network
(L-7 Application Layer Networking)

MSA 복잡성 문제 해결사: Service Mesh(istio + kiali)
Application-Aware Networking, Application Layer Networking, SDN
다수의 MSA로 구성되는 아키텍처의 특
성을 서비스간 통신과 관련하여 발생하
는 다양한 문제를 해결하는 솔루션
[Envoy Proxy-SDN Data Plane]
o Dynamic service discovery
o Load balancing, TLS termination
o HTTP/2 and gRPC proxies
o Circuit breakers, Health checks
o Staged rollouts with %-based traffic split
o Fault injection, Rich metrics
[Istiod-SDN Controller Plane]
o service discovery
o certificate management
o configuration management
MSA

CNA환경에서 Data 분야 변화:
MDA(Micro Data Architecture)
Data Fabric & Data Mesh)

SQream: GPU-Accelerated AnalyticDB
분석DB
GPU로 가속된 rDBMS형, SQL을 지원하는 초-거대용량 “정형” 빅데이타 처리용 병렬분산•분석DB
2005~
In-Memory
Omnisci
(MapD)
Kinetica
Aerospike
SAP HANA
VoltaDB
IBM-DB2 BLUM
emSQL
Altibase
2010~
MassiveData
(DataLake, LakeHouse)
1990~
MPP(EDW)
Teradata MongoDB
Vertica Redshift
Oracle-Exadata
IBM-Netezza
Greenplum
Sybase IQ
Oracle
DB2
SQLServer
Informix
Sybase ASE
SQreamDB
Hadoop-Hive
Snowflake
BigQuery
1970~
ClassicalRelational
2010~
NO-SQL
1) WIDE COLUMN DATABASE(Store)
Hbase, GoogleBigTable, Vertica,
Druid, Accumulo, Hypertable
2) GRAPH DATABASE
Neo4j, Blazegraph, OrientDB
3) DOCUMENT DATABASE(Store)
MongoDB, Azure CosmosDB, CouchDB,
MarkLogic, OrientDB
4) KEY-VALUE DATABASE(Store)
Cassandra, LevelDBRocksDB, Redis,
Oracle NoSQLDB,Voldemorte,
Oracle BerkeleyDB, Memcached, Hazelcast
RelationalDB NoSQL & Hadoop Public Cloud Only
GPU Database
GPU Accelerated+rDBMS-SQL+MPP+NO-SQL(WIDE COLUMN, Key-Value DB)  SQream AnalyticDB

Data Warehouse(MPP, ETL-Filtering)
RDBMS APP.
BI
RDBMS APP.
BI
ETL/CDC
MPP

BigdataDataLake(Hadoop, No/Selective Filtering)
ETL/CDC
ELT
Messaging
Bus

Data Warehouse + DataLake  Lakehouse
Lakehouse
[Lakehouse의 기능들]
⦿ 거래지원
⦿ 스키마 시행 및 거버넌스
⦿ BI, ML/DL, 데이터 과학, 스트리밍 분석 지원
⦿ 스토리지는 컴퓨팅에서 분리
⦿ 개방 상태
⦿ 비정형 데이터부터 정형 데이터까지 다양한
데이터 유형 지원
⦿ 다양한 워크로드 지원
⦿ 종단 간 스트리밍

Data Lake 및 Lake House 접근방식
소스: https://youtu.be/vXSEV0q_T8g?t=243

MACRO Data Architecture의 문제점

Micro Data Arch. + Dash Mesh의 출현

MDA & Dash Mesh의 출현과 기본원칙
o MACRO Data(DWH, Bigdata, DataLake, LakeHouse) Arch.의 문제점
o 데이타를 한곳에 모이지 않고도 Bigdata의 효과(통합쿼리)를 낼 수 있는 방법은 없을까?
o 그래도, 그래도 데이타는 역시 실-시간 쿼리가 중요한데요 ETC/CDC/ELT은 시간차가 발생합니다.
o MSA-Service Mesh에 맞추어 데이타분야는 어떻게 진화해야 할까요?
o MDA, Data Mesh 기본원칙 by Zhamak Dehghani@Thoughtworks
o 목적: 기존의 중앙집중식 데이터 아키텍처에서 벗어나서 조직 전체에서 데이터를 분산시키고, 자율
적으로 운영 및 관리할 수 있도록 하는 것
o 정의: Data Mesh is a decentralized sociotechnical approach in managing and accessing analytical data at scale.
o 원칙:
1) 도메인 중심 데이터 소유권: 데이터는 도메인에 속하는 비즈니스 팀에서 소유하고 운영
2) 자율적 데이터 팀: 데이터 팀은 자체적으로 의사결정을 내릴 수 있는 자율적인 조직이 되어야 함
3) 분산 데이터 아키텍처: 데이터는 작은 단위로 나누어 각각의 도메인 팀에서 관리하며, 이러한 분
산 데이터가 전체적으로 연결되어서 데이터의 통합성과 일관성을 유지함
4) 데이터 제품화: 데이터를 단순히 저장하는 것이 아니라, 데이터 제품(Product)으로 생각하여 생산,
소비, 재사용 가능한 형태로 관리함
5) 자체 서비스: 데이터 팀은 자체적으로 서비스(Service)를 제공하는 조직이 되어야 함
o 결론: 이러한 기본 원칙을 따르면 분산 데이터 아키텍처와 데이터 제품화를 통해 데이터를 보다 효율
적으로 관리하고, 사용자들이 데이터를 보다 쉽게 이용할 수 있도록 함
소스: https://www.youtube.com/watch?v=_bmYXWCxF_Q

Data Fabric = Federated DBMS, No Storage
Super Queryer w/ DataCatalog
Data Virtualization
EDWLDW(Logical DW)

MACRO DATAArch.  Micro DATAArch.(MDA)로
Microservices
K8s App. POD.
Biz Process
Mini
WWW Engine
L-4 LoadBalancer
Service Registry
/health
/config_dump
/env_dump
/logging
/process
/memory
/help
/api
/listeners
/secrets or cert
/ip
/hostname
/datacatalog
/....
Datastore
o DataStore, not DBMS
o Single Table, not joining
o Tabular, .Json, .Yaml, .XML,...
o Loosely Coupled by Message bus
o Query Engine과 Storage 분리
o Distributed Transaction
o Eventually Consistency
MACRO DATAArchitecture의 문제:
(DWH, Lake, Lakehouse,...)
1) 너무 많은 스토리지 용량
2) 너무 많아지는 데이타 소스
3) MSA에 대한 부적응
4) 실-시간성 부족

MSA를 위한 MDA DB 구성전략

MSA를 위한 MDA DB 분리 및 활용

MSA를 위한 MDA DB 트랜잭션 패턴-공유 데이타베이스

MSA를 위한 MDA DB 트랜잭션 패턴(명령어/쿼리 역할분리)
CQRS,Command Query Responsibility Segregation
Message Bus

MDA - Data Mesh에서 데이타 복제는
ETL

MSA Service Mesh상에 MDA & Data Mesh구현

DataLake
DataLake
DataLake
MDA=Data Fabric + Data Mesh
Super Queryer
Data Gov.
MSA-Service Mesh + MDA-Data Mesh
Data Fabric
DataOps
Data Pipeline

Dash Mesh의 구현
Data Mesh
Super Queryer
3) Data Linage by
Data Tagging for Data Tracing
2) Super Queryer 도입
DataOps
4) Data Loop
DAG(방향성 비순환 그래프)
5) Data Domain
TTL(Time-to-Live)
1) Dynamic Catalog Update
Data Resource Registry
6) Best Data?
X

CNA환경에서 AI Service 통합
MIA(Micro Inference Architecture)
&
Inference Mesh

4차 산업혁명시대의 IT의 위상
IT for Business IT is Business
Data for Business Data is Business
AI for Business AI is Business
AI, Open the age of wisdom

AI란 무엇인가?
인간 구성요소의 지능기계화:
육체  로봇
이성  정형데이타, CPU를 위한 정적으로 코드화된 프로그램(수학·논리적인 수리과학 능력 필요)
감정  비정형데이타, GPU에 의한 동적으로 생성되는 프로그램(ML/DL 모델 , 통계 · 자연과학 · 인문학적 능력 필요)
결국, 인간을 닮은
“지능기계”를 만드
는 것
지능(Intelligence): 경험에서 받아들여진 불완전한 지식에 근거한 합리적판단(추론) 능력”이다.
학습(Learning)은 경험된 데이터의 응축(통계모델)을 형성합니다. 불확실성이 없이는 지능도 없다.
딥너링의 대부:
제프리 힌튼 교수
 학사: 생리학, 물리학
 석사: 철학, 심리학
 박사: 인공신경망
대량의 데이타, 대량의 컴퓨팅파워, 대량의 전기를 투입하여,
인간보다 빠르고, 안정적, 누적적으로 지식을 학습하는 과정

AIMLDL의 출현(2번의 겨울을 이겨낸 인고의 결과...)
인공신경망(Perceptron)XOR문제xMLP(다층신경망)학습시간↑문제오차역전파로 해결기울기소실문제발생RBM(제한된 볼프만 머쉰),
ReLU함수, 정규화로, Weight초기화로 해결 (Artificial NN(죽은단어X), Big Learning(Big Data선점)) Deep Neural Network출현Deep Learning, DNN
(AlexNet) ImageNet Classification with
Deep CNN(Convolutional Neural Network))
계층적특성학습
SuperVision팀: 제프리 힌튼+알렉스 크리체프스키 +일리야 수츠케버
+니티시 스리바스타바 CNN, GPU활용, OverfittingDropout + 자비어 글로렛 ReLU활성화함수
PEI-PEI LI
14,197,122장 이미지
20,000개 카테고리
인간 5.51%에러:
SuperVision팀: 25%에러율15~16%, Google: 6.65%, MS: 152개 층 3.56% 달성

Google 신이 죽고, ChatGPT 신이 오셨다.
100만명 도달: 5일
100만명 도달: 10개월
100만명 도달: 3년
Microsoft 100억 $, 12조원 투자 Google 비상경영 선언

AI, "창작의 시대""생성의 시대(Generative Age)"로 전환
o 프로그램은 개발하는 것이 아니에요, 생성하는 것이에요. by chatGPT
o 시나 소설은 창작하는 것이 아니에요 , 생성하는 것이에요. by chatGPT
o 작곡도 창작하는 것이 아니에요, 생성하는 것이에요. by musicplugin, ampermusic, jukedesk
o 그림은 그리는 것이 아니에요, 생성하는 것이에요. by DAL・E 2, midjourney
o 비디오도 촬영하는 것이 아니에요, 생성할 수 있어요. by Runway, Stable Diffusion Videos, Meta AI
o 수십개의 언어에 대한 번역도 사람이 하는 것이 아니라, AI가 할 수 있어요. by Google Translator

결정론적 프로그래밍 vs. 확률론적 프로그래밍
물체의 속성(feature):
질량, 온도, 가속도, 부피, 색깔,…
F=ma
Computer
Data
Program
Output 물체가 받는 힘
그래서, Accel은 얼마는 밟아야…
엄청나게 많은 물체의 속성(feature):
질량, 온도, 가속도, 부피, 색깔,…
(정답)
Computer
DataSet
Program
(Model)
Output
물체가 받는 힘
새로운 Output
Accell의 양은 얼마임
F=ma
새로운 물체의 속성(feature)
기계학습(Machine Learning)
지식공학(Knowledge Engineering)
(정답)
Processing(처리)
Learning(학습) |
Training(훈련)
Prediction(예측)
| Inference(추론)
Service
(정적 코드화)
(동적으로 생성된)
출처: "Field of study that gives computers the ability to learn without being explicitly programmed” Arthur Samuel(1959)

AI로 인한 Data에 대한 중요한 관점 변화
소스: https://youtu.be/3Q_XbPmICPg?t=484

Deep Learning 수행구조- GRAPH 구조/알고리즘
Vertices(정점)
Node
Gateway
Neuron
Edge(간선)
Link
Connection
Synapse

Deep Learning 수행구조
Y = W ・X + b
X1
X2
W1
W2
b
MatMul
(W ・X + b)
Ȳ
XNew
Drop
가중치
갱신
Transfer Function
(Hypothesis)
Activation Function
Optimizer
Forward Propagation
Backward Propagation
MSE
Binary Crossentropy
Categorical Crossentropy
SparseCategoricalCrossentropy
Hings
Huber
KLDivergence
Logcosh
Poisson
Reduction
…
MatMul
Convolution
Pooling
Merge
Recurrent
Embedding
Normalization
Noise
Dense Attention
…
Sigmoid
ReLU
Leaky RelU / PReLU
ELU
Maxout
Tanh
…
GD
SGD
Momentum
NAG
Nadam
Adam
Adagrad
AdaDelta
RMSPorp
Yes
No
Input
Output
Ȳ == Y
Loss Function
(Error, Object)
Yes
No
L1 정규화
L2 정규화
L1-L2 정규화
반복
Backpropagation
Feed Forward
반복

AI, Deep Learning Training의 결과  AI Model
초-전환시대 프로그램 짤 시간도 부족해....그냥 AI 동적으로 만들어 주면 않되...
https://playground.tensorflow.org/

Neural Network의 기본구조와 종류들

AI Trained Model Service  Inference
MLOps

AGI(Artificial General Intelligence) vs. ASI(Artificial Specialized Intelligence)
일반(범용) 인공지능(artificial general intelligence, AGI)은 인간이 할
수 있는 어떠한 지적인 업무도 성공적으로 해낼 수 있는 (가상적
인) 기계의 지능을 말한다. 이는 인공지능 연구의 주요 목표이며,
SF 작가들이나 미래학자들의 중요한 소재이다. 인공 일반 지능
은 강한 AI, 완전 AI, 또는 '일반 지능적 행동'을 실행하는 기계의 능
력이라고도 한다.
Massive AI Inference Service
ex) OpenAI GPT, DeepMind AlphaGoAlphaZero, StartCraft 2,...
• 찬성론자: 레그(웹마인드), 괴르첼(딥마인드), 샘알트만
(OpenAI)
• 반대론자: 일론머스크(OpenAI), 얀 르쿤 & 앤듀르 응(AI 4대 천
왕 중),...
• AGI의 문제점: 돈, 데이타, 컴퓨팅 파워
• GPT-3: 초-거대 AI 기준, 1,750억 파라메터, 3,000억개 데이
타셋, NVIDIA V100-1,024개, 4개월, 500억 학습비용
• chatGPT 운영비용: 일일10만$(13억원), 매월: 300만$(390억
원) , 유료화 월 30,000원
• Naver Clova AI: 진입비용 1,000억원, 700PF, NVIDIA DGX-
A100 140대, GPU 1,120개
특화 인공지능(Artificial Specialized Intelligence, ASI) '강한 AI'와
구별하여 특정 문제 해결이나 이성적 업무의 연구, 완수
를 위해 사용되는 소프트웨어를 '응용 AI'(또는 '좁은 AI', '약
한 AI')라 부르기도 한다. 약한 AI는 강한 AI와는 반대로 인
간의 인지적 능력의 모든 범위를 수행하려 시도하지 않는
다.
Micro AI Inference Service
ex) 기타 모든 AI..
정적 프로그래밍 보다
AI로 동적생성프로그램 먼저 고려

DataLake
DataLake
DataLake
MSA Service Mesh와 AI Inference Service 결합  Inference Mesh
정적프로그램 + 동적프로그램 결합,
Inferencing Mesh
Networked ASI  MIA(Micro Inference Arch.)
초-거대 AI
(AGI)
외부-특화AI
(ASI)
외부
AI DataSet
API
API
API
API
API
ASI
ASI
ASI
ASI
ASI
ASI
ASI ASI
ASI
F#1) Model Catalog Update
Model Resource Registry
F#3) Model Linage by
Data Tagging
F#2) Inference Loop
DAG
F#4) Model Domain
TTL(Time-to-Live)
"2025년까지 인공지능을 완전히 가치 창출 워크플로에 흡수하는 기업들은
+120%의 현금 흐름 성장을 이루며, 2030년 세계 경제를 지배할 것.
"맥킨지 글로벌 인스티튜트"

초-거대 AI(AGI)  Backbone Network of Neural Network
DataLake
DataLake
DataLake
초-거대 AI(AGI)
Backbone of Neural Network
ASI
ASI
ASI
ASI
ASI
ASI
ASI ASI
ASI
특화AI(ASI)
특화AI(ASI)
특화AI(ASI)
특화AI(ASI)
특화AI(ASI)
특화AI(ASI)
특화AI(ASI)
특화AI(ASI)
Inferencing Mesh

QML(Quantum Machine Learning) for AI
핵심: Qbit가 추가될 때 마다 NQbitNQbit 병렬처리 능력 향상

CNA환경에서 Storage Service 통합
분산 ∙ 병렬 스토리지

Cloud, Container, AI, HPC용 분산병렬형 통합스토리지의 중요성(1/2)
네트워크의 성능이 스토리지 성능을 결정
오픈소스형 소프트웨어 정의 분산형 스토리지
통합 I : 객체, 블럭, 파일스토리지
통합 II : Workload별 IOPS, Throughput, Cost & Capacity-최적화
무한 확장성
일반 x86하드웨어에서 동작
결험허용 제공-단일실폐 방지
자동관리, 자동치료 기능
Sage Weil
SAN NAS
Backup /
Archive
GPUDirect Storage Weka POSIX Client
AI Training
분산병렬처리
HPC / Com pute Grid
분산병렬처리
Kubernetes
CSI
수천/ 만개의
Container
스토리지접근
iSCSI, SMB, NFS
Traditional Platform
Protocols
수천/ 만개의 VM
스토리지접근
BLOCK, FileShare, Object FileShare
MPP Hadoop
수백대 DB Engine
스토리지접근

Cloud, Container, AI, HPC용 분산병렬스토리지의 중요성(2/2)
Hadoop HDFS는 어디에 있는가?

DataLake
DataLake
DataLake
초-연결, 초-전환시대는 Cloud전환 후 새로운 S/W Architecture CNA는...
(MSA)Service Mesh | (MDA)Data Mesh| (MIA)Inferencing Mesh over Kubernetes
Service Mesh Inferencing Mesh
Service Mesh
Data Mesh
AI Inferencing Mesh
DevOps DataOps MLOps
Orchestration & Monitoring
Kubernetes Clustering Platform
CPU 클러스터 운영클러스터
GPU 클러스터
K8s CSI(Cloud Storage Interface)+CRI-O(Cloud Runtime Interface-OCI)+CNI(Cloud Network Interface), GDS(GPUDirect Storage)
분산병렬스토리지
nvm e
nvm e
nvm e
nvm e
nvm e
nvm e
Data Mesh
???
???

석기시대가 끝난 이유는...
• "The Stone Age didn't end because they ran out of
stones, but because came up with a better idea", 사
우디 석유장관 "아흐메드 자키 야마니"
• 초-전환, 초-연결시대 세상의 변화들
• MP3 Player  iPhone
• 내연기관자동차  전기자동차
• 석유  재생에너지
• KTX에는 개찰구가 없어졌고.
• Next iPhone  ChatGPT,...
• 역경(주역)의 결론
窮則變(궁즉변), 變則通(변즉통), 通則久(통즉구)
궁하면 변해야 하고, 변하면 통할 것이요, 통하면 만수무강하다.
92
170km 직선
700조원

__Cloud_CNA_MSA_Service+Data+InferenceMesh 소개-박문기@메가존클라우드-20230320.pptx

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à __Cloud_CNA_MSA_Service+Data+InferenceMesh 소개-박문기@메가존클라우드-20230320.pptx

Similaire à __Cloud_CNA_MSA_Service+Data+InferenceMesh 소개-박문기@메가존클라우드-20230320.pptx (20)

__Cloud_CNA_MSA_Service+Data+InferenceMesh 소개-박문기@메가존클라우드-20230320.pptx

Notes de l'éditeur