Deploying Hyperledger Fabric on Kubernetes.pptx

Deploying Hyperledger
Fabric 2.x on Kubernetes
-실습 참고 자료-
한국폴리텍대학 스마트금융과
황원용 교수

NFS 준비
• 서버 준비
- Virtual Box, 실서버 등 (OS: Ubuntu 20.04 or above)

NFS 설정
## NFS Server
1. sudo apt update
2. sudo apt install nfs-kernel-server
3. sudo mkdir -p /mnt/nfs_share
4. sudo chown -R nobody:nogroup /mnt/nfs_share/
5. sudo chmod 777 /mnt/nfs_share/
6. echo "/mnt/nfs_share *(rw,sync,no_subtree_check,insecure)" | sudo tee -a /etc/exports
7. sudo exportfs -a
8. sudo systemctl restart nfs-kernel-server
## NFS Client (Ubuntu)
1. sudo apt update
2. sudo apt install nfs-common
3. sudo mkdir -p /mnt/nfs_clientshare
4. sudo mount <IP>:/mnt/nfs_share /mnt/nfs_clientshare
5. ls -l /mnt/nfs_clientshare/
nfs-common 설치는 쿠버네티스 모든 노드에 설치해야 함!
CentOS에서는 yum install nfs-utils로 설치
참고 : pv나 pvc삭제시
kubectl delete pv/pv-name --grace-period=0 --force
kubectl delete pvc/pvc-name --grace-period=0 --force

NFS 설정
• PV 배포
• PVC 배포
• 테스트용 Pod 배포

인증서 생성 관련 준비
인증서 유효기간 변경
- 전자서명 : 5년
- ca 인증서 : 10년
인증서 유효기간 변경
- 전자서명 : 5년
- ca 인증서 : 10년

인증서 생성관련 파일을 NFS로 복사
chmod a+x /mnt/nfs_vb_share/scripts/*
cd /mnt/nfs_vb_share/
mkdir organizations
cp -r fabric-ca/ organizations/

인증서 생성 관련 준비 - fabric ca
ca-org1.yaml
① nfs 에 인증서 설정 yaml 이 있고, 이 경로를 pod의 subPath로 지정
② pod 기동 이후로, nfs 확인해 보면 pod의
/etc/Hyperledger/fabric-ca-server의 파일이 nfs로 mount됨을 확인

인증서 생성 관련 준비 - fabric ca
• k apply -f ca-org1.yaml
• k apply -f ca-org1-service.yaml
• k apply -f ca-org2.yaml
• k apply -f ca-org2-service.yaml
• k apply -f ca-orderer.yaml
• k apply -f ca-orderer-service.yaml

• 인증서 생성 쉘 스크립트 준비하여 NFS 서버로 복사
• 인증서 생성 Job 실행
k apply -f job.yaml

실행 중 스토리지 부족 오류 발생 대처
예> VB에서 25GB의 공간을 VDI로 할당하였는데, 우부투에서
df –h 로 확인한 공간이 12GB로 절반이하로 할당된 상황
$ lvm
lvm> lvextend -l +100%FREE /dev/ubuntu-vg/ubuntu-lv
lvm> exit
$ resize2fs /dev/ubuntu-vg/ubuntu-lv
<Tip> 우분투에서 VirtualBox에서 할당한 공간보다
하드디스크 공간이 부족하게 잡히는 경우

인증서 생성 실행 결과 확인

channel-artifacts 생성
Anchor Peer 설정

준비
• 조직 정의(configtx.yaml) 파일 및 채널 생성 등 스크립트 NFS로 복사

실행
• k apply -f job.yaml
결과 확인

Orderer 실행
• k apply -f .

configMap 설정
• 체인코드 빌드에 사용할 config
• peer 컨테이너 실행에 사용할 config
• k apply -f builder-config.yaml

peer, peer-cli 실행
• k apply -f org1/
• k apply -f org2/

어플리케이션 채널 생성
• peer0 org1 cli 컨테이너에서...
./scripts/createAppChannel.sh

채널 조인
• 모든 peer cli 컨테이너에서...
peer channel join -b ./channel-artifacts/mychannel.block
• peer channel list

update anchor peer
./scripts/updateAnchorPeer.sh Org1MSP
./scripts/updateAnchorPeer.sh Org2MSP

Debugging
networking
issues with
multi-node
Kubernetes
on
VirtualBox
• 클러스터내에서 dns 조회가 안되는 현상
(예> ping orderer, nslookup orderer)
• 진단을 위한 pod 설치
진단은 https://kubernetes.io/docs/tasks/administer-
cluster/dns-debugging-resolution/ 를 참조
kubectl apply -f
https://k8s.io/examples/admin/dns/dnsutils.yaml
• 아래 명령에서 오류 확인
kubectl exec -i -t dnsutils -- nslookup kubernetes.default
• 해당 pod로 진입하여, nslookup 확인 (오류 확인)
kubectl exec -it dnsutils -- bash
nslookup kubernetes.default
• 원인
flannel이 Virtual Box의 NAT 인터페이스(enp0s3, 10.0.*.*)으로
네트워크 인터페이스를 사용하여 문제가 발생
 쿠버네티스 클러스터를 연결하는 Bridge 인터페이스(enp0s8,
192.168.56.*)을 사용하도록 설정해야 함

Debugging networking issues with
multi-node Kubernetes on VirtualBox

Deploying Hyperledger Fabric on Kubernetes.pptx

체인코드 준비 & 배포 준비
• 체인코드 준비 및 NFS 서버로 복사
• /mnt/nfs_clientshare/chaincode/basic/packaging
In packaging directory,
tar cfz code.tar.gz connection.json
tar cfz basic-org1.tgz code.tar.gz metadata.json
rm code.tar.gz
open connection.json & replace "basic-org1" with "basic-org2"
tar cfz code.tar.gz connection.json
tar cfz basic-org2.tgz code.tar.gz metadata.json
rm code.tar.gz

체인코드 설치
• In every cli Container,
cd /opt/gopath/src/github.com/chaincode/basic/packaging
peer lifecycle chaincode install basic-org<N>.tgz

체인코드 컨테이너 생성
Dockerfile을 통해 go 빌드하지 않고,
native 빌드를 해야 추후 컨테이너가
정상 작동한다.
go build -o chaincode -v .
Dockerfile
 go 빌드 결과

체인코드 컨테이너 생성

체인코드 Pod 생성 준비
• org<N>-chaincode-deployment.yaml 설정
이전 장에서 체인코드 설치한 결과로 받은 id값을 설정하고 org1-chaincode-deployment.yaml,
org2-chaincode-deployment.yaml 배포 k apply -f .

체인코드 approve
peer lifecycle chaincode approveformyorg -o orderer:7050 --channelID mychannel --name basic
--version 1.0 --package-id
basic:6e260574b04b921dbc4e680ae9ca9ab12075a1789580f68a3c9d94df19062839 --sequence 1 -
-tls --cafile $ORDERER_CA
peer lifecycle chaincode approveformyorg -o orderer:7050 --channelID mychannel --name basic
--version 1.0 --package-id
basic:7a1fac3fc6e3fdc20a46128468da4bc3e31f74f202086e9895b659fbe5a47a94 --sequence 1 --
tls --cafile $ORDERER_CA
※ 이전에 체인코드 설치하여 리턴받은 id를 입력해야 함!

체인코드 checkcommitreadiness
• 임의의 cli 컨테이너에서...
peer lifecycle chaincode checkcommitreadiness --channelID
mychannel --name basic --version 1.0 --sequence 1 -o -
orderer:7050 --tls --cafile $ORDERER_CA --output json

체인코드 commit
• 임의의 cli 컨테이너에서...
peer lifecycle chaincode commit -o orderer:7050 --channelID mychannel --name basic --version
1.0 --sequence 1 --tls true --cafile $ORDERER_CA --peerAddresses peer0-org1:7051 --
tlsRootCertFiles
/organizations/peerOrganizations/org1.fmd.com/peers/peer0.org1.fmd.com/tls/ca.crt --
peerAddresses peer0-org2:7051 --tlsRootCertFiles
/organizations/peerOrganizations/org2.fmd.com/peers/peer0.org2.fmd.com/tls/ca.crt
• commit 확인
peer lifecycle chaincode querycommitted -C mychannel

체인코드 테스트
• invoke
peer chaincode invoke -o orderer:7050 --tls true --cafile $ORDERER_CA -C mychannel -n basic -
-peerAddresses peer0-org1:7051 --tlsRootCertFiles
/organizations/peerOrganizations/org1.fmd.com/peers/peer0.org1.fmd.com/tls/ca.crt --
peerAddresses peer0-org2:7051 --tlsRootCertFiles
/organizations/peerOrganizations/org2.fmd.com/peers/peer0.org2.fmd.com/tls/ca.crt -c
'{"Args":["CreateAsset","asset100","red","50","tom","300"]}' --waitForEvent

체인코드 테스트
• query
peer chaincode query -C mychannel -n basic -c '{"Args":["GetAllAssets"]}'

[참고] 체인코드 업그레이드
• 흐름
체인코드 cli 컨테이너를 통해서 peer에 설치
실제 체인코드 pod를 생성(from docker hub)
체인코드 approve 및 commit
• 업그레이드(1.0  2.0)
2.0 체인코드 cli 컨테이너를 통해서 peer에 설치
2.0 체인코드 pod를 새로 생성하여 docker push
2.0 체인코드 approve 및 commit

미입력시 랜덤 포트 배정
start 버튼 클릭시
couchdb 조회를 위한 브라우저 자동 접속

rest-api-go 컨테이너 빌드
기 생성된 인증서 중 org2.fmd.com 만 nfs로 부터 복사하여
도커 빌드할 서버의 소스 디렉토리에 위치 시킨다.
main.go를 빌드하여 restsvc 실행파일을 생성한다.
go build -o restsvc -v .
도커 빌드를 한다. Dockerfile는 좌측과 같다.
docker build --no-cache -t wyhwang/basic-rest-svc:5.0 .
테스트 하고 push한다.
docker run wyhwang/basic-rest-svc:5.0
docker push wyhwang/basic-rest-svc:5.0

pod 및 service 생성
k apply -f .

peer 버전 변경
• 변경 사유
rest-api-go 컨테이너는 Fabric Gateway 서비스를 사용하여 peer와 통신한다.
이 Gateway서비스는 fabric peer 2.4 이상부터 지원한다.
peer 버전 변경 후, 다시 적용한다.
peer 가 시작되고 약간의 시간(몇 분)이 지나면 g/w에서 정상응답이 가능하다.

외부 접속은 4000번 포트로 지정하고 테스트 준비

rest-api-go 컨테이너
외부변수 주입
MSP 및 인증서 등의 변수를 pod로 부터 전달받을 수 있도록 컨테이너를 수정한다.

소스 파일 변경 및 빌드
기 생성된 인증서 중 org2.fmd.com 만 nfs로 부터 복사하여
도커 빌드할 서버의 소스 디렉토리에 위치 시킨다.
main.go를 빌드하여 restsvc 실행파일을 생성한다.
go build -o restsvc -v .
도커 빌드를 한다. Dockerfile는 좌측과 같다.
docker build --no-cache -t wyhwang/basic-rest-svc:6.0 .
Dockerfile

컨테이너 테스트
테스트 하고 push한다.
- 테스트는 외부 환경 변수를 아래와 같이 설정하여 시뮬레이션 한다.
push한다.
docker push wyhwang/basic-rest-svc:6.0

인증서 준비
• config map에서 사용할 개인키를 준비
chmod 777 priv_sk

준비
• 컨피크맵 설정
k apply -f configmap.yaml
• k apply -f explorerdb.yaml
• k apply -f explorer.yaml

포트 포워딩
외부 접속 8080번 포트로 지정하고
테스트 준비

Deploying Hyperledger Fabric on Kubernetes.pptx

Deploying Hyperledger Fabric on Kubernetes.pptx

Recommandé

Contenu connexe

Similaire à Deploying Hyperledger Fabric on Kubernetes.pptx

Similaire à Deploying Hyperledger Fabric on Kubernetes.pptx(20)

Plus de wonyong hwang

Plus de wonyong hwang(20)

Deploying Hyperledger Fabric on Kubernetes.pptx

Notes de l'éditeur