Ce diaporama a bien été signalé.
Le téléchargement de votre SlideShare est en cours. ×

3차원 프린팅 적용을 위한 수술계획 소프트웨어 개발 (KIST 김영준)

Publicité
Publicité
Publicité
Publicité
Publicité
Publicité
Publicité
Publicité
Publicité
Publicité
Publicité
Publicité

Consultez-les par la suite

1 sur 62 Publicité
Publicité

Plus De Contenu Connexe

Diaporamas pour vous (12)

Les utilisateurs ont également aimé (20)

Publicité

Similaire à 3차원 프린팅 적용을 위한 수술계획 소프트웨어 개발 (KIST 김영준) (20)

Publicité

Plus récents (20)

3차원 프린팅 적용을 위한 수술계획 소프트웨어 개발 (KIST 김영준)

  1. 1. 3D 프린팅 적용을 위한 수술계획 SW 개발 2017.03.17 한국과학기술연구원 의공학연구소 김 영 준
  2. 2. 2
  3. 3. 3D 의료영상 처리 S/W 3 ▶ 3D 가상 수술 : 시술방법 최적화 수술가이드 설계 및 3D 프린팅 지원 간편한 수술 계획 인터페이스 효과적인 진단 정보 가시화 ▶ 3D 환자모델링 : 신경, 혈관, 뼈, 피부 등 복합가시화 환자 모델링 자동화 ▶ 3D 형상 모델 처리기술 : Mesh Healing Boolean Operation 3D Sketch
  4. 4. 시장성 및 연구동향 – 3D 모델링 S/W ▶ Autodesk(미국) ▶ 3D systems(미국) : Geomagic(미국)과 Inus Technology(한국, 제품명 Rapidform)인수 합병 ▶ Materialise(벨기에) ▶ Dassault Systems(프랑스) 등
  5. 5. ▶ 서구 선진국 중심 개발 GrabCAD (Stratasys co.) Magics (Materialise co.) Cura (Ultimaker co., 오픈소스) Simplify3D 3DSIM Astroprint MatterControl 등 ▶ 3D 프린팅용 Slicing 및 G-code 생성기능 기본 제공 ▶ 최근 Cloud 기반의 서비스, 설계 최적화 기능(support 최적화 등) 탑재 3D 프린팅 S/W 시장성 및 연구동향 –
  6. 6. ▶ 국내의 3차원 모델링 및 프린팅 SW 제품은 해외 기술에 100% 의존 <국내 기술개발 기관> 한국과학기술연구원, 경북대 3D 융합기술지원센터, ㈜쓰리디시스템즈코리아, ㈜신도리코, ㈜코어라인소프트 등 ▶ 시사점 - 과거, 국내 ㈜Inus Technology의 Rapidform이 역설계공학 분야 전세계 시장점유율 1 Geomagic(미국)을 뛰어넘었던 사례  국내의 3D 관련 SW기술 충분한 잠재력 보유 - 고가의 외산 소프트웨어에 의존하고 있는 실정을 감안할 때, 정부 차원의 3D 모델링/프린팅 SW 분야 지원 필요 시장성 및 연구동향 – 3D 모델링/프린팅 S/W
  7. 7. 시장성 및 연구동향 – Medical Image Analysis S/W Market Worth $4.5 Billion By 2024 http://www.grandviewresearch.com/press-release/global-medical-image-analysis-software-market • The medical image analysis software market is expected to reach USD 4.5 billion by 2024, according to a new report by Grand View Research, Inc. • The stand-alone software segment is anticipated to grow at a lucrative CAGR of over 7.5% over the forecast period https://www.appsruntheworld.com/top-10-healthcare-software-vendors-and-market-forecast-2015-2020/ Healthcare
  8. 8. 시장성 및 연구동향 – 599 377 844 598 693 810 2010 2011 2012 2013 2014 2015 0 100 200 300 400 500 600 700 800 900 (백억원) 의료영상처리 소프트웨어 국내 시장 규모 의료용영상처리용장치·소프트웨어(A26430)의 국내 시장 2010년~2015년 동안 연평균 13.81% 성장 식품의약품안전처, 의료기기 생산 및 수출입 실적 통계 (2010-2015)
  9. 9. 시장성 및 연구동향 – 0 20 40 60 80 100 120 1987 1990 1993 1996 1999 2002 2005 2008 2011 2014 출 원 건 수 출원년도 미공개 특허존재 3D 프린팅 지원 소프트웨어 관련 분야는 분야는 1987년부터 특허 출현이 시작되어 1990년대 후반부터 꾸준한 증가세 보임 3D 프린팅 기술 적용을 위한 복잡한 형상 및 곡명 형상의 정밀한 프린팅 기술 및 소프트웨어 기술 분야 는 3D 프린팅을 기반으로 하는 의료기기 기술과 밀접하게 연관
  10. 10.  미국 동향이 전체 동향을 주도하며, 2000년대에 들어서부터 전체 출원 건수 증가  성장기  미국을 제외한 주요 출원국의 경우 1999년 이후부터 출원건수 증가  주요 출원국 내 기술에 대한 관심도 증가로 인한 연구개발 및 특허출원 증가  국제특허의 경우 1999년부터 출원 증가 경향  세계 시장 대상으로의 관심 확장  미국 출원의 출원 주도 경향이 향후 10~15년 간 유효할 것으로 예측됨
  11. 11. 회복 • 기술의 유용성 재발견, 대체기술의 쇠퇴 • 특허와 출원인 수가 증가추세로 전환 쇠퇴 • 대체기술의 출현, 기술발전의 불연속점 발 생 • 특허수의 감소, 특허출원인의 정체 도는 감 소 성숙 • 지속적인 연구개발 활동, 일부업체의 도태 • 특허수의 정체, 특허출원인수의 정체 또는 감소 성장 • R&D의 급격한 증가, 경쟁의 격화 • 특허와 출원인의 빠른 증가 태동 • 신기술의 출현 • 특허와 특허출원인의 적은 증가 V IV III II I 현위치  [1구간~5구간 : 지속적으로 출원인수 및 출원건수 지속적 증가  기술시장 성장단계 : 성장기 0 100 200 300 400 500 600 0 50 100 150 200 250 300 350 출원건수 출원인수 Total 1구간('85- '91) 2구간('92- '98) 3구간('99- '04) 4구간('05- '09)
  12. 12. Contents 3D 환자 모델링 3D 의료 프린팅을 위한 S/W 기술 응용개발사례: 3D 악안면 재건 S/W • 하악골 재건수술 • 안와골절 재건수술 12
  13. 13. 3D 환자 모델링 - Segmentation & Reconstruction 13 Difficulties in segmentation of medical images Mixture of low and high contrast Inhomogeneous region Multiple target regions with weak boundaries Active Contours Segmentation using Level set method original iso-value desirable result Ex.1. Leg bone CT Ex.2. Abdominal CT original result
  14. 14. 3D 환자 모델링 – Abdominal CT 14 Automatic segmentation of Liver, Tumor, Vessel, Skin, Spine, Spleen, and Kidney 1. Liver 2. Tumor @Liver 3. Vessels @Liver 4. Spine 5. Spleen 6. Kidney 7. Skin Abdominal organs Abdominal Organs + CT Liver model 7 52 3 4 1 6 Original image Adjusted image Active contouring † Dr. Sunhee Kim, KIST
  15. 15. 3D 환자 모델링 – Shoulder MR 15 3D 회전근개 모델링 정상인 대파열 환자 소파열 환자 회전근개 모델 3차원 뷰어 : Volume data + STL mesh models 복
  16. 16. Segmentation Results (Supraspinatus)  3차원 모델링의 실험 및 평가 - 실험 데이터 수 : 5개 - 비교 방법 수 : 5가지 (기존 영상분할 방법 2가지(RSF, RE), 수동 분할, 전문가1,2에 의한 각 분할) - 분할 정확도 측정: Dice Ratio(DR) = 2|𝐴⋂𝐵| 𝐴 +|𝐵| , 𝑨 : 참조 분할의 모든 복셀, 𝐵 : 실험 결과의 모든 복셀 → 1에 가까울 수록 실험 결과를 신뢰할 수 있음. 파란색: 전문가1,2에 의한 분할 결과들 간의 dice ratio 빨간색: 전문가1과 각 방법간의 dice ratio 연두색: 전문가2와 각 방법간의 dice ratio → 다른 방법들에 비해 전문가 분할 결과간의 dice ratio와 유사한 범주를 가지며, 0.94 이상의 높은 신뢰도를 가짐  3차원 모델링 오차 2차원 영상간의 비교 RSF RE원 영상 제안된 방법 전문가1 전문가2 3.0mm 0mm RSF RE 수동 분할 제안된 방법 3.0mm 0mm RSF RE 수동 분할 제안된 방법 5.13 mm 0.95 mm 0.86 mm 0.44 mm 평균오차 2.53 mm 0.75 mm 0.65 mm 0.52 mm 평균오차
  17. 17. 3D 프린팅 활용 의학실습 17 서울대학교 의과대학 해부학수업, 2015. 5. 21 / 2016. 6. 3 / 2017. 6. 2 (예정)
  18. 18. Contents 3D 환자 모델링 3D 의료 프린팅을 위한 S/W 기술 응용개발사례: 3D 악안면 재건 S/W • 하악골 재건수술 • 안와골절 재건수술 18
  19. 19. Geometric Theory and Polygons  Mesh: a group of polygons connected by shared vertices  Non-self-intersection: no edge passes through a polygon  Manifold: does not contain holes or singularities 19
  20. 20. Raft, Skirt, Brim, Support Raft - 출력물이 조형판 바닥에 닿는 면적이 적은 경우 - 출력 완료 후 별도로 떼어내야 함 Skirt - 조형판 위에 제대로 배치되어 출력이 되는지 확인 가능 - 이전 출력의 소재 찌꺼기 제거 Brim - 모델의 주변을 빙 둘러 테두리 출력 - 모델이 조형판과 분리되는 현상 방지 https://www.simplify3d.com/support/tutorials/rafts-skirts-and-brims/20 Support
  21. 21. G Code G Code: 수치제어(NC, Numerical Control) 공작기계용 표준코드 Front End Software: 3D 프린팅 제어 소프트웨어 STL 파일을 읽어 적층 모델로 변환 G code 생성 Slicing Software라고도 함 21 Cura Slic3r Gcode generator Makerware
  22. 22. Mesh Operation (Binary Creation)  Create a new mesh from a binary operation of two other meshes Add, Subtract, Intersect, Union, Attach - attach one mesh to another (removing the interior surfaces) Chamfer - create a beveled surface which smoothly connects two surfaces 22
  23. 23. Mesh Operation (Deformation) Deform - systematically move vertices Morph - move vertices smoothly btw source and target mesh Bend - move vertices to "bend" the object Twist - move vertices to "twist" the object 23 http://wiki.heroengine.com/wiki/FaceGen_Pipeline
  24. 24. Mesh Operation (Manipulation)  Modify the geometry of the mesh, but not necessarily topology Simplify (Decimate), Subdivide, Smooth, Convex Hull, Cut, Stitch 24 http://wiki.heroengine.com/wiki/FaceGen_Pipeline Convex Hull
  25. 25. ㈜에이팀벤처스 기술이전 요청기술 25 Mesh Healing 3D 프린팅 방식에 따른 서포트 및 G-code 생성
  26. 26. Contents 3D Maxillofacial Reconstructive Surgery • Mandibular Reconstruction • Orbital Fracture Reconstruction 26
  27. 27. 27 3D virtual surgical planning Automatic 3D patient modeling FEM analysis for optimization of surgical procedures Automatic 3D patient modeling (mandible, fibula, vessels, etc.) Virtual surgery – arrangement of bones, optimization of fibula free flap FEM analysis – optimization of plates, screw arrangements, surgical procedures, 3D Surgical Planning
  28. 28. 28 Preparation Time (>10 hours) Manual Segmentation Not specialized in maxillofacial recon. surg. Expensive, Foreign Company (> 40,000 USD) MimicsTM (Materialise, Belgium) Problems of existing S/W Clinical Needs Specialized S/W for maxillofacial recon. surg. for Korean patients Automation of manual process Easy to use Optimized virtual surgical planning Preoperative Virtual Simulation  Prof. Jung-woo Lee (Kyunghee Univ.)  Prof. Jong Woo Choi (Asan Medical Center)  Dr. Yong-chan Lee (Bastian Seoul Hospital)
  29. 29. Patient-specific Surgical Guide using 3D Printing 29
  30. 30. 3D Surgical Planning 30
  31. 31. 1) 3D Patient Modeling 31
  32. 32. Mesh Healing 32 Original MeshFix Proposed method
  33. 33. Mesh Healing (Test Results) 33
  34. 34. 2) 3D Surgical Planning (Semi-automatic) 34
  35. 35. Multi-view Display 35
  36. 36. Boolean Operations 36
  37. 37. Bone Resection  Cutting plane  Boolean Operation (Subtraction) 37 (a) Define of resection area (b) Removal of resection area
  38. 38. 3) 3D Surgical Planning (Automatic) 38
  39. 39. Automatic Fibular Positioning & Resection 39 (a) Extraction of Posterior Line & Lateral Line (b) Automatic positioning of fibular segments (c) Line Segment vector of mandibular segment 𝒎𝒑𝒊 𝒎𝒑𝒊+𝟏 𝒇𝒑𝒊 𝒇𝒑𝒊+𝟏 𝑴𝑺𝒊 𝑭𝑺𝒊 (d) Line segment vector of fibular segment M = 𝑇(𝑚𝑝 𝑖−𝑓𝑝𝑖) ∙ 𝑇𝑓𝑝 𝑖 ∙ 𝑅𝑓𝑚 ∙ 𝑇𝑓𝑝 𝑖 −1 , 𝑅𝑓𝑚 ∶ Rotation around 𝐹𝑆𝑖 × 𝑀𝑆𝑖 by arccos 𝐹𝑆𝑖 ∙ 𝑀𝑆𝑖
  40. 40. Modeling of Surgical Cutting Guide (1) 40
  41. 41. Modeling of Surgical Cutting Guide (2) 41 2D Drawing Selection Offset
  42. 42. Modeling of Surgical Cutting Guide (3) 42
  43. 43. 3D Printing Results 43
  44. 44. 기존 S/W와의 비교 44 Mimics & 3-matic (Materialize co.) Developed S/W (KIST) Planning Automatic planning of mandible reconstruction X O CAD Functions Healing O O Boolean O O Translation O O Rotation O O Mate Δ O Multithreading X O Cutting Plane Creation O O Modification Δ O Thickness Δ O CT image projection X O Display in CT slice O O Contour of bone X O View Multi-rendering view X O CT slice view Δ O Sub-view for fibula X O Mesh Management Mesh export O O Color/Transparency Δ O Transform Lock X O User Study (Department of Oral and Maxillofacial Surgery, Kyunghee Univ.) • User-friendly interface • Easy to use - Multi-rendering view, sub-view for fibula - Transform lock - Reduced planning time
  45. 45. User Study 45 4.23 4.26 4.41 3.26 3.24 3.22 0 1 2 3 4 5 편의성 유용성 소요시간 사용자 설문평가 결과 KIST Mimics 대한악안면성형재건외과학회 전문가 설문조사 2016.11.4, 광주 김대중컨벤션센터 [설문 응답자] • 소속: 이대 목동병원, 서울대 치대 임상시험센터, 단국대, 가톨릭 관동대 국제성모병원, 경희대 치대(2) • 신분 및 연차: 교수 (2), 전임의 (3), 치과 대학원생 • 수술 경험: 무(2), 1회, 5~7회, 20회, 어시스트 2년
  46. 46. 46
  47. 47. Contents 3D Maxillofacial Reconstructive Surgery • Mandibular Reconstruction • Orbital Fracture Reconstruction 47
  48. 48. 3D Planning S/W for Orbital Fracture Reconstruction 48 AMC-KIST 공동연구 과제 공동 PI: 서울아산병원 성형외과 최종우 교수님 Orbital wall modeling (Semi-automatic segmentation) Fracture display 3D analysis Patient-specific Implant design Mirroring & Registration Better surgical outcome Shortening surgical time in OR Enhancing patient safety
  49. 49. 49 3D Patient Modeling Semi-Automatic Orbital Wall Modeling 기존 SW: 100장 이상의 영상에 대해 수작업  모델링 소요시간 1/10 수준으로 감소 Patient #1 Patient # 2 Patient # 3 Facial bone CT Thresholding Ethmoid 분할 Orbital wall 분할 3D model 제안 기술
  50. 50. 3D Visualization of Patient Model 50
  51. 51. 51 Automatic Detection of Orbital Fracture Surgical Planning SW
  52. 52. 3D Diagnosis 52 Measurement (length, angle, volume, ex- or enophthalmos) Multiple display (orbit, optic nerve)3D orbit volume
  53. 53. Real-time Surgical Navigation (1) 53 Pre-Op. Planning Patient CT scanning, 3D modeling Virtual surgical planning Patient-specific plate Registration Patient 3D virtual model (plate + marker) Intra-Op. Navigation Real-time surgical navigation
  54. 54. Real-time Surgical Navigation (2) 54 Anatomical Landmark (외이도관 및 치아) Portal for landmark Upper teeth model 치아부 설계 Patient-Specific 광학식 추적 마커 프레임 3D Printed frame Design SW
  55. 55. 55
  56. 56. Applications Plastic surgery, Orthognathic surgery, Orthopedic surgery, etc. 56
  57. 57. 의료기기인증 57 의료기기법에 따른 의료기기 소프트웨어의 품질관리시스템 구축 품목군: 생체현상 측정기기 품목명: 의료영상 분석장치 소프트웨어(A26430.11), 2등급 • 식품의약품안전처 임상 GMP 적합인정서 획득 (2016.11) 임상시험계획승인신청 임상시험계획승인 신청서 임상시험계획서 임상시험실시기관 승인서 (IRB) 임상 GMP 적합인정서 기술문서 및 관련 자료 제조시설/공정도 소프트웨어 품질기록, 데이터 소프트웨어 검증 및 유효성 확인 보고서 품질매뉴얼 절차서 GMP 적합인정 신청서 임상 GMP 적합인정서 지침서 제품표준서 성능 및 유효성 확인 자료 * GMP(Good Manufacturing Practice) – 의료기기 제조 및 품질관리 기준
  58. 58. 기술이전 관심기업 : O***, D***, A***, G***, .. 58 S/W 경진대회 수상 대상, The 17th CDE S/W 경진대회, 2016.8 (미래창조과학부 장관상)
  59. 59. 향후연구계획 – AI기반 3D 수술 S/W 기술 59 준비단계 환자 3D 데이터 AI 수술진단 Classification AI 수술계획 치료방법 추천 AI 수술분석 수술결과 분석
  60. 60. Summary 3D 환자 모델링 3D 의료 프린팅을 위한 S/W 기술 응용개발사례: 3D 악안면 재건 S/W • 하악골 재건수술 • 안와골절 재건수술
  61. 61. Thank you! 61  Contact Information Youngjun Kim, Ph.D. - Center for Bionics, Korea Institute of Science and Technology - E-mail: junekim@kist.re.kr - Tel.: 02-958-5606
  62. 62. Journal Paper Publication (2016~) 1. S. Kim, D. Lee, S. Park, K. Oh, S.W. Chung, Y. Kim, "Automatic segmentation of supraspinatus from MRI by internal shape fitting and autocorrection", Computer Methods and Programs in Biomedicine, Vol. 140, pp. 165-174, Mar. 2017 2. Y. Kim, B.H. Lee, K. Mekuria, H. Cho, S. Park, J.H. Wang, D. Lee, "❍ Registration accuracy enhancement of a surgical navigation system for anterior cruciate ligament reconstruction: A phantom and cadaveric study", The Knee, S0968-0160(16)30248-4, Feb. 2017 3. C. K. Lee, Y. Kim, N. Lee, B. Kim, D.Y. Kim, S. Yi, "Feasibility study of utilization of action camera, GoPro Hero 4, Google glass and Panasonic HX- A100 in Spine surgery", Spine, Vol. 42, No. 4, pp. 275-280, Feb. 2017 4. Q.C. Nguyen, Y. Kim, H. Kwon, "Optimization of layout and path planning of surgical robotic system", Int’l Journal of Control, Automation and Systems, DOI: 10.1007/s12555-015-0418-z, Jan. 2017 5. Q.C. Nguyen*, Y. Kim*, S. Park, H. Kwon, "End-effector path planning and collision avoidance for robot-assisted surgical system", Int’l Journal of Precision Engineering and Manufacturing, *These authors contributed equally to this work, Vol. 17, No. 12, Dec. 2016 6. B.H. Lee, D.H. Kum, I.J. Rhyu, Y. Kim, H. Cho, J.H. Wang, "Clinical advantages of image-free navigation system using surface-based registration in anatomical anterior cruciate ligament reconstruction", Knee Surgery, Sports Traumatology, Arthroscopy, Vol. 24, No. 11, pp. 3556-3564, Nov. 2016 7. J.G. Seo*, S.M. Kim, J.M. Shin, Y. Kim*, B.H. Lee, "Safety of simultaneous bilateral total knee arthroplasty using an extramedullary referencing system: results from 2098 consecutive patients", Archives of Orthopaedic and Trauma Surgery, Vol. 136, No. 11, pp. 1615-1621, Nov. 2016 8. Y. Kim, Y.H. Na, L. Xing, R. Lee, S. Park, "Automatic deformable surface registration for medical applications by radial basis function-based robust point-matching", Computers in Biology and Medicine, Vol. 77, No. 1, pp. 173-181, Oct. 2016 9. S.H. Park, S.W. Moon, B.H. Lee, S. Park, Y. Kim, D. Lee, S. Lim, J.H. Wang, "Arthroscopically blind anatomical anterior cruciate ligament reconstruction using only navigation guidance: a cadaveric study", The Knee, DOI: 10.1016/j.knee.2016.02.020, Jul. 2016 (Epub ahead of print) 10. J.P. Yoon, S.W. Chung, J. Kim, H.S. Kim, H.J. Lee, W.J. Jeong, K.S. Oh, D.O. Lee, A. Seo, Y. Kim, "Intra-articular injection, subacromial injection, and hydrodilatation for primary frozen shoulder: a randomized clinical trial", Journal of Shoulder and Elbow Surgery, Vol. 25, No. 3, pp. 376-383, Mar. 2016 11. J. Charton, L. Kim, Y. Kim, "Boolean operations by a robust, exact, and simple method between two colliding shells". Journal of Advanced Mechanical Design, Systems, and Manufacturing, (Accepted) 12. E. Shim, Y. Kim, D. Lee, B.H. Lee, S. Woo, K. Lee, “2D-3D registration for 3D analysis of lower limb alignment in a weight-bearing condition”, Applied Mathematics – Journal of Chinese Universities(Accepted) 13. Y. Choi*, Y. Kim*, E. Park, “Patient-specific augmentation rhinoplasty using a three-dimensional simulation program and three-dimensional printing“, Aesthetic Plastic Surgery, (Accepted) 14. S.W. Chung, …, Y. Kim, "Serial Changes in 3-Dimensional Supraspinatus Muscle Volume following Rotator Cuff Repair", The American Journal of Sports Medicine, (Accepted) 62

×