Memaparkan sejarah AI dan NLP. Aplikasi generative AI di bidang bahasa, contohnya ChatGPT dan Bard. Peluang dan tantangan (bias, inaccuracy, plagiarism dll) dan bagaimana PT menyikapinya.

1. GENERATIVE AI:
DISRUPSI &
ANTISIPASI DI
PERGURUAN
TINGGI
Widyawan
DAL-E, with prompt: “painting santri with
Van Gough style”

2. • Dosen DTETI Universitas Gadjah Mada
• Co-founder pustakadata.id
• Co-founder idren.id
• Komisaris Gamatechno Indonesia
• Wakil ketua asosiasi ilmuwan data Indonesia aidi.id
http://ugm.id/presentation
https://acadstaff.ugm.ac.id/widyawan

3. Agenda
• Sejarah dan Tingkatan
Kecerdasan Buatan
• Generative AI:
Transformer dan LLM
• Peluang dan Tantangan
• Apa yang Perlu Dilakukan
Perguruan Tinggi?
DAL-E, with prompt: “painting
dancing sufi with Monet style”

4. Definisi Kecerdasan Buatan dan NLP
Kecerdasan buatan (artificial intelligence) berarti mesin yg mampu memahami situasi,
merencanakan tanggapan, dan bertindak untuk mencapai tujuan
Yann Le Cun – Meta AI dan Turing Award Laureate
Natural language processing (pengolahan bahasa alami manusia) adalah cabang dari
kecerdasan buatan yang membuat mesin mampu memahami bahasa yang digunakan
manusia sehari-hari
Coursera

5. Sejarah Kecerdasan Buatan dan NLP
Permulaan Era Modern
1943 Perceptron
1950 Can Machine Think? dan Turing Test
1956 Artificial Intelligence @Dartmouth workshop
1965 Multi-layer neural network
1965 ELIZA, NLP chatbot
Deep Learning
1980 Expert System (Sistem Pakar) dan CNN
1996 LSTM Long Short-Term Memory
1997 Deep Blue mengalahkan Garry Kasparov
1986-2011 Y. LeCun, and G. Hinton and Y. Bengio:
Backpropagation, CNN, Deep Belief Network
2011 Siri
Big Data dan GPU
2010 Rise of Big Data and Graphic Processor
2011 AlexNet
2013 Word2vec
2014 GAN (Generative Adversarial Network)
2016 AlphaGo mengalahkan Lee Sedol
Generative AI dan NLP
2017 Transformer architecture
2018 OpenAI GPT-1
2019 Turing Award for for the Trio
2021 Google LamDA
2023 GPT-4

6. Tingkatan
Kecerdasan
Buatan
• ANI: Artificial Narrow Intelligence
• AGI: Artificial General Intelligence
• ASI: Artificial Super Intelligence

7. Generative AI
• Generative AI adalah subset dari kecerdasan buatan (ANI)
yang melibatkan pelatihan mesin (machine learning) untuk
menghasilkan data baru dan orisinal seperti teks, gambar,
musik, atau video.
• Teknologi ini memiliki berbagai aplikasi, termasuk dalam
pengembangan chatbot, desain grafis dan pembuatan konten.
• Chatbot merupakan antar muka, di belakangnya terdapat
pre-trained model, yang sering dinamakan model bahasa
besar (large language model/LLM)
Midjourney: Arabic being
developed exponentially in AI.
Sumber: UAE generative AI guide

8. ANI Lansekap
NLP
Generative AI – Transformer based LLM
GPT 4,
PALM
GPT 3
Machine Learning and Deep Learning
BERT
non-NLP: audio, image, video
pengguna
front-end

9. Transformer Architecture
Vaswani, et al., “Attention is All You Need”, Conference on Neural
Information Processing System (NIPS) 2017
https://jalammar.github.io/illustrated-transformer/

10. Pre-Trained Language Model
• Model unsupervised machine learning yang sudah dilatih
menggunakan dataset yang sangat besar. Contoh: Wikipedia,
ArXiv, Books, Github, C4, StackExchange
• Model belajar untuk memprediksi kata berikutnya dalam suatu
kalimat atau merekonstruksi bagian yang hilang dari suatu teks.
Proses ini memungkinkan model untuk memahami pola dan fitur
bahasa dari dataset
• Model bisa diperbaiki (fine tuned) untuk tugas tertentu dengan
dataset (dengan label) yang relevan.
• BERT, LamDA, Galactica, GPT

11. RAGAM LARGE LANGUAGE MODEL (LLM) SAMPAI MARET 2023
GPT-3 dan GPT-4 ada di sisi kiri dan kanan
• Menggunakan dataset berupa
kumpulan kalimat (milyar-triliunan
kalimat) menggunakan deep
learning
• Tidak menyimpan pengetahuan, tapi
menyimpan dan memahami pola dan
fitur bahasa
• Bertugas untuk memprediksi kata
atau menghasilkan urutan kata yang
yang memiliki kemiripan statistik
dengan model
• GPT-3 memerlukan ~10.000 GPU &
285.000 CPU core seharga 1B USD
(~ Rp. 15 T)
sumber: presentasi Ayu Purwanti, Large Language Model: Pengembangan Teknologi, Peluang dan Tantangannya

12. Andrej Karpathy, OpenAI, sumber: https://karpathy.ai/stateofgpt.pdf

13. Agenda
• Sejarah dan Tingkatan
Kecerdasan Buatan
• Generative AI:
Transformerd dan LLM
• Peluang dan Tantangan
• Apa yang Perlu Dilakukan
Perguruan Tinggi ?
DAL-E, with prompt: “painting
Indonesian ulama with Monet style”

14. ChatGPT: Peluang Generative AI untuk Akademik
• Membantu sebagai sumber informasi dan personalisasi pembelajaran
• Mendapat ide sekaligus alat bantu penulisan
• Melakukan penerjemahan
• Meringkas atau mengekspansi teks
• Paraphrase
• Coding
• Membantu penelitian dalam melakukan data analysis berdasar kecerdasan buatan

15. Ide Penulisan • Chat.openai.com menggunakan GPT
• Bard.google.com berbasis LamDa
• Perplexity.ai menggunakan GPT dan Google search

16. PENERJEMAHAN

17. MERINGKAS ATAU MENGEKSPANSI TEKS

18. CHATGPT UNTUK
CODING
https://chat.openai.com/

19. Data Analysis • Terhubung ke Jupyter Notebook
• Mengunggah Data
• Membuat grafik dan melakukan analisis
https://www.youtube.com/watch?v=JXOvN8gRMkY

20. Agenda
• Sejarah dan Tingkatan
Kecerdasan Buatan
• Generative AI:
Transformerd dan LLM
• Peluang dan Tantangan
• Apa yang Perlu Dilakukan
Dunia Akademik
DAL-E, with prompt: “painting santri
with van Gough style”

21. ETIKA: COPYRIGHT
DAN DATA PRIBADI
PEMENANG SONY WORLD PHOTOGRAPHY AWARD,
DIBUAT OLEH KECERDASAN BUATAN
https://edition.cnn.com/style/article/ai-photo-win-sony-scli-intl/index.html

22. Alat Bantu
Penulisan vs
Integritas
Akademik
• Essai yg dihasilkan chatGPT
• Verbatim print
• Beban tambahan pada guru/dosen
untuk melakukan penilaian
sumber: https://twitter.com/venturetwins/status/1648410430338129920

23. HALUSINASI
• Paper yang disarankan
tidak ditemukan dalam
database
• scholar.google.com
• ieeexplore.ieee.org

24. BIAS
Bias muncul karena
ketidak seimbangan
data latih. Sehingga
hasilnya tidak adil
atau tidak
mencerminkan
kenyataan

25. Apa yang Perlu
Dilakukan Perguruan
Tinggi?
Dall-E, prompt: the thinker by Rodin pose by Indonesian
man, with traditional cloth watercolor style

26. Gunakan dengan
Kehati2an dan Kreatifitas
• Prinsip pembelajaran yang mengembangkan
kemampuan berfikir kreatif, kritis, dibarengi dengan
integritas perlu dipertahankan tanpa menghalangi
potensi manfaat kecerdasan buatan
• Institusi sekolah/PT perlu menyusun guidelines
penggunaan AI dalam kegiatan akademik
• Libatkan dosen dan mahasiswa dalam diskusi mengenai
dampak dari generative AI dalam pembelajaran
• Bila digunakan sebagai tools penulisan, perhatikan
copyright dan plagiasi. Bila sebagai sumber informasi
perlu mekanisme verifikasi kebenaran
Sumber: Unesco ChatGPT and AI in Higher Ed. Quick
Start Guide

27. Evaluasi dan Ujian Mahasiswa
• Memikirkan ulang sistem evaluasi dan ujian
• Penggunaan ujian secara personal: sorogan ala pesantren, ujian lisan
• Evaluasi yang memerlukan kehadiran dan kerja fisik. Contoh: ujian di kelas, praktikum,
kerja lapangan
• Menggunakan AI plagiarism detection bila memungkinkan, akurat dan terjangkau.
• www.zerogpt.com à free
• turnitin.com, writer.com à komersial

28. zerogpt.com • Mencoba menggunakan teks yg dihasilkan
chatGPT dalam Bahasa Indonesia
• Masing2 keakuratan 100% dan 88%
• Tools lain gptzero.com, hasilnya belum baik L

29. Penggunaan ChatGPT di Perguruan Tinggi
start
Kebenaran
ouput
penting?
Anda mau
bertanggung
jawab secara
penuh (moral,
legal, dll) thd
ketidakakuratan
Anda punya
keahlian untuk
memverifikasi
outputnya
akurat ?
Aman menggunakan
ChatGPT
Tidak aman
menggunakan ChatGPT
Dimungkinkan
menggunakan ChatGPT
tidak
tidak tidak
ya
ya ya
Flowchart dibuat oleh Aleksandr Tiulkanov, AI and Data Policy Lawyer, January 2023.
Sumber: Unesco ChatGPT and AI in Higher Ed. Quick Start Guide

30. NATURE
GUIDELINES
https://www.nature.com/articles/d41586-023-00191-1
• Tidak bisa menjadi author
• AI diijinkan dalam proses
penelitian, disebutkan dalam
methode penelitian atau
acknowledgement

31. Elsevier
Guidelines
• Tidak bisa menjadi author
• AI diijinkan dalam proses penelitian, disebutkan dalam
methode penelitian

32. GPT-4 vs Manusia dalam Berbagai Test

33. KEHILANGAN
PEKERJAAN
• Akan terjadi disrupsi dan pergeseran/kehilangan
pekerjaan (repetitive, administrative & white collar)
• 300 juta pekerja (18% angkatan kerja) akan
terpengaruh oleh kecerdasan buatan
• Dunia perguruan tinggi perlu mempersiapkan
lulusannya agar paham dan familiar dengan
penggunaan kecerdasan buatan.
• Kompetitor adalah pekerja yang paham
menggunakan AI, bukan AI nya sendiri (up to near
foreseeable future )
https://www.forbes.com/sites/ariannajohnson/2023/03/30/which-jobs-will-ai-replace-these-4-
industries-will-be-heavily-impacted/?sh=7eb41e3c5957

34. Penghujung
1. Sejarah kecerdasan buatan dan NLP sangat panjang, dimulai dari dunia scientific/akademik
dan sekarang terpusat di institusi komersial
2. Memahami cara kerja Generative AI, sebagai bagian dari ANI, dimulai dari model transformer,
pre-trained dan large language model (LLM). Terdapat banyak LLM, GPT (dengan antar
muka ChatGPT) merupakan pelari terdepan saat ini
3. Dunia akademik perlu mengadopsi dengan terbuka sekaligus hati2. Selain etika, bias,
halusinasi, isu integritas akademik dan sistem evaluasi menjadi salah satu perhatian utama.
Pedoman penggunaan perlu dibuat.
4. Akan terjadi disrupsi di dunia kerja, PT perlu mempersiapkan diri lulusannya

35. TERIMAKASIH
SUDAH
MENDENGARKAN