1. 이기훈
Large Language Models
Evaluating Large Language Models
in Generating Synthetic HCI
Research Data: A case Study
Perttu Hamalainen
Aalto University

2. 1 Introduction & Overview
•Motivation
이기훈
- 많은 HCI 연구들이 인터뷰나, 설문지와 같은 데이터를 사용함
- LLM을 사용하여 hypothetical/synthetic data를 생성하여 테스트
- 초기 파일럿테스팅이나 파이프라인 분석에 유용
•Videogames에서 예술 경험에 관한 Dataset을 활용

3. •참여자를 모집하여, 생성된 텍스트가 사람인지 로봇인지 선택
Method & Results (Distinguishability)
2-1
이기훈
•GPT-3(LLM)이 만든 데이터가 사람의 데이터와 구별이 가능한가

4. •GPT-3가 쓴 응답이 더 ‘사람’같다고 참여자들은 평가함
Method & Results (Distinguishability)
2-1
이기훈

5. 2-2Method & Results (Content Similarity)
이기훈
•합성데이터와 사람의 실제 데이터 간의 컨텐츠 유사성 조사
•GPT-3(LLM)이 만든 합성데이터가 사용할 정도로 유용한가

6. Method & Results (Content Similarity)
2-2
이기훈
•LLM이 생성한 합성데이터와 사람의 실제 데이터 유사성 높음
•두 Data-set에서 분류된 코드 그룹은 비슷함(컨텐츠 유사성 높음)

7. 3 Conclusion & Take-away
•GPT-3는 대화형 기술로 주관적 경험에 관한 질문에 인간과 같은 대답
을 생성할 수 있음
•LLM 합성 데이터는 연구 아이디어 또는 가설을 탐구하는 초기 파일럿
연구 또는 실험 설계에 유용할 수 있음
•하지만, 가설을 확인하거나 사람들이 정말로 생각하고 느끼고 필요로
하는 것에 대한 결론에 도달하는 것은 실제 데이터를 기반 해야함.
•LLM은 자체 보고서 데이터의 크라우드소싱을 근본적으로 신뢰할 수
없게 만들 수 있음
이기훈

8. 이기훈
Interaction with AI & Robots
Choice Over Control: How Users
Write with Large Language Models
using Diegetic and Non-Diegetic
Prompting
Hai Dang
University of Bayreuth

9. 1 Introduction
•Diegetic prompt vs. Non-Diegetic prompt 비교(Single vs. Multiple Suggestions)
•LLM(GPT-3)을 사용하여 텍스트를 생성할때 Prompting Engineering 연구
- Diegetic: e.g 나는 여행을 계획하고 있어 “ ⋯ ” 이야기의 일부를 제공
- Non-Diegetic: e.g 나는 여행을 계획하고 있어 “ ⋯” 명령: 북유럽으로 다음 이야기 생성해줘
이기훈

10. 2 Method & Prototype
•Task: five writing tasks 45min, Using 5 Prototype
•129명의 User Study 진행, Within-subject design
이기훈
• Single Suggestions - 1) Diegetic / 2) Non-Diegetic
• Multiple Suggestions - 3) Diegetic / 4) Non-Diegetic
• No Suggestions

11. 2 Result & Finding
•사용자는 Non-Diegetic 프롬프트를 생각해 내기 위해 고군분투함(어떻게 요구할지)
•Diegetic와 Non-Diegetic 프롬프팅을 전환하면 사용자의 쓰기와 생각이 중단됨
이기훈
•사용자는 Non-Diegetic 보다 Multiple Suggestion 에서 선택하는 것을 더 선호함

12. 3 Take-away
이기훈
• Single Suggestions - 1) Diegetic / 2) Non-Diegetic
• Multiple Suggestions - 3) Diegetic / 4) Non-Diegetic
• No Suggestions
•Generative AI를 어떻게 사용하는지 확인
•어떤 관점에서 접근하는지 확인
•연구의 Prototyping 설계가 Prompting Engineering 분야 외
상황에 대한 Experiments Task로 사용