2. 발표자 소개
옥찬호 (Chris Ohk)
• Nexon Korea 게임 클라이언트 프로그래머
• Microsoft Developer Technologies MVP
• 페이스북 그룹 C++ Korea 대표
• IT 전문서 집필 및 번역 다수
• 게임샐러드로 코드 한 줄 없이 게임 만들기 (2013)
• 유니티 Shader와 Effect 제작 (2014)
• 2D 게임 프로그래밍 (2014)
• 러스트 핵심 노트 (2017)
• 모던 C++ 입문 (2017)
• C++ 최적화 (2019)
utilForever@gmail.com
utilForever
7. 감사의 말
• 발표할 수 있도록 도움을 주신 전이삭 님께 감사드립니다.
• RosettaStone 프로젝트를 함께 만들어 나가는 팀원분들께 감사드립니다.
• 김영중 님, 전승현 님, 김성현 님, 김형찬 님
박유한 님, 박준영 님, 김현수 님, 김성황 님
송태현 님, 이도운 님, 정연수 님, 조수하 님
• 그 외 프로젝트에 기여해주시는 모든 분들께 감사드립니다.
8.
9. 하스스톤
• 블리자드 엔터테인먼트가 개발한 디지털 카드 수집 게임
• 2013년 3월 페니 아케이드 엑스포에서 처음 발표
• 2014년 3월 13일 PC 버전부터 출시
• 현재까지 11개의 확장팩과 4개의 모험 모드가 추가됨
• 2018년 11월 발표 기준 전세계 이용자수 1억명 돌파
https://ko.wikipedia.org/wiki/하스스톤
19. 그러던 도중 ‘알파고’와 ‘알파스타’를 보고 취해버린 저는
하스스톤도 저렇게 할 수 있지 않을까라는 생각을 하게 됩니다.
20. 목표
• 강화학습을 통해
• 영리한 플레이를 할 수 있게 만들어 보자.
(하스스톤 프로게이머와 대적할 만한 수준)
• 승률이 높은 덱을 만들어 보자.
(1티어 덱보다 높은 승률 : >= 60%)
• 플레이어가 덱을 만들 때 어떤 카드가 없을 경우
대체 카드를 추천하는 기능을 제공해 보자.
https://hsreplay.net/
22. 강화학습
• 아이가 첫걸음을 떼는 과정
• 아이는 걷는 것을 배운 적이 없습니다.
• 아이는 스스로 이것저것 시도해 보다가 우연히 걷게 됩니다.
• 자신이 하는 행동과 걷게 된다는 보상 사이의 상관관계를 모르는 아이는 다시 넘어집니다.
• 시간이 지남에 따라 그 관계를 학습해서 잘 걷게 됩니다.
23. 강화학습
• 에이전트는 사전 지식이 없는 상태에서 학습합니다.
• 에이전트는 자신이 놓인 환경에서 자신의 상태를 인식한 후 행동합니다.
• 환경은 에이전트에게 보상을 주고 다음 상태를 알려줍니다.
• 에이전트는 보상을 통해 어떤 행동이 좋은 행동인지 간접적으로 알게 됩니다.
24. 강화학습
• 에이전트는 사전 지식이 없는 상태에서 학습합니다.
• 에이전트는 자신이 놓인 환경에서 자신의 상태를 인식한 후 행동합니다.
• 환경은 에이전트에게 보상을 주고 다음 상태를 알려줍니다. (오늘의 주제)
• 에이전트는 보상을 통해 어떤 행동이 좋은 행동인지 간접적으로 알게 됩니다.
25. 알파고
• 바둑판 위에 모든 상황에 대한 정보가 있습니다.
• 두 선수가 돌을 하나씩 번갈아 놓으며 진행합니다.
https://shuuki4.wordpress.com/2016/03/11/alphago-alphago-pipeline-헤집기/
26. 알파스타
• 실시간 전략 게임(RTS)이며 불완전한 정보가 주어집니다.
• 유닛의 시야 범위 안에서만 정보를 얻을 수 있으며,
정찰을 보내 탐색전을 펼치며 상대방의 상황을 추론해야 합니다.
• 실시간으로 넓은 전장에서 수백개의 유닛과 건물을 제어하며
다양한 조합을 통해 전략을 짜야 합니다.
https://www.bloter.net/archives/329970
28. 하스스톤
• 카드 수집 게임(CCG)이며 불완전한 정보가 주어집니다.
• 내 덱에서 다음에 무슨 카드가 나올지 예측할 수 없습니다.
• 상대방이 현재 손에 무슨 카드를 들고 있는지 예측할 수 없습니다.
• 상대방 덱에서 다음에 무슨 카드가 나올지 예측할 수 없습니다.
• 알파고나 알파스타와 달리 자신의 정보조차 불완전합니다.
32. 하스스톤 강화학습 연구 현황
• Świechowski, Maciej, Tomasz Tajmajer, and Andrzej Janusz. “Improving Hearthstone AI
by Combining MCTS and Supervised Learning Algorithms.” 2018 IEEE Conference on
Computational Intelligence and Games (CIG). IEEE, 2018.
• Zhang, Shuyi, and Michael Buro. "Improving hearthstone AI by learning high-level rollout
policies and bucketing chance node events." 2017 IEEE Conference on
Computational Intelligence and Games (CIG). IEEE, 2017.
• Kachalsky, Ilya, Ilya Zakirzyanov, and Vladimir Ulyantsev. "Applying reinforcement learning
and supervised learning techniques to play Hearthstone." 2017 16th IEEE International
Conference on Machine Learning and Applications (ICMLA). IEEE, 2017.
33. 3. 하스스톤 게임 개발
• 하스스톤을 개발하게 된 이유
• 하스스톤의 구조
• 카드 구현
• 카드 효과 구현
• 게임 구현
34. 게임을 활용해 강화학습을 하려면
• 첫번째 방법 : 게임 회사에서 제공하는 API를 사용합니다.
35. 게임을 활용해 강화학습을 하려면
• 첫번째 방법 : 게임 회사에서 제공하는 API를 사용합니다.
• 스타크래프트 2는 있는데, 하스스톤은 없습니다. (실패)
36. 게임을 활용해 강화학습을 하려면
• 첫번째 방법 : 게임 회사에서 제공하는 API를 사용합니다.
• 스타크래프트 2는 있는데, 하스스톤은 없습니다. (실패)
• 두번째 방법 : 게임을 후킹(Hooking)해 알아낸 정보를 사용합니다.
37.
38. 게임을 활용해 강화학습을 하려면
• 첫번째 방법 : 게임 회사에서 제공하는 API를 사용합니다.
• 스타크래프트 2는 있는데, 하스스톤은 없습니다. (실패)
• 두번째 방법 : 게임을 후킹(Hooking)해 알아낸 정보를 사용합니다.
• 서비스 중인 게임에 영향을 주는 행위는 불법입니다. (실패)
39. 게임을 활용해 강화학습을 하려면
• 첫번째 방법 : 게임 회사에서 제공하는 API를 사용합니다.
• 스타크래프트 2는 있는데, 하스스톤은 없습니다. (실패)
• 두번째 방법 : 게임을 후킹(Hooking)해 알아낸 정보를 사용합니다.
• 서비스 중인 게임에 영향을 주는 행위는 불법입니다. (실패)
• 세번째 방법 : 하스스톤을 직접 만들어 사용합니다.
• 아, 이 방법 만큼은 쓰고 싶지 않았는데…
• 근데 대안이 없습니다. 어쩌겠습니까, 맨 땅에 헤딩하는 수 밖에… ㅠㅠ;
47. 카드 데이터 처리
• 하스스톤에는 다양한 카드가 존재하며 데이터가 각각 다릅니다.
• 모든 카드는 마나 코스트를 갖습니다.
48. 카드 데이터 처리
• 하스스톤에는 다양한 카드가 존재하며 데이터가 각각 다릅니다.
• 모든 카드는 마나 코스트를 갖습니다.
• 하수인 카드는 공격력과 체력을 갖습니다.
49. 카드 데이터 처리
• 하스스톤에는 다양한 카드가 존재하며 데이터가 각각 다릅니다.
• 모든 카드는 마나 코스트를 갖습니다.
• 하수인 카드는 공격력과 체력을 갖습니다.
• 무기 카드는 공격력과 내구도를 갖습니다.
50. 카드 데이터 처리
• 하스스톤에는 다양한 카드가 존재하며 데이터가 각각 다릅니다.
• 모든 카드는 마나 코스트를 갖습니다.
• 하수인 카드는 공격력과 체력을 갖습니다.
• 무기 카드는 공격력과 내구도를 갖습니다.
• 어떤 카드는 어빌리티를 갖습니다.
51. 카드 데이터 처리
• 하스스톤에는 다양한 카드가 존재하며 데이터가 각각 다릅니다.
• 모든 카드는 마나 코스트를 갖습니다.
• 하수인 카드는 공격력과 체력을 갖습니다.
• 무기 카드는 공격력과 내구도를 갖습니다.
• 어떤 카드는 어빌리티를 갖습니다.
• 어떤 카드는 특별한 능력을 갖습니다.
52. 카드 데이터 처리
• 하스스톤에는 다양한 카드가 존재하며 데이터가 각각 다릅니다.
• 모든 카드는 마나 코스트를 갖습니다.
• 하수인 카드는 공격력과 체력을 갖습니다.
• 무기 카드는 공격력과 내구도를 갖습니다.
• 어떤 카드는 어빌리티를 갖습니다.
• 어떤 카드는 특별한 능력을 갖습니다.
• 다양한 카드 데이터를 어떻게 가져올 수 있을까요?
57. 카드 효과 처리
• 하스스톤에는 고유한 효과를 갖는 카드가 많습니다.
• 일부 하수인들은 능력을 발동하려면 조건이 필요합니다.
58. 카드 효과 처리
• 하스스톤에는 고유한 효과를 갖는 카드가 많습니다.
• 일부 하수인들은 능력을 발동하려면 조건이 필요합니다.
• 일부 하수인들은 필드에 낼 때 효과를 발동합니다.
59. 카드 효과 처리
• 하스스톤에는 고유한 효과를 갖는 카드가 많습니다.
• 일부 하수인들은 능력을 발동하려면 조건이 필요합니다.
• 일부 하수인들은 필드에 낼 때 효과를 발동합니다.
• 일부 하수인들은 죽을 때 효과를 발동합니다.
60. 카드 효과 처리
• 하스스톤에는 고유한 효과를 갖는 카드가 많습니다.
• 일부 하수인들은 능력을 발동하려면 조건이 필요합니다.
• 일부 하수인들은 필드에 낼 때 효과를 발동합니다.
• 일부 하수인들은 죽을 때 효과를 발동합니다.
• 비밀은 특정 조건에 부합하는 상황이 일어나면 저절로 발동합니다.
61. 카드 효과 처리
• 하스스톤에는 고유한 효과를 갖는 카드가 많습니다.
• 일부 하수인들은 능력을 발동하려면 조건이 필요합니다.
• 일부 하수인들은 필드에 낼 때 효과를 발동합니다.
• 일부 하수인들은 죽을 때 효과를 발동합니다.
• 비밀은 특정 조건에 부합하는 상황이 일어나면 저절로 발동합니다.
• 다양한 카드 효과를 어떻게 처리할 수 있을까요?
62. 카드 효과 처리
• ‘카드 데이터 처리’를 설명하면서 이런 말을 했었습니다.
(카드의 동작을 구현하는데 필요한 (거의) 모든 데이터가 있습니다.)
• 이제 (거의)에 대한 이야기를 해봅시다.
• 앞에서 봤던 ‘리로이 젠킨스’ 카드를 다시 한 번 살펴봅시다.
63. 카드 효과 처리
{
"id": "EX1_116",
"name": "Leeroy Jenkins",
"text": "Charge. Battlecry: Summon two 1/1 Whelps for your opponent.",
"attack": 6,
"cardClass": "NEUTRAL",
"collectible": true,
"cost": 5,
"elite": true,
"faction": "ALLIANCE",
"health": 2,
"mechanics": [
"BATTLECRY",
"CHARGE"
],
"rarity": "LEGENDARY",
"set": "EXPERT1",
"type": "MINION"
}
64. 카드 효과 처리
• ‘카드 데이터 처리’를 설명하면서 이런 말을 했었습니다.
(카드의 동작을 구현하는데 필요한 (거의) 모든 데이터가 있습니다.)
• 이제 (거의)에 대한 이야기를 해봅시다.
• 앞에서 봤던 ‘리로이 젠킨스’ 카드를 다시 한 번 살펴봅시다.
• 카드 데이터로는 카드의 효과를 읽을 수 없습니다.
65. • 또한 하스스톤에는 수많은 카드가 존재합니다.
• 여러분이 구현해야 할 카드는 생각보다 많습니다.
• 지금까지 하스스톤에서 출시된 카드의 장수는 1,926장입니다.
• 정말 1,926장 뿐일까요?
카드 효과 처리
68. • 또한 하스스톤에는 수많은 카드가 존재합니다.
• 여러분이 구현해야 할 카드는 생각보다 많습니다.
• 지금까지 하스스톤에서 출시된 카드의 장수는 2,061장입니다.
• 정말 1,926장 뿐일까요?
• 수집 가능 여부와 관계없이 게임 내에서 사용할 수 있는 카드를 모두 구현해야 합니다.
• 그 외 모험 모드에서 사용하는 카드와 내부 테스트용 카드를 합치면 무려 7,047장이나 됩니다.
• 카드의 효과를 쉽게 구현할 방법이 없을까요?
카드 효과 처리
70. 카드 효과를 구현하려면
• Latent Predictor Networks for Code Generation (2016)
https://arxiv.org/pdf/1603.06744.pdf
71. 카드 효과를 구현하려면
• 첫번째 방법 : 카드를 읽어 효과를 자동으로 생성하는 방법을 찾아봅니다.
• 선행 연구가 있긴 한데 쉽지 않고 올바르게 생성이 되지 않는 경우도 많습니다. (실패)
• 두번째 방법 : 카드마다 효과를 직접 구현합니다.
• 정말로 하기 힘들지만 가장 확실한 방법입니다.
• 다행히 효과가 없는 카드도 존재하기 때문에 6,086장까진 구현하지 않아도 됩니다.
72. 카드 효과의 종류
• 전투의 함성 : 플레이어가 카드를 핸드에서 낼 때 한 번만 발동하는 효과
• 죽음의 메아리 : 하수인이나 무기가 파괴될 때 발동하는 효과
73. 카드 효과의 종류
• 인챈트(Enchant) : 지정된 대상에게 특정 효과를 부여
• 오라(Aura) : 하수인이 필드에 있는 동안 지정된 대상에게 지정된 효과가 유지
74. 카드 효과의 종류
• 트리거(Trigger) : 정해진 조건을 충족할 때 특정 효과가 발동
75. 전투의 함성 / 죽음의 메아리 구현
• 태스크를 만들어 처리합니다.
• 태스크를 만들기 위해서는 먼저 부모 클래스 ITask를 상속받아야 합니다.
• 그리고 순수 가상 함수 GetTaskID()와 Impl()을 구현해야 합니다.
• GetTaskID() : 태스크 ID를 반환하는 함수
• Impl() : 태스크 로직을 구현하는 함수
• 구현한 태스크는 Run() 또는 RunMulti() 함수를 호출해 실행할 수 있습니다.
• Run() : 하나의 태스크를 실행하는 함수
• RunMulti() : 여러 태스크를 연속으로 실행하는 함수
76. 전투의 함성 / 죽음의 메아리 구현
• ITask 클래스
class ITask
{
public:
TaskStatus Run(Player& player);
virtual TaskID GetTaskID() const = 0;
private:
virtual TaskStatus Impl(Player& player) = 0;
};
78. 전투의 함성 / 죽음의 메아리 구현
• 예제로 카드 ‘방패 올리기’를 구현해 봅시다.
• 카드를 보고 어떤 태스크를 만들어야 할 지 생각해 봅시다.
79. 전투의 함성 / 죽음의 메아리 구현
• 예제로 카드 ‘방패 올리기’를 구현해 봅시다.
• 카드를 보고 어떤 태스크를 만들어야 할 지 생각해 봅시다.
• 이 카드는 2종류의 태스크가 필요합니다.
• Gain 5 Armor → ArmorTask
• Draw a card → DrawTask
• ArmorTask는 방어도를 얼마나 올릴 것인지 지정합니다.
• DrawTask는 카드를 몇 장이나 드로우할 것인지 지정합니다.
80. 전투의 함성 / 죽음의 메아리 구현
• ArmorTask 클래스 : 방어도를 획득합니다.
class ArmorTask : public ITask {
public:
explicit ArmorTask(int amount);
TaskID GetTaskID() const override;
private:
TaskStatus Impl(Player& player) override;
int m_amount = 0;
};
85. // ---------------------------------------- SPELL - WARRIOR
// [EX1_606] Shield Block - COST:3
// - Faction: Neutral, Set: Core, Rarity: Free
// --------------------------------------------------------
// Text: Gain 5 Armor.
// Draw a card.
// --------------------------------------------------------
power.ClearData();
power.AddPowerTask(new ArmorTask(5));
power.AddPowerTask(new DrawTask(1));
cards.emplace("EX1_606", power);
전투의 함성 / 죽음의 메아리 구현
• 구현한 태스크를 통해 카드 효과를 등록합니다.
86. 카드 동작 테스트
• 카드 효과를 구현했다면 의도한 대로 동작하는지 테스트해봐야 합니다.
• 카드의 동작을 확인하기 위한 시나리오를 작성합니다.
• 1. 플레이어 1의 손패에서 카드 ‘방패 올리기’를 냅니다.
• 2. 플레이어 1의 영웅 방어도가 5 증가했는지 확인합니다.
• 3. 플레이어 1의 손패에서 카드 장 수가 그대로인지 확인합니다.
(카드 ‘방패 올리기’를 내서 1장 감소, 카드를 드로우해서 1장 증가)
87. 카드 동작 테스트
• 카드 ‘방패 올리기’ 동작 테스트
TEST(CoreCardsGen, EX1_606) {
GameConfig config;
config.player1Class = CardClass::WARRIOR;
config.player2Class = CardClass::WARLOCK;
config.startPlayer = PlayerType::PLAYER1;
config.doFillDecks = true;
config.autoRun = false;
Game game(config);
game.StartGame();
game.ProcessUntil(Step::MAIN_START);
88. 카드 동작 테스트
• 카드 ‘방패 올리기’ 동작 테스트
Player& curPlayer = game.GetCurrentPlayer();
Player& opPlayer = game.GetCurrentPlayer().GetOpponent();
curPlayer.maximumMana = curPlayer.currentMana = 10;
opPlayer.maximumMana = opPlayer.currentMana = 10;
const auto card1 = Generic::DrawCard(
curPlayer, Cards::GetInstance().FindCardByName("Shield Block"));
Task::Run(curPlayer, PlayCardTask::Spell(curPlayer, card1));
EXPECT_EQ(curPlayer.GetHand().GetNumOfCards(), 5u);
EXPECT_EQ(curPlayer.GetHero()->GetArmor(), 5);
}
90. 영웅/하수인 공격 구현
• 공격하기 전에
• 영웅이나 하수인이 공격할 수 있는지 확인합니다.
• 공격할 대상이 유효한지 확인합니다.
• 공격할 때
• 빙결, 독성, 은신, 돌진 등의 특수 능력이 있는지 확인합니다.
• 피해를 주고 난 뒤 남은 체력에 따라 영웅/하수인을 파괴합니다.
91. void Attack(Player& player, Character* source, Character* target) {
// Check source can attack and target is valid
if (!source->CanAttack() ||
!source->IsValidCombatTarget(*player.opponent, target))
return;
// Activate attack trigger
player.GetGame()->triggerManager.OnAttackTrigger(&player, source);
player.GetGame()->ProcessTasks();
// Set game step to MAIN_COMBAT
player.GetGame()->step = Step::MAIN_COMBAT;
...
92. bool Character::CanAttack() {
// If the value of attack is 0, returns false
if (GetAttack() == 0)
return false;
// If the character is frozen, returns false
if (GetGameTag(GameTag::FROZEN) == 1)
return false;
// If the character is exhausted, returns false
if (GetExhausted())
return false;
//! If the character can't attack, returns false
if (GetGameTag(GameTag::CANT_ATTACK) == 1)
return false;
return true;
}
93. std::vector<Character*> Character::GetValidCombatTargets(Player& opponent) const {
bool isExistTauntInField = false;
std::vector<Character*> targets, targetsHaveTaunt;
for (auto& minion : opponent.GetField().GetAllMinions()) {
if (minion->GetGameTag(GameTag::STEALTH) == 0) {
if (minion->GetGameTag(GameTag::TAUNT) == 1) {
isExistTauntInField = true;
targetsHaveTaunt.emplace_back(minion);
continue;
}
if (!isExistTauntInField)
targets.emplace_back(minion);
}
}
if (isExistTauntInField)
return targetsHaveTaunt;
if (GetGameTag(GameTag::CANNOT_ATTACK_HEROES) == 0 &&
opponent.GetHero()->GetGameTag(GameTag::IMMUNE) == 0 &&
opponent.GetHero()->GetGameTag(GameTag::STEALTH) == 0)
targets.emplace_back(opponent.GetHero());
return targets;
}
94. 하스스톤의 게임 진행
BEGIN_FIRST BEGIN_SHUFFLE BEGIN_DRAW BEGIN_MULLIGAN
MAIN_START
_TRIGGERS
MAIN_READYMAIN_RESOURCEMAIN_DRAW
MAIN_START MAIN_ACTION MAIN_COMBAT MAIN_END
MAIN_CLEANUPMAIN_NEXTFINAL_WRAPUPFINAL_GAMEOVER
95. 하스스톤의 게임 진행
BEGIN_FIRST BEGIN_SHUFFLE BEGIN_DRAW BEGIN_MULLIGAN
• BEGIN_FIRST : 게임을 시작할 때 처리해야 할 로직을 수행합니다.
• BEGIN_SHUFFLE : 덱에 있는 카드들을 무작위로 섞습니다.
• BEGIN_DRAW : 카드를 뽑습니다. (선 플레이어 : 3장, 후 플레이어 : 4장 + 동전)
• BEGIN_MULLIGAN : 마음에 들지 않는 카드를 선택해 덱에 넣고 다시 뽑습니다.
97. MAIN_ACTIONMAIN_START MAIN_COMBAT MAIN_END
하스스톤의 게임 진행
• MAIN_START : 플레이어의 턴을 시작할 때 처리해야 할 로직을 수행합니다.
• MAIN_ACTION : 플레이어의 행동을 처리합니다. (예 : 카드를 낸다, 턴을 종료한다)
• MAIN_COMBAT : 하수인이 상대편의 하수인이나 영웅을 공격합니다.
• MAIN_END : 플레이어의 턴이 끝날 때 처리해야 할 로직을 수행합니다.
99. 4. 하스스톤 강화학습 환경 개발
• MCTS(Monte-Carlo Tree Search)
• 보드(Board) 클래스
• PyTorch C++ API 연동
• Python API 지원
100. 하스스톤 강화학습 환경 개발
• 지금까지 우리는 하스스톤 게임을 만들었습니다.
하지만 우리의 목표는 AI가 하스스톤 게임을 하도록 만드는 것입니다.
• 따라서 AI가 게임을 플레이 할 수 있게 만들어야 합니다.
• 현재 게임의 상황을 AI에게 전달합니다.
• AI가 정책에 따라 어떤 행동을 할 것인지를 결정합니다.
• AI가 결정한 행동에 따라 게임을 진행합니다.
101. MCTS(Monte-Carlo Tree Search)
• 하스스톤은 결정적인(Deterministic) 보드(Board) 게임입니다.
• 보드 게임에서 다양한 알고리즘을 사용해 최선의 수를 구합니다.
• Minimax Algorithm
• Negamax Algorithm
• Branch and Bound
• Alpha-Beta Pruning
• Monte-Carlo Tree Search
103. MCTS(Monte-Carlo Tree Search)
• 몬테카를로 트리 탐색의 4단계
• 선택(Selection) : 현재 게임 상태가 트리 내에 존재하는 동안 다음에 수행할 행동을 선택합니다.
이 때 활용(Exploitation)과 탐험(Exploration)의 균형을 맞춰 저장된 통계 값에 따라 선택합니다.
• 확장(Expansion) : 현재 게임 상태가 트리 내에 존재하지 않으면 새로운 노드로 확장합니다.
• 시뮬레이션(Simulation) : 게임이 끝날 때까지 다음에 수행할 행동을 임의로 선택합니다.
• 역전파(Backpropagation) : 게임을 실행한 노드부터 루트 노드까지 통계 값을 갱신합니다.
여기서 통계 값이란 총 게임 실행 횟수, 승리 횟수 등을 말합니다.
104. MCTS(Monte-Carlo Tree Search)
• 몬테카를로 트리 탐색의 4단계
• 선택(Selection) : 현재 게임 상태가 트리 내에 존재하는 동안 다음에 수행할 행동을 선택합니다.
이 때 활용(Exploitation)과 탐험(Exploration)의 균형을 맞춰 저장된 통계 값에 따라 선택합니다.
• 확장(Expansion) : 현재 게임 상태가 트리 내에 존재하지 않으면 새로운 노드로 확장합니다.
• 시뮬레이션(Simulation) : 게임이 끝날 때까지 다음에 수행할 행동을 임의로 선택합니다.
• 역전파(Backpropagation) : 게임을 실행한 노드부터 루트 노드까지 통계 값을 갱신합니다.
여기서 통계 값이란 총 게임 실행 횟수, 승리 횟수 등을 말합니다.
106. void MOMCTS::Iterate(Game& game) {
m_playerController.SetGame(game);
m_player1.StartIteration();
m_player2.StartIteration();
while (true) {
PlayerController::Player player = m_playerController.GetPlayer();
bool iterationEnds = false;
StateValue stateValue;
while (m_playerController.GetPlayer() == player) {
iterationEnds = GetSOMCTS(player).PerformAction(
m_playerController.GetPlayerBoard(player), stateValue);
if (iterationEnds)
break;
}
if (iterationEnds) {
m_player1.FinishIteration(m_playerController.GetPlayerBoard(
PlayerController::Player::Player1()), stateValue);
m_player2.FinishIteration(m_playerController.GetPlayerBoard(
PlayerController::Player::Player2()), stateValue);
break;
}
GetSOMCTS(player.Opponent()).ApplyOthersActions();
}
}
107. int SOMCTS::ChooseAction(const Board& board, ActionType actionType,
ActionChoices& choices) {
if (m_stage == Stage::SELECTION) {
const int choice = m_selectionStage.ChooseAction(actionType, choices);
return choice;
}
else {
const int choice = m_simulationStage.ChooseAction(
board, m_actionParams.GetChecker(), actionType, choices);
return choice;
}
}
108. bool SOMCTS::PerformAction(const Board& board, StateValue& stateValue) {
PlayState result;
m_actionParams.Initialize(board);
if (m_stage == Stage::SIMULATION) {
if (m_simulationStage.CutoffCheck(board, stateValue))
return true;
m_simulationStage.StartAction(board, m_actionParams.GetChecker());
result = board.ApplyAction(m_actionParams);
m_statistics.ApplyActionSucceeded(true);
} else {
m_selectionStage.StartAction(board);
result = board.ApplyAction(m_actionParams);
m_statistics.ApplyActionSucceeded(false);
if (m_selectionStage.FinishAction(board, result))
m_stage = Stage::SIMULATION;
}
if (result != PlayState::PLAYING) {
stateValue.SetValue(board.GetViewType(), result);
return true;
}
return false;
}
109. 보드(Board) 클래스
• RosettaStone 프로젝트는 Game 클래스를 통해 하나의 게임을 관리합니다.
• 두 플레이어의 정보, 게임과 관련된 정보, 기타 필요한 변수들을 저장하고 있습니다.
• 따라서 Game 객체 하나의 크기는 상당히 큽니다. (~1000 바이트)
• MCTS는 트리의 각 노드에 게임의 상태를 저장합니다.
• 하지만 Game 객체의 크기가 크다 보니 메모리 공간의 낭비가 심합니다.
• 사실 Game 객체에 있는 모든 정보가 필요하진 않습니다.
최적의 행동을 결정하기 위한 정보만 있으면 됩니다.
• 또한 플레이어 관점에서 볼 수 있는 정보만 가지고 있어야 합니다.
111. 보드(Board) 클래스
Game Board BoardRefView ReducedBoardRefView
• Game : 게임과 관련된 정보를 저장하고 있는 클래스
• Board : MCTS에서 행동을 결정하는데 필요한 정보를 담은 클래스
• BoardRefView : 플레이어 관점에서 알고 있는 정보를 담은 클래스
• ReducedBoardRefView : 해시 함수로 변환한 정보를 담은 클래스
116. PyTorch C++ API 연동
• PyTorch
• https://pytorch.org/
• Python 기반의 오픈 소스 머신 러닝 라이브러리입니다.
• C++ API(LibTorch) 와 Python API를 동시 지원합니다.
• C++ 기반의 머신러닝 모델 설계에 용이합니다.
• 하스스톤의 강화학습 환경을 구성하기 위해
PyTorch C++ API(LibTorch)를 사용했습니다.
117. RosettaTorch
• PyTorch C++ API를 사용해 에이전트를 학습하기 위해 만든 프로젝트
• MCTS 및 선택/시뮬레이션 단계에서 사용할 정책 클래스를 포함하고 있습니다.
• 현재 구현되어 있는 정책 클래스
• 선택(Selection) 단계 : RandomPolicy, UCBPolicy
• 시뮬레이션(Simulation) 단계 : RandomCutoffPolicy, RandomPlayoutPolicy
• 여기에 신경망 모델을 사용하는 시뮬레이션 단계를 추가하려고 합니다.
• 현재 구현 진행중인 부분입니다.
• CNN 모델을 예제로 만들고 있습니다.
120. torch::Tensor CNNModel::forward(torch::Tensor hero, torch::Tensor minion,
torch::Tensor standalone) {
// Input shape : (2), (7, 14), (17,)
// Output shape : (1)
// Encodes the information of heros
auto outHero = EncodeHero(hero);
// Encodes the information of minions
auto outMinion = EncodeMinion(minion);
// Encodes the information of 'standalone'
auto outStandalone = EncodeStandalone(standalone);
auto concatFeatures = torch::cat({ outHero, outMinion, outStandalone }, -1);
concatFeatures = m_fc1->forward(concatFeatures);
concatFeatures = torch::leaky_relu(concatFeatures, .2);
concatFeatures = m_fc2->forward(concatFeatures);
concatFeatures = torch::tanh(concatFeatures);
return concatFeatures;
}
121. Python API 지원
• 많은 사람들은 Python 언어로 Tensorflow나 PyTorch를 사용합니다.
PyTorch C++ API를 사용한다고 했지만 편의성 측면에서는 한계가 있습니다.
• 따라서 Python API를 지원하기로 결정했습니다.
• Python API를 지원하기 위한 설계 방침
• C++ 코드를 최대한 재사용하자.
(프로그래밍 언어마다 다시 만드는 작업은 너무 무겁습니다.)
• 확장 가능성을 고려하자.
(새로운 클래스가 추가될 때마다 바인딩하기 어렵습니다.)
122. pybind11
• https://github.com/pybind/pybind11
• C++ 코드를 기반으로 Python 모듈을 생성해주는 라이브러리
• 열거체, 단일/다중 상속, 순수 가상 함수 등 C++ 핵심 기능들을 지원합니다.
• STL 자료 구조, 반복자, 스마트 포인터 등 표준 라이브러리도 지원합니다.
• Python 2, 3 및 PyPy를 지원합니다.
125. Python API 지원
• 현재는 Python API 테스트를 위해 Card 클래스만 추가한 상태입니다.
• 카드 로직 구현과 강화학습 환경 구현 작업을 먼저 처리하고 있지만
어느 정도 진행이 되면 나머지 클래스도 Python API에 추가할 예정입니다.
• 이 작업이 끝나면 Python 언어를 사용해 Tensorflow나 PyTorch를 통한
강화학습 연구를 편하게 할 수 있을 것으로 예상합니다.
126. 5. 개발 진행 상황
• 프로젝트 소개
• 카드 구현 상황
• 강화학습 환경 개발 상황
• 앞으로의 계획
127. RosettaStone
• https://github.com/utilForever/RosettaStone
• 하스스톤 시뮬레이터 + 강화학습 환경 제공
• 라이선스 : AGPLv3
• 작성 언어 : C++17
• 지원 컴파일러
• g++ (7.0 버전 이상)
• clang (5 버전 이상)
• Microsoft Visual C++ (2017 버전 이상)
Hearthstone simulator using C++ with some reinforcement learning
128. 프로젝트 구조
• RosettaStone : 하스스톤 시뮬레이터 라이브러리
• RosettaConsole : 하스스톤 게임을 해볼 수 있는 콘솔 프로그램
• RosettaGUI : 하스스톤 게임을 해볼 수 있는 GUI 프로그램
• RosettaTorch : 강화학습과 관련된 코드를 구현하는 라이브러리
• RosettaTool : 카드 구현 목록을 쉽게 확인할 수 있는 툴 프로그램
129. 카드 구현 상황
• Basic & Classic
• 100% Basic (133 of 133 Cards) + 56% Classic (135 of 237 Cards)
• 32% Hall of Fame (7 of 22 Cards)
• Expansions
• 0% Saviors of Uldum (0 of 135 cards)
• 0% Rise of Shadows (0 of 135 cards)
• 0% Rastakhan's Rumble (0 of 135 Cards)
• 0% The Boomsday Project (0 of 135 Cards)
• 0% The Witchwood (0 of 135 Cards)
130. 강화학습 환경 개발 상황
• MCTS 개발 완료
• PyTorch C++ API 연동 진행중
• AlphaGo Zero 연동 예정
131. 앞으로의 계획
• 모든 카드를 구현할 예정입니다.
• 우선적으로 오리지널 카드와 정규전에서 사용하는 카드를 구현합니다.
• 이후 야생전에서 사용하는 카드를 차례대로 구현할 예정입니다.
• 콘솔 및 GUI 프로그램을 개선해 AI와 대전할 수 있게 만들 예정입니다.
• 다른 언어에서 사용할 수 있도록 API를 제공할 예정입니다.
• 우선적으로 Python을 생각하고 있습니다.
• “RealStone” 팀과 협력해 실제 기기로 대전할 수 있게 만들 예정입니다.
134. 정리
• 게임에서 API를 제공한다면 강화학습을 편하게 연구할 수 있습니다.
하지만 제공하지 않는다면 힘들지만 게임부터 직접 만들어야 합니다.
• 게임을 만드는 작업이 끝나면 강화학습을 위한 작업을 진행해야 합니다.
행동을 결정할 수 있도록 AI에 게임 정보를 전달하는 함수와
AI가 결정한 행동을 게임에 전달하는 함수를 구현해야 합니다.
• 이 때 Tensorflow나 PyTorch와 연동하기 위해 정보를 변환해야 합니다.
• 이 작업까지 끝나면 비로소 강화학습 연구를 할 수 있게 됩니다.