Мультиагентное обучение с подкреплением

Рассмотрены современные и классические алгоритмы одновременного машинного обучения множества агентов, основанные на теории игр, табличных, нейросетевых, эволюционных и роевых технологиях. Представлено последовательное развитие теоретической модели алгоритмов, базирующееся на марковских процессах принятия решений. Реализация алгоритмов выполнена на языке программирования Python с использованием библиотеки глубокого обучения PyTorch. Средой машинного обучения является компьютерная игра StarCraft II с интерфейсом кооперативного мультиагентного обучения SMAC.

Для магистрантов и аспирантов направления подготовки «Информатика и вычислительная техника».

Список литературы

1. Девятков В.В. Системы искусственного интеллекта: учеб. пособие для вузов. М.: Изд-во МГТУ им. Н.Э. Баумана, 2001. 352 с.
2. Тарасов В.Б. От многоагентных систем к интеллектуальным организациям. М.: Едиториал УРСС, 2002. 353 с.
3. Buşoniu L., Babuška R., De Schutter B. Multi-agent reinforcement learning: An overview // Innovations in multi-agent systems and applications. Berlin: Springer, 2010. P. 183–221.
4. Claus C., Boutilier C. The dynamics of reinforcement learning in cooperative multiagent systems // AAAI/IAAI. 1998. Vol. 2. P. 746–752.
5. Greenwald A., Hall K., Serrano R. Correlated Q-learning // ICML. 2003. Vol. 20. No. 1. P. 242.
6. Hernandez-Leal P. et al. A survey of learning in multiagent environments: Dealing with non-stationarity // URL: https://arxiv.org/abs/1707.09183 (дата обращения 01.11.2020).
7. Klein D., Abbeel P. CS 188: Artificial Intelligence // URL: https:// inst.eecs.berkeley.edu/~cs188/sp20 (дата обращения 01.11.2020).
8. Könönen V. Asymmetric multiagent reinforcement learning // Web Intelligence and Agent Systems: An international journal. 2004. Vol. 2. No. 2. P. 105–121.
9. Lauer M., Riedmiller M. An algorithm for distributed reinforcement learning in cooperative multi-agent systems // Proceedings of the Seventeenth International Conference on Machine Learning. 2000.
10. Laurent G.J. et al. The world of independent learners is not Markovian // International Journal of Knowledge-based and Intelligent Engineering Systems. 2011. Vol. 15. No. 1. P. 55–64
11. Leike J. et al. AI safety gridworlds. URL: https://arxiv.org/abs/1711.09883 (дата обращения 01.11.2020).
12. Littman M.L. Value-function reinforcement learning in Markov games // Cognitive systems research. 2001. Vol. 2. No. 1. P. 55–66.
13. Matignon L., Laurent G.J., Le Fort-Piat N. Independent reinforcement learners in cooperative Markov games: a survey regarding coordination problems // Knowledge Engineering Review. 2012. Vol. 27, No. 1. P. 1–31.
14. Pollack M.E., Ringuette M. Introducing the Tileworld: Experimentally evaluating agent architectures // AAAI. 1990. Vol. 90. P. 183–189.
15. Schwartz H.M. Multi-agent machine learning: A reinforcement approach. NY: John Wiley & Sons, 2014. 264 p.