AlphaStar es un juego de StarCraft II desarrollado por DeepMind en colaboración con Blizzard Entertainment , y fue la primera IA en alcanzar el nivel de los mejores jugadores en una disciplina de esports sin restricciones especiales. El proyecto fue anunciado en 2016. A fines de 2018, se llevaron a cabo una serie de partidas de prueba contra jugadores profesionales, que terminaron con una clara victoria para la IA, y en 2019 AlphaStar participó en el modo clasificado de StarCraft II , como resultado de lo cual alcanzó el más alto in- rango de juego de la liga - gran maestro.
AlphaStar es una red neuronal artificial que se creó utilizando métodos de aprendizaje profundo , con refuerzo y con un maestro (las grabaciones de juegos de personas reales proporcionadas por Blizzard Entertainment se usaron como un conjunto de datos de entrenamiento) [1] . Además, durante el juego, se utilizan datos estadísticos sobre cómo actuaron las personas vivas en la situación actual [2] . La red neuronal recibe como entrada un conjunto de minimapas con varios filtros generados por la API, y construye una cadena de acciones posteriores en base a ellos [3] .
En la BlizzCon 2016, se anunció un proyecto conjunto entre Blizzard Entertainment y DeepMind para crear inteligencia artificial para jugar a StarCraft II . Como parte de la colaboración, Blizzard comenzó a desarrollar un conjunto de herramientas de software que permiten que la inteligencia artificial de terceros interactúe completamente con el juego, y también suministró a DeepMind grabaciones de todos los partidos en línea jugados por personas en vivo como datos de entrenamiento [4] . En agosto de 2017, se completó el trabajo en una API abierta para StarCraft II como una aplicación para sistemas operativos Linux que brinda acceso a la información del juego, incluida la cuenta del juego, que está disponible para el jugador solo después del final del juego. En lugar de dibujar gráficos de juegos, la aplicación genera un conjunto de minimapas con varios filtros, que deben ser ingresados cuadro por cuadro a la inteligencia artificial, que calcula la secuencia de acciones adicionales en función de ellos. Además, se implementó la capacidad de realizar batallas entre varios bots en modo fuera de línea y se crearon varios escenarios de entrenamiento, como recolectar recursos, mover unidades, construir edificios y otros. DeepMind ha lanzado una biblioteca de Python que vincula StarCraft II e implementaciones de aprendizaje automático [3] . Se publicó una preimpresión en el blog de DeepMind, informando los primeros resultados. La versión de inteligencia artificial que existía en ese momento perdió ante la IA ligera incorporada en la gran mayoría de los casos, y los casos raros de empate fueron causados por un límite artificial preestablecido en la duración del juego de 30 minutos. DeepMind AI ha aprendido a usar la capacidad de las estructuras Terran para volar y moverse por el mapa para evadir el ejército del oponente y llevar el juego a un empate [5] .
Después de ser entrenada usando grabaciones de juegos humanos en vivo, la red neuronal aprendió a vencer a la IA integrada más compleja disponible el 95 % del tiempo. La versión resultante de la inteligencia artificial jugó consigo misma durante 14 días en tiempo real, el equivalente a 200 años de jugar a StarCraft II. Inicialmente, la inteligencia artificial DeepMind usó activamente la carrera , tratando de lograr una victoria rápida mediante la construcción de una gran cantidad de unidades relativamente baratas, pero con el tiempo aprendió a defenderse de tales ataques y a prestar atención a otros aspectos del juego, incluido el desarrollo económico . 6] [1] . Además de la versión principal de inteligencia artificial, durante el proceso de entrenamiento se desarrollaron "jugadores asistentes", cuya tarea era idear estrategias de ataque creativas e inusuales. Su porcentaje de victorias fue bajo, pero ayudaron a entrenar mejor la inteligencia artificial [2] .
El 19 de diciembre de 2018, se llevó a cabo una serie de partidos de prueba entre una versión desarrollada de inteligencia artificial, llamada AlphaStar, y los ciberdeportistas Dario "TLO" Wunsch y Grzegorz "MaNa" Komnich , en un enfrentamiento PvP (protoss contra protoss) [7] . AlphaStar venció a cada uno de los ciberdeportistas con una puntuación de 5:0. La inteligencia artificial tenía una ventaja: mientras un humano solo veía lo que pasaba en la pantalla, AlphaStar veía todo el mapa. El partido sin puntuación contra MaNa, en el que AlphaStar jugó con la limitación habitual del área visible, la red neuronal perdió, sin embargo, los desarrolladores señalan que la red neuronal se entrenó en este modo durante solo una semana [1] . Además, dado que la inteligencia artificial en ese momento solo podía jugar en un enfrentamiento PvP, TLO tenía que jugar como protoss, y no como su raza principal, los Zerg [7] .
En julio de 2019, AlphaStar comenzó a jugar partidas clasificatorias de forma anónima contra jugadores en vivo que permitían jugar con IA en la interfaz del juego. El método de selección de oponentes para la inteligencia artificial y el algoritmo para calcular su calificación fueron similares a los de los jugadores en vivo. AlphaStar fue más limitado que en diciembre, con la IA solo capaz de ver lo que estaba sucediendo dentro de una pequeña área en movimiento, similar a la cámara del jugador, y se establecieron mayores límites en la cantidad de acciones por minuto (APM). Esta versión de inteligencia artificial podría jugar para las tres razas en los nueve enfrentamientos [8] . Como resultado, AlphaStar alcanzó el rango más alto del juego: gran maestro, que está en manos de los 200 mejores jugadores de la región (aproximadamente 0,2 %), para las tres razas [9] . David Silver, investigador de DeepMind, señala que AlphaStar fue la primera IA en alcanzar el nivel de los mejores jugadores en una disciplina de esports sin restricciones especiales [10] .
En el festival BlizzCon 2019 , se colocó una computadora para que cualquiera pudiera jugar contra AlphaStar. Entre los que jugaron estaba la actual campeona mundial Joona "Serral" Sotala , cuyo partido contra la inteligencia artificial terminó con una derrota por 1-3. Este resultado no puede considerarse grave, porque, en primer lugar, Serral utilizó dispositivos periféricos inusuales y, en segundo lugar, el partido no fue especialmente organizado y se llevó a cabo por iniciativa personal de Joona [11] .
A pesar de que los desarrolladores han limitado la cantidad de acciones por minuto a un valor alcanzable por un humano, AlphaStar sigue siendo inusualmente rápido para un humano, ya que una persona usa órdenes repetitivas cuando juega y puede realizar acciones impulsivas y precipitadas que no importan, mientras que todas las acciones de la IA siguen siendo precisas. . Entonces, en una batalla con una gran cantidad de unidades, AlphaStar logra dar órdenes individuales a cada unidad de combate con una velocidad y precisión inaccesibles para una persona viva [12] [13] . El comentarista Aleksey "Alex007" Trushlyakov también señala que la inteligencia artificial no comprende el significado de algunos trucos de los jugadores en vivo y no siempre los copia correctamente [14] .