Слідом за DeepMind інша команда ШІ-розробників Google вирішила відточити майстерність штучного інтелекту на відеоіграх. Однак замість шахів або Starcraft Brain Team звернула свою увагу на відеоігри з більш вільним фіналом, в яких істотно більше непередбачуваності. Наступна мета Google Research - комп’ютерний футбол, пише MIT Technology Review. А тим часом згідно інформації сайту Daily Online, британсько-білоруський розробник музичного софту Дрифт організовує підрозділ, який буде займатися випуском ігрових додатків для смартфонів.
Фахівці створили гру Google Research Football Environment для тестування алгоритмів в світі, де діють закони фізики і який можна легко налаштовувати, використовувати і нескінченно відтворювати. Цей сеттінг вони зробили доступним за відкритою ліцензією, щоб всі бажаючі могли спробувати розробити алгоритми гри в футбол.
Проблема балансу
Одна з головних проблем, що стоять перед ШІ-дослідниками - знайти для алгоритмів нове завдання. Нехитрі відеоігри на кшталт Pong або Breakout іноді занадто прості для них, і машина перевершує в них людини вже після пари годин навчання. Дуже багато ігор передбачувані: вони розвиваються за одним і тим самим шляхом. Алгоритмам не складає труднощів виробити виграшну стратегію.
Інші ігри, на зразок Starcraft, навпаки, надто важкі, тобто вимагають занадто багато обчислювальних ресурсів на те, щоб отримати релевантні дані для подальшої тренування алгоритмів.
Ще одна проблема в тому, що багато потенційно придатних онлайн-ігор працюють на ліцензійному коді, який не можна змінювати або навіть побачити. Так що дослідникам складно зрозуміти, як ШІ приймає важливі рішення, або поекспериментувати з цим процесом.
Однак в реальному житті усе інакше: вміння справлятися з несподіваними проблемами - важливий навик. Єдиний спосіб навчити цьому машину - тренувати її в непередбачуваному, але в той же час контрольованому середовищі, не дуже простому і не дуже складному. Однак створити такі умови - завдання нетривіальне.
Передбачувані варіації
Фахівці Brain Team створили такий симулятор, передбачуваність якого заснована на фізиці гри. Але в ньому є і безліч несподіваних чинників, від тактики опонентів до неправильного підбору гравців на етапі відбору
За основу вони взяли відкритий симулятор Gameplay Football, який дозволяє проводити футбольні матчі. Потім вони модифікували його, щоб у ШІ був показник успіху, відмінний від звичайних голів. Вони трапляються рідко, і тому по голам складно відстежувати прогрес алгоритму. Дослідники вирішили орієнтуватися на те, наскільки близько машині вдалося провести м’яч до воріт опонента.
Алгоритм може грати проти інших машин або проти людей. Це дає широкий вибір різноманітних стратегій. І уникає сценаріїв, в яких штучний інтелект просто вивчає слабкі сторони опонента-машини.
Це створює цікаву проблему навчання з підкріпленням, оскільки футбол вимагає зберігати баланс між короткостроковими контролем і придбанням таких навичок, як пас, і високорівневою стратегією.