Mikä voittaa openai-botin, joka voittaa dendin

Viime viikolla historia luotiin Dota 2: n ja AI: n alueisiin. The International -pelissä Dendi, yksi pelin parhaista pelaajista, lyötiin armottomasti ottelussa 1v1 kahdesti peräkkäin. Kyseisen robotin teki OpenAI, Elon Muskin startup.

Nyt sinulla voi olla joitain kysymyksiä. Mikä on Dota? Mikä on OpenAI? Ja miksi tämä on edes tärkeää? Aluksi, Dota on vapaasti pelattava MOBA-peli, jossa hallitset sankareita ja tavoitteesi on tuhota muinaiset vastustajat. Monet Dota-faneista saattavat loukkaa viimeistä virkettä, koska Dota-kohdalla on niin paljon, kun olen tiivistänyt.

Peli on erittäin monimutkainen ja siinä on erittäin jyrkkä oppimiskäyrä. Olin aloittanut tehtävän oppia Dotaa jonkin aikaa sitten, ja kesti viikon vain käydä läpi perusvideo, jossa he selittävät pelin strategian, mitä aseet, loitsut, sankarit tekevät ja kuinka hiipiä minua kaipaavat. Ja tämä tekee koko AI vs Dendi -taistelun tärkeäksi, koska se kuvaa kuinka edistyneestä AI: stä ja ML: stä on tullut. Joten katsotaan, mikä tuo botti virtaa ja tarvitsemmeko pelätä AI: n kapinaa.

AI: n planeetan nousu

AI: n muuttaminen Skynetiksi on kiistanalainen ongelma. Elon Musk uskoo, että Skynetin kaltainen skenaario todennäköisesti tapahtuu, jos sitä ei pidetä hallinnassa. Toisaalta Mark Zuckerberg sanoo, että AI on vaaraton eikä aiheuta Doomsday-skenaariota. Elon Musk aloitti OpenAI: n tavoitteen.

AI: n väärinkäytön ja sellaisen tutkimuksen estäminen, joka ei käänny meitä vastaan. Ja olen hänen puolellaan.

Mutta siitä ei ole sitä, mistä olemme täällä keskustelemassa. Pääaihe on tietää, mikä saa aikaan OpenAI: n tekemän botin. Saadakseni ymmärryksen siitä, luin joitain tutkimuspapereita ja blogeja aiheesta ja otin myös yhteyttä ystäväni Anmol Sharmaan, joka on AI: n ja ML: n tutkija.

Vahvistusoppiminen

Tämä on OpenAI: n Dota-botin takana olevan tekniikan nimi. Mutta ennen kuin tutkimme asiaa, meidän on ymmärrettävä, kuinka yleinen AI tai erityisesti videopelien AI toimii. AI on erittäin johtokunnan termi ja sisältää monia aiheita, kuten koneoppiminen, syväoppiminen ja hermostoverkot muutamia mainitakseni. Voit määritellä karkeasti AI: n sanomalla, että se on tietokoneen kyky oppia tiedoista ja tehdä päätöksiä oppimisensa perusteella. Mitä enemmän se oppii, sitä enemmän päätöksen oikeellisuus kasvaa.

Kuinka se eroaa normaalista botista?

Botit yleensä videopeleissä voivat näyttää älykkäiltä, ​​mutta se ei ole totta AI: n muotoa. Lähes kaikki nämä peleissä olevat robotit ohjelmoidaan asetettujen If..This..Then..That lauseiden perusteella. He vain seuraavat lausuntoja ja ryhtyvät toimiin lausumassa kirjoitettujen ehtojen perusteella.

Yllä olen osoittanut hyvin yksinkertaisen esimerkin. Oikeissa peleissä olevat lausunnot ovat paljon monimutkaisempia olosuhteissa olosuhteissa. Mitä tarkemmin määritellyt ja yksityiskohtaiset nämä lausunnot ovat, sitä enemmän robotti näyttää älykkäältä.

Palkinnot ja rangaistukset

AI-lingossa se, mitä kutsumme botiksi, tunnetaan agenttina. Tavoitteena on saada agentti oppimaan mitä haluamme sen oppivan. Agentti oppii samalla menetelmällä kuin koirasi, palkkioiden ja rangaistusten avulla. Aina kun edustaja tekee virheen, siitä rangaistaan ​​ja kun se tekee oikean arvauksen tai antaa oikean vastauksen, hänelle maksetaan palkkio. Tämän järjestelmän välityksellä edustaja oppii yhdistämään toimenpiteet, joita sen ei pitäisi tehdä rangaistuksen välttämiseksi, ja suorittamaan palkinnoista vastaavat toimenpiteet (tai vastaavat toimenpiteet).

Jos ajattelet sitä tarkasti, se on kuin päätöksenteko tietyissä olosuhteissa, aivan kuten algoritmit tekevät sen. Kuten olen edellä osoittanut, räjähtävän piipun päälle tuleva pelibotti ryhtyy toimiin algoritmin mukaisesti. AI: n algoritmit ovat tietysti valtavasti monimutkaisia, mikä tekee koko järjestelmästä älykkään.

Tultuaan OpenAI-bottiimme, kehittäjien mukaan se oppi koko pelin 2 viikon aikana. Koko 2 viikon ajan se oli verkossa 24 × 7 ja pelasi itse kopioita vastaan. Se on huomattava virstanpylväs, kun otetaan huomioon pelin monimutkaisuus ja tosiasia, että se voisi voittaa Dendin.

Miksi kuljettajattomia autoja ei vieläkään ole täällä?

Tämä oli yksi ensimmäisistä kysymyksistä, jotka tulivat mieleeni, kun kuulin koko tapahtumasta. Jos robotti voi oppia tällaisen pelin ja kouluttaa itsensä huippupelaajien pelaajan pisteeseen, miksi me edelleen hoitamme pyörää. Ja tämä oli sama kysymys, jonka ammuin ystävälleni herra Anmol Sharmalle, joka on myös tutkinut ajamattomia autoja. Tämän hänellä oli sanottava.

Ihmisen kehittämässä pelissä muuttujien lukumäärä on vähemmän. Lisäksi, jos agentti (botti) tekee virheen, pahin rangaistus on kierroksen menetys. Todellisessa maailmassa yksi virhe on kuolema.

Vaikka Dota on monimutkainen peli, mahdolliset siirtojen, loitsujen ja taktiikoiden yhdistelmät, vaikka ne ovatkin mielettömän suuria, ovat silti rajalliset. Ja virheet sallitaan ilman todellisia rangaistuksia. Mutta kuljettajattoman autoagentin tapauksessa virheet voivat johtaa vaarallisiin onnettomuuksiin ja jopa kuolemaan.

Todellisessa maailmassa muuttujien lukumäärää, jota edustajan on valvottava, on loputtomia, ja näistä muuttujista johtuvat tilanteet, kuten toinen auto, joka muuttuu äkkiä kaistaa, jalankulkija hyppää auton edessä, ovat myös loputtomia. Lisäksi, kuten Jeremy Clarkson totesi, heidän on tehtävä moraalisia ja eettisiä päätöksiä välittömän onnettomuuden partaalla (vaikka hänen teoriansa ei ole pätevä).

Tulevaisuus

Tiedämme jo ihmisen ohjaamasta robotista, joka suorittaa sisäisiä leikkauksia. Seuraava harppaus on AI-ohjattavat robotit, jotka suorittavat sen. Ja tämä on vain lääketieteen alalla. AI on varmasti hallitseva uusi tekniikka seuraavalla vuosikymmenellä monilla aloilla. AI: tä voidaan myös käyttää väärin tarkoituksiin, kuten DDoS-hyökkäykset, Ransomware-robotit ja muiden tietokoneiden tai yritysten järjestelmien hakkerointi.

Dota- ja muiden pelien osalta voimme odottaa näkevänsä myös muita älykkäitä botteja muille peleille, joita vastaan ​​pelaajat voivat harjoitella toimimaan vielä paremmin. Ja mainitsinko, että OpenAI tekee 5v5: n ensi vuoden kansainvälisellä näytöllä? Joten aion harjata Dota-taitojani ainakin voittaakseni sisäänrakennetut dumpit. Jumalallinen Rapier tänne tulen!