Хугацаа хэмжээгээр сайжирдаг AI програм хангамж

Бэхэлгээний сургалт нь оновчтой шийдлийг судлахын тулд төлөвийн агент, магадлалын загварыг ашигладаг. Биологиудад танигдсан эерэг, сөрөг бэхэлгээнд сэдэл авсан тул энэ нь алдартай болсон. Алгоритмууд нь нөхцөлт загваруудыг танихын тулд нэр дэвшигч шийдэлд санамсаргүй өөрчлөлт оруулдаг.

Агентууд нь шагналыг хамгийн их болгохын тулд орчинд шийдвэрийн дарааллыг гаргахаар сургагддаг. Үүний өргөн хүрээний хэрэглээ байдаг бөгөөд дотор нь:

Санхүү: Бэлэн сургалтын алгоритмуудыг ашиглан хувьцаа болон бусад санхүүгийн хэрэгсэлтэй хэрхэн арилжаалахыг сурах арилжааны агентуудыг бий болгоход ашигласан.
Тоглоомууд: Бэлэн сургалтын алгоритмуудыг ашиглан Atari, Go, Dota 2 зэрэг тоглоомуудыг тоглохыг сурч чадах тоглоом тоглох агентуудыг бий болгоход ашигласан.
Байгалийн хэлний боловсруулалт: Хэлний орчуулга, хэлний үүсгэлт зэрэг байгалийн хэлний боловсруулалтын даалгавруудын гүйцэтгэлийг сайжруулахад бэхлэлтийн сургалтыг ашигласан.
Робот техник: Бэхэлгээний сургалтыг барьж авах, манипуляц хийх, навигацын болон объектын манипуляц зэрэг даалгавар гүйцэтгэхэд роботуудыг сургахад ашиглаж болно.
Эрүүл мэнд: Бэхэргийн сургалтыг өвчтөний хариу үйлдэл дээр үндэслэн эмчилгээний горимыг тохируулах сургалтыг ашиглан чихрийн шижин, цусны даралт ихсэх зэрэг архаг өвчтэй өвчтөнүүдийн эмчилгээг оновчтой болгоход ашигласан.
Эрчим хүчний менежмент: Бэлэн болгосон сургалтын алгоритмууд нь эрчим хүчний системүүдийн, жишээлбэл ухаалаг сүлжээний, үйл ажиллагааг оновчтой болгоход ашиглагдаж байсан бөгөөд хэрэгцээ болон нийлүүлэлтийн нөхцөл байдалд өөрчлөлт орсон үед эрчим хүчний үйлдвэрлэл болон хэрэглээг тохируулахыг суралцах замаар үүнийг хийдэг.

Бэхэлгээт сургалтад агент нь шагналыг хамгийн их болгохын тулд орчинтойгоо харилцахыг сурдаг. Агент нь хийсэн бүх үйлдэл бүрийнхээ төлөө шагнал хүлээж, нийт хүлээгдэж буй шагналыг хамгийн их болгох үйлдлүүдийг сонгохыг сурдаг. Бэхэлгээт сургалтын үйл явцыг дараах алхмуудад хувааж болно:

Агент нь орчны одоогийн төлөвийг ажигладаг.
Агент нь өөрийн одоогийн бодлого дээр үндэслэн үйлдэл сонгодог бөгөөд энэ нь өгөгдсөн төлөвт ямар үйлдэл хийхийг тодорхойлдог дүрмийн цогц юм.
Орчин нь шинэ төлөв рүү шилжиж, хийсэн үйлдэл дээр үндэслэн агентад шагнал өгдөг.
Агент нь шагнал болон орчны шинэ төлөв дээр үндэслэн бодлогоо шинэчилдэг.

Энэ үйл явц нь агент ойролцоогоор оновчтой бодлогод төвлөрөх хүртэл давтагдана. Бэхжүүлэх сургалтыг хэрэгжүүлэхэд ашиглаж болох хэд хэдэн өөр алгоритмууд байдаг, жишээлбэл Q-learning, SARSA болон Monte Carlo арга юм. Эдгээр алгоритмууд нь үйлдэл бүрийн хүлээгдэж буй шагналыг хэрхэн тооцоолох болон ажиглагдсан шагналд үндэслэн бодлогыг хэрхэн шинэчлэхэдээ ялгаатай.

Бэлэн сургалтын нэг гол сорилт нь том, нарийн төвөгтэй орчинд нэмэгдэх чадвартай алгоритмуудыг хөгжүүлэх явдал юм. Бэлэн сургалтын олон алгоритм нь үр дүнтэй сурахын тулд их хэмжээний өгөгдөл болон тооцоолох нөөцийг шаарддаг. Энэ нь том хэмжээний төлөвийн орон зай эсвэл нарийн төвөгтэй динамикаас хамаардаг бодит ертөнцийн асуудлууд дээр эдгээр алгоритмуудыг ашиглахад хүндрэл учруулж болзошгүй. Өөр нэг сорилт бол системийн зорилгыг нарийвчлан тусгасан шагналын функцуудыг загварчлах явдал юм. Зарим тохиолдолд агентээс хүссэн зан үйлийг сурахад нь түлхэц өгөх тодорхой шагналын дохиог тодорхойлоход хүндрэлтэй байж болзошгүй. Энэ нь ялангуяа агент шагналыг загварчлагчийн зорисон бус аргаар хамгийн их рүүгээ хязгаарлахыг сурсан тохиолдолд оновчтой бус эсвэл хүсээгүй үр дүнд хүргэж болзошгүй.

DeepMind-ийн боловсруулсан бэхэлгээний сургалтын алдартай хувилбар болох Deep Q-Network (DQN) нь Atari 2600 тоглоомуудыг хүнээс илүү түвшинд тоглохыг сурсан. DQN алгоритм нь түүхий пикселийн оруулгыг үйлдлүүдэд зураглахыг сурж, гүн нейрон сүлжээг ашиглан өгөгдсөн төлөвт үйлдэл бүрийн хүлээгдэж буй шагналыг тооцоолдог үйлдэл-үнэ цэнийн функцийг ойролцоолсноор эдгээр тоглоомуудыг тоглохыг сурсан. Энэхүү дэвшил нь Go хөлөгт тоглоомыг мэргэжлийн түвшинд тоглохыг сурсан бэхэлгээний сургалтын алгоритм болох AlphaGo-ийн хөгжилд хүргэсэн. AlphaGo нь хяналттай сургалт болон бэхэлгээний сургалтын хослолыг ашиглан Go тоглохыг сурсан бөгөөд хожим нь туршлага дээр үндэслэн бодлогыг нарийсгахад бэхэлгээний сургалтыг ашигласан. AlphaGo-ийн амжилт нь машины сургалтын алгоритм нь өндөр түвшний стратегийн гүнзгий байдалтай нарийн төвөгтэй даалгаварыг сурч, эзэмших чадвартайг харуулсан тул бэхэлгээний сургалтын салбарт чухал цэг болжээ.

Ерөнхийдөө бэлэн сургалт нь нарийн төвөгтэй асуудлуудыг шийдвэрлэх хүчирхэг, амжилттай хандлага боловч эдгээр алгоритмуудын боломжит ашиг тус, сөрөг талуудыг тухайлсан хэрэглээний контекст дахь анхааралтай авч үзэх нь чухал. Мөн бэлэн сургалтын алгоритмуудыг ёс зүйтэйгээр хөгжүүлж, ашиглах, тэдгээрийн үйлдлийн боломжит үр дагаврыг харгалзан үзэх нь чухал.

Telemus AI™ нь таныг болон таны байгууллагыг Хиймэл оюун ухаан таны хамгийн нарийн төвөгтэй асуудал болон сорилтуудыг хэрхэн шийдвэрлэхийг илүү сайн ойлгоход тусалж чадна.

Telemus AI™-г таны байгууллагад хэрхэн ашиглах боломжтойг харахын тулд өнөөдөр бидэнтэй холбогдоно уу.