Original Title: Intelligent Resource Provisioning and Optimization in Fog Computing using Deep Reinforcement Learning
Source: doi.org/10.14445/23488549/IJECE-V10I8P109
Disclaimer: Summary generated by AI based on the provided document. Please refer to the original paper for full scientific accuracy.

ការផ្តល់ធនធានប្រកបដោយភាពវៃឆ្លាត និងការបង្កើនប្រសិទ្ធភាពក្នុង Fog Computing ដោយប្រើ Deep Reinforcement Learning

ចំណងជើងដើម៖ Intelligent Resource Provisioning and Optimization in Fog Computing using Deep Reinforcement Learning

អ្នកនិពន្ធ៖ S. Aiswarya (Hindustan Institute of Technology and Science), Angelina Geetha (Hindustan Institute of Technology and Science), K. Ramesh (Sri Krishna College of Engineering and Technology)

ឆ្នាំបោះពុម្ព៖ 2023, SSRG International Journal of Electronics and Communication Engineering

វិស័យសិក្សា៖ Computer Science

១. សេចក្តីសង្ខេបប្រតិបត្តិ (Executive Summary)

បញ្ហា (The Problem)៖ ការសិក្សានេះដោះស្រាយបញ្ហាប្រឈមក្នុងការគ្រប់គ្រងការបែងចែកធនធានដែលមានភាពប្រែប្រួលរហ័សនៅក្នុងបរិស្ថាន Fog Computing សម្រាប់ឧបករណ៍ IoT ដើម្បីកាត់បន្ថយភាពយឺតយ៉ាវ (Latency) និងការប្រើប្រាស់ថាមពល។

វិធីសាស្ត្រ (The Methodology)៖ អ្នកនិពន្ធបានស្នើឡើងនូវក្របខណ្ឌការងារថ្មីមួយដែលប្រើប្រាស់បច្ចេកវិទ្យា Deep Reinforcement Learning (DRL) ដើម្បីគ្រប់គ្រងធនធានដោយស្វ័យប្រវត្តិ។

ការប្រើប្រាស់ Deep Neural Network (DNN) ដើម្បីប៉ាន់ប្រមាណគោលនយោបាយបែងចែកធនធានឱ្យសមស្របតាមស្ថានភាពជាក់ស្តែង។
ការអនុវត្តក្បួនដោះស្រាយ Proximal Policy Optimization (PPO) ដើម្បីបង្កើនប្រសិទ្ធភាពនៃការសម្រេចចិត្តរបស់ប្រព័ន្ធ។
ការធ្វើតេស្តសាកល្បងដោយប្រើកម្មវិធី iFogSim ដើម្បីវាយតម្លៃលើល្បឿនឆ្លើយតប ការប្រើប្រាស់ថាមពល និងការចំណាយ។

លទ្ធផលសំខាន់ៗ (The Verdict)៖

វិធីសាស្ត្រ PPO ដែលបានស្នើឡើងអាចកាត់បន្ថយពេលវេលាឆ្លើយតប (Response Time) និងភាពយឺតយ៉ាវបានល្អជាងក្បួនដោះស្រាយដែលមានស្រាប់ដូចជា FRP_RL និង FogPlan។
ការប្រើប្រាស់ថាមពលត្រូវបានកាត់បន្ថយយ៉ាងមានប្រសិទ្ធភាព ខណៈពេលដែលការប្រើប្រាស់ធនធាន (Resource Utilization) នៅក្នុងថ្នាំង Fog កើនឡើងដល់កម្រិតខ្ពស់ (ប្រហែល ៩០%)។
ប្រព័ន្ធនេះអាចរក្សាបាននូវគុណភាពសេវាកម្ម (QoS) ដែលអាចទទួលយកបាន ទោះបីជាស្ថិតក្រោមលក្ខខណ្ឌនៃការផ្ទុកទិន្នន័យ (Workload) ដែលប្រែប្រួលខ្លាំងក៏ដោយ។

២. ការវិភាគលើប្រសិទ្ធភាព និងដែនកំណត់ (Performance & Constraints)

វិធីសាស្ត្រ (Method)	គុណសម្បត្តិ (Pros)	គុណវិបត្តិ (Cons)	លទ្ធផលគន្លឹះ (Key Result)
Proposed Method (PPO-based DRL) វិធីសាស្ត្រដែលបានស្នើឡើង (ប្រើប្រាស់ Proximal Policy Optimization)	មានប្រសិទ្ធភាពខ្ពស់ក្នុងការកាត់បន្ថយការប្រើប្រាស់ថាមពល និងពេលវេលាឆ្លើយតប (Latency) ព្រមទាំងបង្កើនការប្រើប្រាស់ធនធានបានល្អបំផុត។	ទាមទារការបណ្តុះបណ្តាល (Training) ម៉ូដែល Deep Learning ដែលអាចត្រូវការធនធានគណនាខ្ពស់នៅដំណាក់កាលដំបូង។	កាត់បន្ថយភាពយឺតយ៉ាវ (Latency) មកនៅត្រឹមមធ្យម ៦.៩ms និងបង្កើនការប្រើប្រាស់ធនធានដល់ ៩០%។
FogPlan វិធីសាស្ត្រ FogPlan (ប្រើប្រាស់ Greedy Algorithm)	មានលក្ខណៈសាមញ្ញក្នុងការអនុវត្ត និងសមស្របសម្រាប់កិច្ចការដែលមិនសូវស្មុគស្មាញ។	ប្រើប្រាស់ថាមពលខ្ពស់ជាង និងមានអត្រាការប្រើប្រាស់ធនធាន (Utilization) ទាបជាងវិធីសាស្ត្រដែលបានស្នើឡើង។	មានការប្រើប្រាស់ថាមពលខ្ពស់ជាង និងភាពយឺតយ៉ាវប្រហែល ៧.០-៧.៤ms។
FRP_RL វិធីសាស្ត្រ FRP_RL (Fog Resource Provisioning using RL)	ប្រើប្រាស់ការរៀនសូត្រពីបទពិសោធន៍ (Reinforcement Learning) ដើម្បីធ្វើផែនការ។	នៅតែមានកម្រិតប្រសិទ្ធភាពទាបជាងការប្រើប្រាស់ PPO និងចំណាយខ្ពស់ជាង។	មានភាពយឺតយ៉ាវខ្ពស់ជាងវិធីសាស្ត្រដែលបានស្នើឡើង (ប្រហែល ៧.៣-៧.៨ms)។

ការចំណាយលើធនធាន (Resource Cost)៖ ការសិក្សានេះពឹងផ្អែកលើការពិសោធន៍តាមរយៈកុំព្យូទ័រ (Simulation) ជាចម្បង ប៉ុន្តែការអនុវត្តជាក់ស្តែងនឹងត្រូវការឧបករណ៍បណ្តាញកម្រិតខ្ពស់។

Simulation Software: កម្មវិធី iFogSim ត្រូវបានប្រើដើម្បីបង្កើតបរិស្ថានពិសោធន៍ និងវាយតម្លៃលើដំណើរការ។
Computational Power: ត្រូវការម៉ាស៊ីនដែលមានសមត្ថភាពខ្ពស់ (GPU/CPU) ដើម្បីបណ្តុះបណ្តាល Deep Neural Network (DNN)។
Fog Infrastructure: ក្នុងការអនុវត្តជាក់ស្តែង ត្រូវការឧបករណ៍ Fog Nodes (ដូចជា Routers, Gateways ឬ Micro Data Centers) និង Cloud Server។

៣. ការពិនិត្យសម្រាប់បរិបទកម្ពុជា/អាស៊ីអាគ្នេយ៍

ភាពលំអៀងនៃទិន្នន័យ (Data Bias)៖

ការសិក្សានេះប្រើប្រាស់ទិន្នន័យសិប្បនិម្មិត (Artificial Workloads) ដែលបង្កើតឡើងក្នុងកម្មវិធី iFogSim ដោយមានសំណើចាប់ពី ២៥០ ទៅ ១៤៥០ សេវាកម្ម។ នេះជាការកំណត់មួយ ព្រោះវាមិនទាន់ឆ្លុះបញ្ចាំងពីស្ថានភាពបណ្តាញអ៊ីនធឺណិតជាក់ស្តែងនៅក្នុងប្រទេសកម្ពុជា ដែលអាចមានភាពមិនស្ថិតស្ថេរ ឬបញ្ហា Latency ដោយសារហេដ្ឋារចនាសម្ព័ន្ធ។

លទ្ធភាពនៃការអនុវត្ត (Applicability)៖

វិធីសាស្ត្រនេះមានប្រយោជន៍ខ្លាំងសម្រាប់កម្ពុជា ជាពិសេសក្នុងបរិបទនៃការអភិវឌ្ឍន៍សេដ្ឋកិច្ចឌីជីថល និងទីក្រុងឆ្លាតវៃ។

ការអភិវឌ្ឍទីក្រុងឆ្លាតវៃ (Smart Cities): អាចយកទៅអនុវត្តនៅរាជធានីភ្នំពេញ ឬក្រុងព្រះសីហនុ ដើម្បីគ្រប់គ្រងទិន្នន័យពីកាមេរ៉ាសុវត្ថិភាព និងសេនស័រចរាចរណ៍ (Traffic Sensors) ដោយកាត់បន្ថយការបញ្ជូនទិន្នន័យទៅ Cloud ឆ្ងាយៗ។
វិស័យកសិកម្មឆ្លាតវៃ (Smart Farming): សម្រាប់កសិដ្ឋានធំៗនៅខេត្តបាត់ដំបង ឬកំពង់ចាម ការប្រើប្រាស់ Fog Computing ជួយវិភាគទិន្នន័យសំណើមនិងដីនៅនឹងកន្លែង (Local Processing) ដោយមិនពឹងផ្អែកខ្លាំងលើអ៊ីនធឺណិតដែលមានល្បឿនយឺត។
វិស័យសុខាភិបាល (Healthcare IoT): ជួយដល់ការតាមដានអ្នកជំងឺពីចម្ងាយ (Remote Patient Monitoring) នៅតាមមន្ទីរពេទ្យបង្អែក ដោយធានាថាទិន្នន័យបន្ទាន់ត្រូវបានដំណើរការភ្លាមៗដោយមិនមានភាពយឺតយ៉ាវ។

ការអនុវត្តបច្ចេកវិទ្យានេះនឹងជួយកាត់បន្ថយថ្លៃចំណាយលើ Cloud និងបង្កើនល្បឿនសេវាកម្មឌីជីថលនៅកម្ពុជា ប៉ុន្តែត្រូវការអ្នកជំនាញផ្នែក AI និង Network Engineering ដើម្បីដំឡើងនិងថែទាំ។

៤. ផែនការសកម្មភាពសម្រាប់និស្សិត (Actionable Roadmap)

ដើម្បីអនុវត្តតាមការសិក្សានេះ និស្សិតគួរអនុវត្តតាមជំហានខាងក្រោម៖

សិក្សាមូលដ្ឋានគ្រឹះ Fog Computing និង RL: និស្សិតគួរចាប់ផ្តើមពីការយល់ដឹងអំពីភាពខុសគ្នារវាង Cloud និង Fog Computing ព្រមទាំងសិក្សាពីគោលការណ៍នៃ Reinforcement Learning និង Proximal Policy Optimization (PPO)។
ដំឡើងនិងរៀនប្រើប្រាស់ iFogSim: ទាញយកនិងដំឡើងកម្មវិធី iFogSim (Java-based toolkit) ដើម្បីរៀនពីរបៀបបង្កើតបរិស្ថាន Fog និម្មិត និងការដាក់បញ្ចូលឧបករណ៍ IoT ក្នុងកម្មវិធីនេះ។
អភិវឌ្ឍន៍កូដ Python សម្រាប់ DRL Agent: សរសេរកូដដើម្បីបង្កើតភ្នាក់ងារ AI (Agent) ដោយប្រើបណ្ណាល័យដូចជា TensorFlow ឬ PyTorch ហើយភ្ជាប់វាជាមួយបរិស្ថាន iFogSim ដើម្បីធ្វើការបណ្តុះបណ្តាល។
ពិសោធន៍ជាមួយទិន្នន័យជាក់ស្តែង: ព្យាយាមបង្កើត Scenario ដែលស្រដៀងនឹងស្ថានភាពនៅកម្ពុជា ឧទាហរណ៍៖ ការគ្រប់គ្រងភ្លើងស្តុបនៅភ្នំពេញ ដោយកំណត់ចំនួនយានយន្តជា Workload ដើម្បីមើលប្រសិទ្ធភាពនៃការឆ្លើយតប។

៥. វាក្យសព្ទបច្ចេកទេស (Technical Glossary)

ពាក្យបច្ចេកទេស	ការពន្យល់ជាខេមរភាសា (Khmer Explanation)	និយមន័យសាមញ្ញ (Simple Definition)
Fog Computing	ជាគំរូនៃបណ្តាញកុំព្យូទ័រដែលពង្រាយធនធាន (ការគណនា ការផ្ទុកទិន្នន័យ និងសេវាកម្ម) ឱ្យនៅជិតឧបករណ៍របស់អ្នកប្រើប្រាស់ (Edge) ជំនួសឱ្យការបញ្ជូនទិន្នន័យទាំងអស់ទៅកាន់ Cloud ឆ្ងាយៗ។ វាជួយកាត់បន្ថយពេលវេលាឆ្លើយតប និងសន្សំសំចៃ Bandwidth។	ដូចជាមានឃ្លាំងទំនិញតូចៗនៅតាមភូមិ ដើម្បីចែកចាយរបស់បានលឿន ជាងការរង់ចាំដឹកពីឃ្លាំងធំនៅរាជធានីតែមួយ។
Deep Reinforcement Learning (DRL)	ជាសាខាមួយនៃបញ្ញាសិប្បនិម្មិត (AI) ដែលប្រើប្រាស់បណ្តាញសរសៃប្រសាទ (Deep Neural Networks) ដើម្បីរៀនធ្វើការសម្រេចចិត្តដោយស្វ័យប្រវត្តិ តាមរយៈការសាកល្បងនិងកែតម្រូវកំហុស (Trial and Error) ក្នុងគោលបំណងទទួលបានរង្វាន់ខ្ពស់បំផុតពីបរិស្ថាន។	ដូចជាការបង្វឹកកីឡាករឱ្យចេះលេងបាល់ ដោយឱ្យគាត់សាកល្បងលេងច្រើនដង ហើយរៀនពីកំហុសរហូតដល់លេងបានល្អ និងទទួលបានពិន្ទុច្រើន។
Proximal Policy Optimization (PPO)	ជាក្បួនដោះស្រាយ (Algorithm) នៅក្នុង DRL ដែលជួយឱ្យ AI ធ្វើបច្ចុប្បន្នភាពគោលនយោបាយនៃការសម្រេចចិត្តរបស់ខ្លួនបន្តិចម្តងៗ ដោយមិនធ្វើឱ្យមានការផ្លាស់ប្តូរធំពេកដែលនាំឱ្យប្រព័ន្ធលែងមានស្ថេរភាព។	ដូចជាការកែតម្រូវចង្កូតឡានបន្តិចម្តងៗពេលបើកបរ ដើម្បីកុំឱ្យក្រឡាប់ ជាជាងបត់ចង្កូតខ្លាំងៗភ្លាមៗ។
Resource Provisioning	ដំណើរការនៃការបែងចែកធនធានកុំព្យូទ័រ (ដូចជា CPU, RAM, Storage) ទៅឱ្យកម្មវិធី ឬសេវាកម្មផ្សេងៗតាមតម្រូវការជាក់ស្តែង ដើម្បីធានាថាប្រព័ន្ធដំណើរការបានរលូនដោយមិនខ្ជះខ្ជាយថាមពល។	ដូចជាការបែងចែកម្ហូបនិងកន្លែងអង្គុយឱ្យភ្ញៀវក្នុងពិធីបុណ្យឱ្យបានគ្រប់គ្រាន់ មិនឱ្យខ្វះហើយក៏មិនឱ្យសល់ចោល។
Service Level Agreement (SLA)	ជាកិច្ចព្រមព្រៀងរវាងអ្នកផ្តល់សេវា និងអ្នកប្រើប្រាស់ ដែលកំណត់អំពីកម្រិតគុណភាពសេវាកម្ម (ដូចជាល្បឿន ឬភាពអាចប្រើប្រាស់បាន) ដែលត្រូវតែធានា។ ការបំពាន SLA អាចនាំឱ្យមានការផាកពិន័យ។	ដូចជាការធានារបស់ហាងភីហ្សាថា "បើដឹកយឺតជាង ៣០នាទី មិនបាច់បង់លុយ"។
Latency	រយៈពេលយឺតយ៉ាវ ឬការពន្យារពេលក្នុងការបញ្ជូនទិន្នន័យ។ នៅក្នុងបរិបទនេះ វាសំដៅលើពេលវេលាដែលត្រូវការចាប់ពីពេលសំណើត្រូវបានបញ្ជូន រហូតដល់ទទួលបានចម្លើយត្រឡប់មកវិញ។	ដូចជាពេលយើងនិយាយទូរស័ព្ទទៅក្រៅប្រទេស ហើយសំឡេងឆ្លើយតបមកវិញយឺតជាងការនិយាយរបស់យើង (Lag)។

៦. ប្រធានបទពាក់ព័ន្ធ (Further Reading)

អត្ថបទដែលបានបោះពុម្ពនៅលើ KhmerResearch ដែលទាក់ទងនឹងប្រធានបទនេះ៖

ប្រធានបទ និងសំណួរស្រាវជ្រាវដែលទាក់ទងនឹងឯកសារនេះ ដែលអ្នកអាចស្វែងរកបន្ថែម៖