Original Title: Predicting wind power using LSTM, Transformer, and other techniques
Source: doi.org/10.3934/ctr.2024007
Disclaimer: Summary generated by AI based on the provided document. Please refer to the original paper for full scientific accuracy.

ការទស្សន៍ទាយថាមពលខ្យល់ដោយប្រើប្រាស់បច្ចេកទេស LSTM, Transformer និងបច្ចេកទេសផ្សេងៗទៀត

ចំណងជើងដើម៖ Predicting wind power using LSTM, Transformer, and other techniques

អ្នកនិពន្ធ៖ Arun Kumar M, Rithick Joshua K, Sahana Rajesh, Caroline Dorathy Esther J, Kavitha Devi MK

ឆ្នាំបោះពុម្ព៖ 2024, Clean Technologies and Recycling

វិស័យសិក្សា៖ Machine Learning / Renewable Energy

១. សេចក្តីសង្ខេបប្រតិបត្តិ (Executive Summary)

បញ្ហា (The Problem)៖ ការព្យាករណ៍ថាមពលទួរប៊ីនខ្យល់មានសារៈសំខាន់សម្រាប់ការធ្វើឱ្យប្រសើរឡើងនូវការប្រើប្រាស់ថាមពលកកើតឡើងវិញ និងធានាស្ថិរភាពបណ្តាញអគ្គិសនី ប៉ុន្តែភាពប្រែប្រួលនៃល្បឿនខ្យល់ធ្វើឱ្យមានបញ្ហាប្រឈមក្នុងការព្យាករណ៍ឱ្យបានច្បាស់លាស់។

វិធីសាស្ត្រ (The Methodology)៖ ការសិក្សានេះបានប្រៀបធៀបម៉ូដែល Machine Learning (ML) និង Deep Learning (DL) ជាច្រើន ដើម្បីទស្សន៍ទាយទិន្នផលថាមពលខ្យល់សម្រាប់រយៈពេល 15 ថ្ងៃបន្ទាប់ ដោយផ្អែកលើសំណុំទិន្នន័យ SCADA Turkey និង Tata Power។

វិស្វកម្មលក្ខណៈពិសេស និងការរៀបចំទិន្នន័យ (Feature engineering and data processing)
ការវាយតម្លៃម៉ូដែល Machine Learning ដូចជា Gradient Boosting, Random Forest, និង XGBoost
ការវាយតម្លៃស្ថាបត្យកម្ម Deep Learning រួមមាន LSTM, CNN, RNN និង Transformer
ការបង្កើតម៉ូដែលចម្រុះ (Ensemble model) រវាង LSTM និង Transformer

លទ្ធផលសំខាន់ៗ (The Verdict)៖

ក្នុងចំណោមម៉ូដែល Machine Learning (ML) ម៉ូដែល XGB Regressor ទទួលបានលទ្ធផលល្អបំផុតជាមួយនឹងពិន្ទុ R2 ដល់ទៅ 97.96% ។
ម៉ូដែល Transformer ឯកត្តជនបង្ហាញសមត្ថភាពខ្ពស់ជាង LSTM ជាមួយនឹងកម្រិតលំអៀង MAE ត្រឹមតែ 0.0074 និង RMSE 0.00083 ប៉ុណ្ណោះ។
ការរួមបញ្ចូលគ្នានូវម៉ូដែល LSTM និង Transformer ជាម៉ូដែលចម្រុះ (Ensemble) ផ្តល់នូវលទ្ធផលល្អដាច់គេ ជាមួយនឹងកម្រិតលំអៀងអប្បបរមា MAE ស្មើនឹង 0.00462 និង RMSE ស្មើនឹង 0.00075 ដែលបង្ហាញពីភាពសុក្រឹតខ្ពស់បំផុត។

២. ការវិភាគលើប្រសិទ្ធភាព និងដែនកំណត់ (Performance & Constraints)

វិធីសាស្ត្រ (Method)	គុណសម្បត្តិ (Pros)	គុណវិបត្តិ (Cons)	លទ្ធផលគន្លឹះ (Key Result)
Ensemble (LSTM + Transformer) ម៉ូដែលចម្រុះរួមបញ្ចូលគ្នា (LSTM + Transformer)	ចាប់យកបានទាំងទំនាក់ទំនងទិន្នន័យតាមពេលវេលា (Temporal) និងទិន្នន័យដែលនៅឃ្លាតពីគ្នាឆ្ងាយ (Long-range spatial) ដែលផ្តល់ភាពសុក្រឹតខ្ពស់បំផុត។	មានភាពស្មុគស្មាញខ្លាំងក្នុងការកសាង និងទាមទារធនធានកុំព្យូទ័រ និងពេលវេលាខ្ពស់បំផុតក្នុងការបង្ហាត់។	MAE: 0.00462, RMSE: 0.00075
Transformer ម៉ូដែល Transformer	ពូកែខាងចាប់យកទំនាក់ទំនងទិន្នន័យដែលមានគម្លាតពេលវេលាឆ្ងាយពីគ្នា និងគំរូលំហ (Spatial patterns)។	ត្រូវការទិន្នន័យច្រើនសន្ធឹកសន្ធាប់ និងស៊ីទំហំផ្ទុកព្រមទាំងកម្លាំងម៉ាស៊ីនគណនា (Compute resources) ច្រើនជាង LSTM។	MAE: 0.0074, RMSE: 0.00083
LSTM (Long Short-Term Memory) ម៉ូដែល LSTM	មានប្រសិទ្ធភាពខ្ពស់ក្នុងការចងចាំព័ត៌មានអតីតកាល និងចាប់យកលំនាំប្រែប្រួលតាមពេលវេលា (Temporal dependencies) នៃល្បឿនខ្យល់។	មិនសូវមានសមត្ថភាពចាប់យកទំនាក់ទំនងទិន្នន័យក្នុងចន្លោះពេលឆ្ងាយៗ និងងាយរងផលប៉ះពាល់ពីបញ្ហាបាត់បង់ឥទ្ធិពលទិន្នន័យ (Vanishing gradient) បើធៀបនឹង Transformer។	MAE: 0.0632, RMSE: 0.0082
XGBoost Regressor ម៉ូដែល XGBoost Regressor	ងាយស្រួលបង្ហាត់ ស៊ីធនធានតិច និងមានប្រសិទ្ធភាពខ្ពស់ក្នុងការកាត់បន្ថយបញ្ហា Overfitting លើទិន្នន័យតារាង (Tabular data)។	មិនអាចចាប់យកទំនាក់ទំនងទិន្នន័យជាស៊េរីពេលវេលាដែលស្មុគស្មាញ (Time-series complex patterns) បានល្អដូចម៉ូដែល Deep Learning នោះទេ។	R2 Score: 97.96%, RMSE: 186.30
Dense Model ម៉ូដែលបណ្តាញក្រាស់ (Dense Neural Network)	ប្រសើរជាងម៉ូដែលទូទៅ (Baseline) ក្នុងការទាញយកលក្ខណៈពិសេសដែលលាក់កំបាំងពីទិន្នន័យ។	លទ្ធផលនៃកម្រិតលំអៀងនៅខ្ពស់នៅឡើយ ដោយមិនអាចតាមដានប្រវត្តិពេលវេលាបានល្អ។	MAE: 1.1859, RMSE: 44.7766

ការចំណាយលើធនធាន (Resource Cost)៖ ការសិក្សានេះទាមទារធនធានកុំព្យូទ័រដែលមានសមត្ថភាពខ្ពស់ សម្រាប់ការបង្ហាត់ម៉ូដែល Deep Learning ដែលមានស្ថាបត្យកម្មស្មុគស្មាញ ព្រមទាំងទិន្នន័យប្រវត្តិថាមពលខ្យល់ច្រើនសន្ធឹកសន្ធាប់។

Hardware: ត្រូវការអង្គគណនាក្រាហ្វិក (GPU) ដែលមានល្បឿនលឿន ដើម្បីអាចដំណើរការបង្ហាត់ម៉ូដែល Transformer និង LSTM ដោយរលូន និងកាត់បន្ថយពេលវេលា។
Software: បរិស្ថានសម្រាប់សរសេរកូដ Python ដោយប្រើប្រាស់បណ្ណាល័យ (Libraries) សំខាន់ៗដូចជា TensorFlow/Keras, Scikit-learn, និង XGBoost ។
Dataset: សំណុំទិន្នន័យប្រវត្តិល្បឿនខ្យល់ ទិសដៅខ្យល់ សីតុណ្ហភាព និងទិន្នផលថាមពល (SCADA data) ដែលកត់ត្រាក្នុងកម្រិតប្រេកង់ខ្ពស់ (ឧ. រៀងរាល់ម៉ោង) ជាច្រើនឆ្នាំ។
Expertise: ចំណេះដឹងស៊ីជម្រៅលើការបង្កើតវិស្វកម្មលក្ខណៈពិសេស (Feature Engineering), ការសំយោគទិន្នន័យស៊េរីពេលវេលា (Time-series analysis) និងការស្វែងរកប៉ារ៉ាម៉ែត្រល្អបំផុត (Hyperparameter tuning) ។

៣. ការពិនិត្យសម្រាប់បរិបទកម្ពុជា/អាស៊ីអាគ្នេយ៍

ភាពលំអៀងនៃទិន្នន័យ (Data Bias)៖

ការសិក្សានេះប្រើប្រាស់សំណុំទិន្នន័យ SCADA ពីប្រទេសតួកគី និង Tata Power ពីប្រទេសឥណ្ឌា ដែលមានលក្ខណៈភូមិសាស្ត្រ និងល្បឿនខ្យល់ខុសពីប្រទេសកម្ពុជា។ ដោយសារកម្ពុជាទទួលរងឥទ្ធិពលពីខ្យល់មូសុង ដែលមានលក្ខណៈប្លែកពីតំបន់ទាំងនេះ ការយកម៉ូដែលនេះមកប្រើទាមទារឱ្យមានការប្រមូលទិន្នន័យក្នុងស្រុក និងបង្ហាត់ម៉ូដែលសារជាថ្មី (Retraining) ដើម្បីធានាបាននូវភាពសុក្រឹតដែលអាចជឿទុកចិត្តបាន។

លទ្ធភាពនៃការអនុវត្ត (Applicability)៖

បច្ចេកទេសទស្សន៍ទាយកម្រិតខ្ពស់នេះ មានសក្ដានុពលខ្លាំងក្នុងការជួយពន្លឿនការអភិវឌ្ឍវិស័យថាមពលកកើតឡើងវិញប្រកបដោយនិរន្តរភាពនៅកម្ពុជា។

កសិដ្ឋានថាមពលខ្យល់នៅតំបន់សមុទ្រ និងភ្នំ (ខេត្តកំពត កែប មណ្ឌលគិរី): អាចប្រើប្រាស់សម្រាប់វាយតម្លៃ និងព្យាករណ៍ទិន្នផលថាមពលអគ្គិសនីពីកសិដ្ឋានខ្យល់ (Wind Farms) ដែលគ្រោងនឹងអភិវឌ្ឍ ដែលជួយឱ្យអ្នកវិនិយោគកាត់បន្ថយហានិភ័យ និងរៀបចំផែនការអាជីវកម្មបានច្បាស់លាស់។
អគ្គិសនីកម្ពុជា (EDC) និងស្ថិរភាពបណ្តាញជាតិ: ជួយឱ្យអគ្គិសនីកម្ពុជាអាចធ្វើការសម្របសម្រួល និងរក្សាតុល្យភាពរវាងការផ្គត់ផ្គង់ និងតម្រូវការបានទាន់ពេលវេលា (Real-time) ដើម្បីកាត់បន្ថយការពឹងផ្អែកលើប្រភពថាមពលនាំចូល ឬកាត់បន្ថយការដាច់ភ្លើង។
វិទ្យាស្ថានស្រាវជ្រាវ និងសាកលវិទ្យាល័យជាតិ (ITC, RUPP): ផ្តល់ជាមូលដ្ឋានស្រាវជ្រាវសម្រាប់សិស្ស-និស្សិតកម្ពុជា ក្នុងការអនុវត្តបច្ចេកវិទ្យាបញ្ញាសិប្បនិម្មិត (AI) ទៅលើបញ្ហាប្រឈមក្នុងស្រុកពាក់ព័ន្ធនឹងបម្រែបម្រួលអាកាសធាតុ។

ការបំពាក់ប្រព័ន្ធព្យាករណ៍តាមបែប Deep Learning នេះ នឹងដើរតួជាកាតាលីករដ៏សំខាន់ ក្នុងការជំរុញឱ្យកម្ពុជាមានលទ្ធភាពគ្រប់គ្រងថាមពលស្អាតប្រកបដោយស្ថិរភាព និងភាពជឿជាក់ខ្ពស់។

៤. ផែនការសកម្មភាពសម្រាប់និស្សិត (Actionable Roadmap)

ដើម្បីអនុវត្តតាមការសិក្សានេះ និស្សិតគួរអនុវត្តតាមជំហានខាងក្រោម៖

១. សិក្សាមូលដ្ឋានគ្រឹះនៃទិន្នន័យស៊េរីពេលវេលា (Time-Series Data): ចាប់ផ្តើមដោយការរៀនប្រើប្រាស់បណ្ណាល័យ Pandas និង NumPy នៅក្នុង Python ដើម្បីសម្អាតទិន្នន័យ (Data cleaning) និងដោះស្រាយបញ្ហាបាត់តម្លៃទិន្នន័យរបស់អាកាសធាតុ។
២. ស្វែងយល់ពីម៉ូដែល Machine Learning ប្រពៃណី: អនុវត្តការកសាងម៉ូដែលព្យាករណ៍សាមញ្ញដោយប្រើ Scikit-learn និង XGBoost ដើម្បីយល់ពីការវាយតម្លៃកំហុសដូចជា RMSE និង MAE មុននឹងឈានទៅកាន់ស្ថាបត្យកម្មស្មុគស្មាញ។
៣. អភិវឌ្ឍជំនាញ Deep Learning និងស្ថាបត្យកម្ម LSTM: សិក្សាពីរបៀបប្រើប្រាស់ TensorFlow ឬ Keras ដើម្បីបង្កើតម៉ូដែល LSTM ដែលមានសមត្ថភាពអាចចាប់យកទំនាក់ទំនងទិន្នន័យតាមពេលវេលាពីប្រវត្តិល្បឿនខ្យល់។
៤. សិក្សាពីស្ថាបត្យកម្ម Transformer និងយន្តការ Attention: ស្វែងយល់ពីយន្តការ Multi-Head Attention របស់ម៉ូដែល Transformer និងការអនុវត្តវាទៅលើទិន្នន័យស៊េរីពេលវេលា ដើម្បីចាប់យកលំនាំប្រែប្រួលរយៈពេលវែង។
៥. បង្កើតម៉ូដែលចម្រុះ (Ensemble Model) ដើម្បីបង្កើនភាពសុក្រឹត: រួមបញ្ចូលគ្នានូវការព្យាករណ៍ចុងក្រោយពី LSTM និង Transformer ដើម្បីបង្កើតជាម៉ូដែលចម្រុះតែមួយ ដែលផ្តល់នូវលទ្ធផលសុក្រឹតបំផុតសម្រាប់ការអនុវត្តក្នុងប្រព័ន្ធបណ្តាញអគ្គិសនីជាក់ស្តែង។

៥. វាក្យសព្ទបច្ចេកទេស (Technical Glossary)

ពាក្យបច្ចេកទេស	ការពន្យល់ជាខេមរភាសា (Khmer Explanation)	និយមន័យសាមញ្ញ (Simple Definition)
Long short-term memory (LSTM)	ជាប្រភេទបណ្តាញសរសៃប្រសាទសិប្បនិម្មិត (RNN) ដែលមានសមត្ថភាពផ្ទុកនិងចងចាំព័ត៌មានពីអតីតកាលក្នុងរយៈពេលយូរ ហើយប្រើប្រាស់វាដើម្បីស្វែងយល់ពីទំនាក់ទំនងនៃទិន្នន័យដែលប្រែប្រួលតាមពេលវេលា ដូចជាការប្រែប្រួលនៃល្បឿនខ្យល់ជាដើម។	ដូចជាមនុស្សដែលមានការចងចាំល្អ អាចចងចាំព្រឹត្តិការណ៍អាកាសធាតុពីសប្តាហ៍មុន ដើម្បីទាយថានឹងមានអ្វីកើតឡើងនៅថ្ងៃនេះ។
Transformer	ជាស្ថាបត្យកម្ម Deep Learning ដែលពូកែខាងចាប់យកទំនាក់ទំនងរវាងទិន្នន័យដែលមានគម្លាតពេលវេលាឆ្ងាយពីគ្នា (Long-range dependencies) តាមរយៈយន្តការគិត (Attention mechanism) ដែលអនុញ្ញាតឱ្យវាផ្តោតលើចំណុចសំខាន់ៗនៃទិន្នន័យទាំងអស់បានក្នុងពេលតែមួយ។	ដូចជាអ្នកអានសៀវភៅដែលសម្លឹងមើលឃើញពាក្យសំខាន់ៗទាំងអស់ក្នុងមួយទំព័រព្រមៗគ្នា ដើម្បីយល់អត្ថន័យរួមភ្លាមៗ ជាជាងអានម្តងមួយពាក្យ។
Ensemble learning	ជាបច្ចេកទេសដែលរួមបញ្ចូលគ្នានូវការព្យាករណ៍ពីម៉ូដែលកុំព្យូទ័រជាច្រើន (ដូចជា LSTM បូកជាមួយ Transformer) ទៅជាលទ្ធផលចុងក្រោយតែមួយ ដែលជួយបង្កើនភាពសុក្រឹត និងកាត់បន្ថយកំហុសឆ្គងបានប្រសើរជាងការប្រើម៉ូដែលតែមួយឯកឯង។	ដូចជាការសួរសុំយោបល់ពីអ្នកជំនាញ៥នាក់ផ្សេងគ្នា ហើយយកមតិទាំងអស់នោះមកថ្លឹងថ្លែងបញ្ចូលគ្នាដើម្បីធ្វើការសម្រេចចិត្តដ៏ត្រឹមត្រូវបំផុតមួយ។
Feature engineering	ដំណើរការនៃការជ្រើសរើស កែច្នៃ និងបង្កើតលក្ខណៈទិន្នន័យថ្មីៗពីទិន្នន័យដើម (ឧទាហរណ៍៖ ការបង្កើតទិន្នន័យរដូវ ម៉ោង ឬថ្ងៃ ពីកាលបរិច្ឆេទដើម) ដើម្បីជួយឱ្យម៉ូដែល Machine Learning ងាយស្រួលរៀន និងចាប់យកលំនាំបានច្បាស់លាស់ជាងមុន។	ដូចជាការចិតសំបក និងហាន់បន្លែជាដុំតូចៗជាមុន ដើម្បីជួយឱ្យចុងភៅ(ម៉ូដែល)ងាយស្រួលចម្អិនឆាប់ឆ្អិន និងមានរសជាតិឆ្ងាញ់។
Hyperparameter tuning	ការសាកល្បងនិងស្វែងរកតម្លៃល្អបំផុតសម្រាប់ការកំណត់រចនាសម្ព័ន្ធជាមុនរបស់ម៉ូដែល (ដូចជាការកំណត់ចំនួនស្រទាប់ ឬអត្រារៀនសូត្រ) ដើម្បីធានាថាម៉ូដែលនោះអាចយល់ពីទិន្នន័យ និងផ្តល់លទ្ធផលប្រកបដោយប្រសិទ្ធភាពបំផុត។	ដូចជាការសារ៉េកម្លាំងភ្លើង និងថែមថយគ្រឿងទេសម្តងបន្តិចៗ រហូតទាល់តែបានរសជាតិស៊ុបមួយដែលឆ្ងាញ់ឥតខ្ចោះ។
Temporal dependencies	ឥទ្ធិពល ឬទំនាក់ទំនងនៃទិន្នន័យនៅពេលវេលាបច្ចុប្បន្ន ដែលពឹងផ្អែកនិងប្រែប្រួលទៅតាមលក្ខខណ្ឌនៃទិន្នន័យក្នុងអតីតកាលតាមលំដាប់លំដោយពេលវេលា។	ដូចជាការដែលដីសើមនៅព្រឹកនេះ គឺដោយសារតែវាមានទំនាក់ទំនងផ្ទាល់ទៅនឹងភ្លៀងដែលបានធ្លាក់កាលពីយប់មិញ។
Gradient boosting regressor	ជាក្បួនដោះស្រាយ Machine Learning ដែលបង្កើតម៉ូដែលទស្សន៍ទាយខ្សោយៗជាបន្តបន្ទាប់ ដោយម៉ូដែលក្រោយៗត្រូវមានភារកិច្ចកែតម្រូវកំហុសដែលម៉ូដែលមុនៗបានធ្វើ ដើម្បីទទួលបានការព្យាករណ៍រួមមួយដែលសុក្រឹតបំផុត។	ដូចជាសិស្សម្នាក់ដែលកត់ត្រានូវកំហុសរាល់ពេលប្រឡងសាកល្បងម្តងៗ ហើយខិតខំកែតម្រូវកំហុសនោះ ដើម្បីធ្វើឱ្យបានពិន្ទុល្អឥតខ្ចោះនៅថ្ងៃប្រឡងមែនទែន។

៦. ប្រធានបទពាក់ព័ន្ធ (Further Reading)

អត្ថបទដែលបានបោះពុម្ពនៅលើ KhmerResearch ដែលទាក់ទងនឹងប្រធានបទនេះ៖

ប្រធានបទ និងសំណួរស្រាវជ្រាវដែលទាក់ទងនឹងឯកសារនេះ ដែលអ្នកអាចស្វែងរកបន្ថែម៖