Original Title: When the past != the future: Assessing the Impact of Dataset Drift on the Fairness of Learning Analytics Models
Disclaimer: Summary generated by AI based on the provided document. Please refer to the original paper for full scientific accuracy.

នៅពេលអតីតកាល != អនាគត៖ ការវាយតម្លៃលើផលប៉ះពាល់នៃការផ្លាស់ប្តូរទិន្នន័យ (Dataset Drift) ទៅលើភាពយុត្តិធម៌នៃម៉ូដែលវិភាគការសិក្សា

ចំណងជើងដើម៖ When the past != the future: Assessing the Impact of Dataset Drift on the Fairness of Learning Analytics Models

អ្នកនិពន្ធ៖ Oscar Blessed Deho (University of South Australia), Lin Liu, Jiuyong Li, Jixue Liu, Chen Zhan, Srecko Joksimovic

ឆ្នាំបោះពុម្ព៖ IEEE Transactions on Learning Technologies

វិស័យសិក្សា៖ Machine Learning / Educational Data Mining

១. សេចក្តីសង្ខេបប្រតិបត្តិ (Executive Summary)

បញ្ហា (The Problem)៖ ឯកសារនេះដោះស្រាយបញ្ហាទាក់ទងនឹងការសន្មត់ខុសថាទិន្នន័យចាស់និងថ្មីមានលក្ខណៈដូចគ្នាជានិច្ច ដែលធ្វើឱ្យម៉ូដែលវិភាគការសិក្សា (Learning Analytics) អាចបាត់បង់ភាពយុត្តិធម៌នៅពេលដែលទិន្នន័យមានការផ្លាស់ប្តូរ (Dataset Drift) តាមពេលវេលាជាក់ស្តែង។

វិធីសាស្ត្រ (The Methodology)៖ ការសិក្សានេះបានប្រើប្រាស់ទិន្នន័យប្រវត្តិសិក្សារបស់និស្សិតពីវគ្គសិក្សា STEM ចំនួនពីរ (ឆ្នាំ ២០១៥-២០២០) ដើម្បីធ្វើការបណ្តុះបណ្តាលម៉ូដែលទស្សន៍ទាយ និងវាយតម្លៃពីទំនាក់ទំនងរវាងការផ្លាស់ប្តូរទិន្នន័យ និងភាពអយុត្តិធម៌នៃម៉ូដែល។

លទ្ធផលសំខាន់ៗ (The Verdict)៖

២. ការវិភាគលើប្រសិទ្ធភាព និងដែនកំណត់ (Performance & Constraints)

វិធីសាស្ត្រ (Method) គុណសម្បត្តិ (Pros) គុណវិបត្តិ (Cons) លទ្ធផលគន្លឹះ (Key Result)
Equalized odds-fair model
ម៉ូដែលយុត្តិធម៌ដោយផ្អែកលើ Equalized Odds
ជារង្វាស់យុត្តិធម៌ទូទៅដែលងាយស្រួលយល់ ដែលព្យាយាមធ្វើឱ្យអត្រានៃការទស្សន៍ទាយត្រូវ (True Positive) និងអត្រានៃការទស្សន៍ទាយខុស (False Positive) មានភាពស្មើគ្នារវាងក្រុមប្រជាសាស្ត្រ។ ពឹងផ្អែកទៅលើកម្រិតវាយតម្លៃ (threshold) តែមួយគត់ និងមានអស្ថិរភាពយ៉ាងខ្លាំង (លោតចុះឡើង) នៅពេលប្រឈមនឹងការផ្លាស់ប្តូរទិន្នន័យ (Covariate Drift)។ នៅពេលដែលទិន្នន័យមានការផ្លាស់ប្តូរ កម្រិតនៃភាពយុត្តិធម៌របស់ម៉ូដែលនេះមានការប្រែប្រួលខ្លាំង ដែលជួនកាលផ្តល់លទ្ធផលអយុត្តិធម៌ខ្លាំងជាងមុនដោយមិនអាចទាយទុកជាមុនបាន។
ABROCA-fair model
ម៉ូដែលយុត្តិធម៌ដោយផ្អែកលើ ABROCA (Absolute Between-ROC Area)
គិតគូរទៅលើគ្រប់កម្រិតនៃការវាយតម្លៃទាំងអស់ (all possible classification thresholds) ដែលធ្វើឱ្យការវាស់ស្ទង់មានភាពច្បាស់លាស់ជាងមុន។ មានភាពស្មុគស្មាញក្នុងការគណនា និងពិបាកក្នុងការបកស្រាយលទ្ធផលជាងការប្រើប្រាស់ Equalized Odds សម្រាប់អ្នកដែលមិនមែនជាអ្នកជំនាញ។ បង្ហាញពីការវាស់ស្ទង់កម្រិតភាពអយុត្តិធម៌បានថេរ និងមានស្ថិរភាពល្អជាង (consistent) ទោះបីជាម៉ូដែលបាត់បង់ភាពយុត្តិធម៌នៅពេលមានការផ្លាស់ប្តូរទិន្នន័យក៏ដោយ។

ការចំណាយលើធនធាន (Resource Cost)៖ ការសិក្សានេះពឹងផ្អែកជាចម្បងលើទិន្នន័យប្រវត្តិសិក្សារបស់និស្សិតក្នុងប្រព័ន្ធអនឡាញ កម្មវិធីវិភាគទិន្នន័យ និងចំណេះដឹងស៊ីជម្រៅផ្នែកក្បួនដោះស្រាយម៉ាស៊ីន។

៣. ការពិនិត្យសម្រាប់បរិបទកម្ពុជា/អាស៊ីអាគ្នេយ៍

ភាពលំអៀងនៃទិន្នន័យ (Data Bias)៖

ការសិក្សានេះត្រូវបានធ្វើឡើងដោយប្រើប្រាស់ទិន្នន័យនិស្សិតពីសាកលវិទ្យាល័យនៅប្រទេសអូស្ត្រាលី ដោយផ្តោតលើសញ្ជាតិ និងភាសាដើមជាកត្តាប្រជាសាស្ត្រ។ សម្រាប់ប្រទេសកម្ពុជា ទិន្នន័យនេះប្រហែលជាមិនឆ្លុះបញ្ចាំងពីបរិបទជាក់ស្តែងនោះទេ ប៉ុន្តែគោលគំនិតនៃការលម្អៀងនេះមានសារៈសំខាន់ណាស់ ដោយសារនិស្សិតកម្ពុជាមានគម្លាតធំរវាងតំបន់ទីក្រុង (ឧទាហរណ៍ ភ្នំពេញ) និងជនបទ ព្រមទាំងលទ្ធភាពទទួលបានឧបករណ៍ឌីជីថល ដែលអាចធ្វើឱ្យម៉ូដែល AI លម្អៀងទៅរកសិស្សនៅទីក្រុងបើមិនបានត្រួតពិនិត្យ។

លទ្ធភាពនៃការអនុវត្ត (Applicability)៖

វិធីសាស្ត្រក្នុងការត្រួតពិនិត្យការផ្លាស់ប្តូរទិន្នន័យ និងការវាយតម្លៃភាពយុត្តិធម៌នេះ មានសារៈប្រយោជន៍យ៉ាងខ្លាំងសម្រាប់គ្រឹះស្ថានអប់រំនៅកម្ពុជា ដែលកំពុងផ្លាស់ប្តូរទៅរកការសិក្សាតាមបែបឌីជីថលកាន់តែច្រើន។

ការអនុវត្តការត្រួតពិនិត្យភាពធន់នៃម៉ូដែលទិន្នន័យ (Model Robustness Check) នឹងជួយការពារស្ថាប័នអប់រំកម្ពុជាពីការប្រើប្រាស់បច្ចេកវិទ្យាដែលបង្កើតនូវវិសមភាពដោយអចេតនា។

៤. ផែនការសកម្មភាពសម្រាប់និស្សិត (Actionable Roadmap)

ដើម្បីអនុវត្តតាមការសិក្សានេះ និស្សិតគួរអនុវត្តតាមជំហានខាងក្រោម៖

  1. ប្រមូលនិងសម្អាតទិន្នន័យប្រវត្តិសិក្សា: ចាប់ផ្តើមដោយការទាញយកទិន្នន័យពីប្រព័ន្ធគ្រប់គ្រងការសិក្សាដូចជា Moodle ឬ Google Classroom ដោយប្រើប្រាស់ Python (Pandas) ដើម្បីរៀបចំទិន្នន័យសកម្មភាពនិស្សិត (ការចូលមើលវីដេអូ, ការផ្ញើកិច្ចការ, ចំនួនដងនៃការចូលប្រព័ន្ធ) និងទិន្នន័យប្រវត្តិរូប។
  2. អភិវឌ្ឍម៉ូដែលទស្សន៍ទាយ (Predictive Modeling): អនុវត្តការសរសេរកូដដើម្បីបង្កើតម៉ូដែល Random Forest Classifier តាមរយៈបណ្ណាល័យ Scikit-Learn ដើម្បីធ្វើការទស្សន៍ទាយឱកាសនៃការប្រឡងជាប់ ឬធ្លាក់របស់និស្សិត ដោយផ្អែកលើទិន្នន័យអតីតកាល។
  3. វាស់ស្ទង់ការផ្លាស់ប្តូរទិន្នន័យ (Drift Detection): សរសេរកូដគណនាសន្ទស្សន៍ស្ថិរភាពចំនួនប្រជាជន (Population Stability Index - PSI) និងចម្ងាយ Jensen-Shannon (JSD) ដើម្បីប្រៀបធៀបបំណែងចែកទិន្នន័យ (Data Distribution) រវាងជំនាន់សិស្សឆ្នាំមុន និងជំនាន់សិស្សឆ្នាំបច្ចុប្បន្ន។
  4. វាយតម្លៃភាពយុត្តិធម៌របស់ម៉ូដែល (Fairness Assessment): ប្រើប្រាស់ឧបករណ៍វាយតម្លៃភាពលម្អៀងដូចជា AI Fairness 360 (AIF360) ដើម្បីគណនារង្វាស់ Equalized Odds និងរង្វាស់ ABROCA ដើម្បីពិនិត្យមើលថាតើការទស្សន៍ទាយរបស់ម៉ូដែលមានភាពអយុត្តិធម៌ចំពោះក្រុមសិស្សណាមួយដែរឬទេ (ឧទាហរណ៍ សិស្សមកពីតំបន់ជនបទធៀបនឹងសិស្សទីក្រុង)។
  5. បង្កើតប្រព័ន្ធតាមដានជាប្រចាំ (Continuous Monitoring): រៀបចំផ្ទាំងគ្រប់គ្រង (Monitoring Dashboard) ដោយប្រើ StreamlitGrafana ដែលផ្តល់ការជូនដំណឹង (Alerts) ដោយស្វ័យប្រវត្តិនៅពេលដែលទំហំនៃការផ្លាស់ប្តូរទិន្នន័យ (Dataset Drift) កើនឡើងដល់កម្រិតកំណត់មួយ ដើម្បីបញ្ជាក់ថាដល់ពេលដែលត្រូវបង្វឹកម៉ូដែលនោះឡើងវិញហើយ (Model Retraining)។

៥. វាក្យសព្ទបច្ចេកទេស (Technical Glossary)

ពាក្យបច្ចេកទេស ការពន្យល់ជាខេមរភាសា (Khmer Explanation) និយមន័យសាមញ្ញ (Simple Definition)
Dataset Drift គឺជាបាតុភូតដែលលក្ខណៈ ឬទម្រង់នៃទិន្នន័យផ្លាស់ប្តូរទៅតាមពេលវេលា ដែលធ្វើឱ្យម៉ូដែល AI ដែលធ្លាប់តែទស្សន៍ទាយបានត្រឹមត្រូវពីមុន ប្រែជាលែងសូវច្បាស់លាស់ ឬលម្អៀងនៅពេលយកមកអនុវត្តលើទិន្នន័យថ្មី។ ដូចជាការពាក់អាវរងាដែលធ្លាប់តែផ្តល់ភាពកក់ក្តៅក្នុងរដូវរងារ ប៉ុន្តែវានឹងលែងមានប្រយោជន៍ និងធ្វើឱ្យយើងក្តៅស្អុះស្អាប់នៅពេលដែលអាកាសធាតុប្រែប្រួលចូលដល់រដូវក្តៅ។
Covariate drift ជាប្រភេទនៃការផ្លាស់ប្តូរទិន្នន័យ ដែលកត្តា ឬអថេរដើមដែលយើងប្រើសម្រាប់ធ្វើការទស្សន៍ទាយមានការប្រែប្រួល ប៉ុន្តែលទ្ធផលចុងក្រោយដែលយើងចង់ទាយនៅដដែល។ ឧទាហរណ៍ ទម្លាប់នៃការប្រើប្រាស់ប្រព័ន្ធសិក្សាអនឡាញរបស់សិស្សមានការផ្លាស់ប្តូរខុសពីមុន។ ដូចជាសិស្សដែលធ្លាប់តែអានសៀវភៅក្រដាសដើម្បីប្រឡងជាប់ ឥឡូវប្តូរមកមើលវីដេអូក្នុងទូរស័ព្ទវិញដើម្បីប្រឡងជាប់ដូចគ្នា (សកម្មភាពប្តូរ តែលទ្ធផលប្រឡងនៅដដែល)។
Target drift ជាការផ្លាស់ប្តូរអត្រា ឬចំនួនសរុបនៃលទ្ធផលគោលដៅនៅក្នុងទិន្នន័យពីមួយឆ្នាំទៅមួយឆ្នាំ (ឧទាហរណ៍ អត្រាសិស្សប្រឡងធ្លាក់កើនឡើងដោយសារវិញ្ញាសាពិបាកជាងមុន) ទោះបីជាអាកប្បកិរិយាសិក្សារបស់សិស្សនៅដដែលក៏ដោយ។ ដូចជាអត្រានៃការកើតជំងឺផ្តាសាយធំកើនឡើងខុសប្រក្រតីនៅរដូវភ្លៀង ទោះបីជាមនុស្សនៅតែរក្សាអនាម័យបានល្អដូចរាល់ដងក៏ដោយ។
Equalized odds ជារង្វាស់យុត្តិធម៌មួយនៅក្នុងបញ្ញាសិប្បនិម្មិត ដែលតម្រូវឱ្យម៉ូដែលត្រូវតែមានអត្រានៃការទាយត្រូវ (True Positive Rate) និងអត្រានៃការទាយខុស (False Positive Rate) ស្មើៗគ្នាសម្រាប់គ្រប់ក្រុមមនុស្សទាំងអស់។ ដូចជាគ្រូបង្រៀនដែលធ្វើឱ្យមានកំហុសក្នុងការដាក់ពិន្ទុខុសដោយអចេតនា ក្នុងអត្រាស្មើៗគ្នាទាំងលើសិស្សពូកែនិងសិស្សខ្សោយ ដោយមិនមានភាពលម្អៀងទៅរកភាគីណាមួយ។
ABROCA ជារង្វាស់សម្រាប់វាស់កម្រិតភាពអយុត្តិធម៌របស់ម៉ូដែល ដោយធ្វើការគណនាផ្ទៃគម្លាតរវាងខ្សែកោងប្រតិបត្តិការ (ROC Curves) របស់ក្រុមមនុស្សពីរផ្សេងគ្នា ដើម្បីដឹងថាម៉ូដែលនោះលម្អៀងកម្រិតណា ទោះបីជាគេប្រើកម្រិតវាយតម្លៃ (Classification Threshold) ណាក៏ដោយ។ ដូចជាការយកបន្ទាត់មកវាស់គម្លាតរវាងខ្សែរត់របស់អត្តពលិកពីរនាក់នៅគ្រប់វិនាទីទាំងអស់ ដើម្បីមើលថាតើអ្នកណាមានប្រៀបជាងអ្នកណាតាំងពីដើមរហូតដល់ចប់ការប្រកួត។
Population Stability Index (PSI) ជារង្វាស់ស្ថិតិដែលគេប្រើដើម្បីគណនាទំហំនៃការប្រែប្រួលនៃទិន្នន័យ (Data Distribution) រវាងពេលពីរផ្សេងគ្នា ដូចជាទិន្នន័យឆ្នាំចាស់ និងទិន្នន័យឆ្នាំថ្មី ដើម្បីដឹងថាតើវាមានការផ្លាស់ប្តូរទម្រង់ដើមធ្ងន់ធ្ងរដែរឬទេ។ ដូចជាការថ្លឹងទម្ងន់ផ្លែឈើក្នុងកន្ត្រកនៅថ្ងៃនេះ និងសប្តាហ៍ក្រោយ ដើម្បីចង់ដឹងថាតើទម្ងន់របស់វាថយចុះ (ស្វិត) ខុសប្លែកពីមុនធ្ងន់ធ្ងរកម្រិតណា។
Jensen-Shannon Distance (JSD) ជារូបមន្តគណិតវិទ្យាដែលប្រើសម្រាប់វាស់គម្លាត ឬភាពខុសគ្នារវាងបណ្តុំទិន្នន័យពីរ ដែលវាផ្តល់នូវតម្លៃចន្លោះពី ០ ដល់ ១ ធ្វើឱ្យអ្នកស្រាវជ្រាវងាយស្រួលយល់ពីទំហំនៃការផ្លាស់ប្តូរទិន្នន័យ (បើកៀក ១ គឺប្រែប្រួលខ្លាំង)។ ដូចជាម៉ែត្រវាស់ចម្ងាយដែលប្រាប់យើងយ៉ាងច្បាស់ថា រថយន្តពីរគ្រឿងកំពុងស្ថិតនៅឆ្ងាយពីគ្នាប៉ុន្មានម៉ែត្រ។
Learning Analytics (LA) ជាការប្រមូល និងវិភាគទិន្នន័យផ្សេងៗរបស់សិស្ស (ដូចជាការចូលរៀន ការធ្វើកិច្ចការ) ដើម្បីស្វែងយល់ពីឥរិយាបថសិក្សារបស់ពួកគេ និងស្វែងរកវិធីសាស្ត្រដើម្បីជួយឱ្យពួកគេរៀនបានកាន់តែពូកែ ឬការពារកុំឱ្យបោះបង់ការសិក្សា។ ដូចជាគ្រូពេទ្យដែលពិនិត្យមើលចង្វាក់បេះដូង និងសីតុណ្ហភាពរបស់អ្នកជំងឺជាប្រចាំ ដើម្បីដឹងថាត្រូវផ្តល់ថ្នាំ ឬការព្យាបាលបែបណាទើបអ្នកជំងឺឆាប់ជាសះស្បើយ។

៦. ប្រធានបទពាក់ព័ន្ធ (Further Reading)

អត្ថបទដែលបានបោះពុម្ពនៅលើ KhmerResearch ដែលទាក់ទងនឹងប្រធានបទនេះ៖

ប្រធានបទ និងសំណួរស្រាវជ្រាវដែលទាក់ទងនឹងឯកសារនេះ ដែលអ្នកអាចស្វែងរកបន្ថែម៖