បញ្ហា (The Problem)៖ និក្ខេបបទនេះស្រាវជ្រាវពីរបៀបដែលបច្ចេកទេសនៃការសិក្សាផ្ទេរតាមលំដាប់លំដោយថ្មីៗ (Sequential transfer learning) អាចត្រូវបានប្រើប្រាស់ដើម្បីកែលម្អប្រព័ន្ធសង្ខេបអត្ថបទដោយស្វ័យប្រវត្តិ (Text summarization) ដែលជាវិស័យមួយដែលវាកម្រត្រូវបានអនុវត្ត។
វិធីសាស្ត្រ (The Methodology)៖ ការសិក្សានេះបានបង្កើតលំហូរការងារដោយបញ្ចូលម៉ូដែលភាសាដែលបានបង្វឹកជាមុនទៅក្នុងប្រព័ន្ធគោល CopyNet (Sequence-to-sequence baseline) និងវាយតម្លៃប្រសិទ្ធភាពរបស់ពួកវាដោយប្រើប្រាស់សំណុំទិន្នន័យ CNN/DailyMail ។
លទ្ធផលសំខាន់ៗ (The Verdict)៖
| វិធីសាស្ត្រ (Method) | គុណសម្បត្តិ (Pros) | គុណវិបត្តិ (Cons) | លទ្ធផលគន្លឹះ (Key Result) |
|---|---|---|---|
| Baseline CopyNet (Random Embeddings) ម៉ូដែល CopyNet មូលដ្ឋានដោយមិនប្រើការផ្ទេរចំណេះដឹង |
មានភាពសាមញ្ញក្នុងការអនុវត្ត និងមិនត្រូវការទាញយកម៉ូដែលភាសាធំៗពីខាងក្រៅមកប្រើប្រាស់។ | ទទួលបានលទ្ធផលទាបនៅពេលមានទិន្នន័យហ្វឹកហាត់តិចតួច និងទាមទារពេលយូរដើម្បីរៀនពាក្យនីមួយៗពីដំបូង។ | ទទួលបានពិន្ទុ ROUGE-1 ចំនួន 26.91 លើសំណុំទិន្នន័យ Base (100k instances)។ |
| CopyNet + GloVe ការបញ្ចូលតំណាងពាក្យ GloVe ដែលបានបង្វឹកជាមុន |
ងាយស្រួលក្នុងការបញ្ចូលទៅក្នុងម៉ូដែល ជួយបង្កើនប្រសិទ្ធភាពបានល្អគួរសម និងដំណើរការលឿនជាងម៉ូដែល Contextual ។ | មិនអាចយល់ពីអត្ថន័យពាក្យតាមបរិបទប្រែប្រួលបានទេ (Context-free) ឧទាហរណ៍ពាក្យតែមួយមានន័យច្រើន។ | ទទួលបានពិន្ទុ ROUGE-1 កើនឡើងដល់ 31.93 លើសំណុំទិន្នន័យ Base។ |
| CopyNet + ELMo / OpenAI GPT ការប្រើប្រាស់តំណាងពាក្យតាមបរិបទ (Contextual Embeddings) |
អាចចាប់យកអត្ថន័យពាក្យទៅតាមបរិបទនៃប្រយោគ និងជួយបង្កើនគុណភាពនៃការសង្ខេបយ៉ាងខ្លាំង ជាពិសេសលើទិន្នន័យតិចតួច។ | ទាមទារកម្លាំងម៉ាស៊ីនធំ ប្រើប្រាស់អង្គចងចាំច្រើន និងអាចមានបញ្ហាទាក់ទងនឹងដែនកំណត់ប្រវែងអត្ថបទ (ដូចជា BERT ជាដើម)។ | ELMo ទទួលបានពិន្ទុ ROUGE-1 32.16 ខណៈដែល OpenAI GPT ទទួលបាន 31.33 លើសំណុំទិន្នន័យ Base តែមានសមត្ថភាពសង្ខេបល្អលើទិន្នន័យតូច (Small)។ |
ការចំណាយលើធនធាន (Resource Cost)៖ ការបង្វឹកម៉ូដែលសង្ខេបអត្ថបទកម្រិតខ្ពស់នេះ ទាមទារធនធានកុំព្យូទ័រខ្លាំង ជាពិសេសអង្គចងចាំក្រាហ្វិក (GPU) សម្រាប់ដំណើរការទិន្នន័យធំៗរាប់សែនអត្ថបទ។
ការសិក្សានេះប្រើប្រាស់សំណុំទិន្នន័យអត្ថបទព័ត៌មានភាសាអង់គ្លេសពី CNN និង DailyMail ដែលមានវេយ្យាករណ៍ និងរចនាបថសារព័ត៌មានលោកខាងលិច។ សម្រាប់ប្រទេសកម្ពុជា ការយកម៉ូដែលដែលបង្វឹកលើភាសាអង់គ្លេសមកប្រើផ្ទាល់គឺមិនអាចទៅរួចទេ លុះត្រាតែយើងមានការបង្កើតសំណុំទិន្នន័យភាសាខ្មែរខ្នាតធំ (Khmer Corpus) សម្រាប់ការបង្វឹកម៉ូដែលភាសា (Language Models) ជាមុនសិន។
ទោះបីជាទាមទារទិន្នន័យភាសាខ្មែរ ប៉ុន្តែបច្ចេកទេសសិក្សាផ្ទេរ (Transfer Learning) នេះមានសក្តានុពលខ្ពស់ក្នុងការអភិវឌ្ឍប្រព័ន្ធស្វ័យប្រវត្តិកម្មនៅកម្ពុជា។
ជារួម បច្ចេកវិទ្យាសង្ខេបអត្ថបទនេះអាចជួយពន្លឿនការងារស្រាវជ្រាវ និងការអានឯកសារយ៉ាងមានប្រសិទ្ធភាព ប្រសិនបើកម្ពុជាមានការវិនិយោគលើទិន្នន័យអត្ថបទភាសាខ្មែរ។
ដើម្បីអនុវត្តតាមការសិក្សានេះ និស្សិតគួរអនុវត្តតាមជំហានខាងក្រោម៖
| ពាក្យបច្ចេកទេស | ការពន្យល់ជាខេមរភាសា (Khmer Explanation) | និយមន័យសាមញ្ញ (Simple Definition) |
|---|---|---|
| Transfer Learning | ដំណើរការនៃការយកចំណេះដឹង ឬទិន្នន័យដែលម៉ាស៊ីនបានរៀនពីកិច្ចការមួយ (ឧទាហរណ៍ ការយល់ដឹងពីភាសាទូទៅពីអត្ថបទរាប់លាន) ទៅអនុវត្តលើកិច្ចការមួយទៀត (ឧទាហរណ៍ ការសង្ខេបអត្ថបទ) ដើម្បីកាត់បន្ថយពេលវេលាបង្វឹក និងទទួលបានលទ្ធផលល្អជាងមុន។ | ដូចជាមនុស្សដែលចេះជិះកង់ស្រាប់ ពេលទៅរៀនជិះម៉ូតូគឺងាយស្រួល និងឆាប់ចេះជាងអ្នកដែលមិនធ្លាប់ជិះកង់សោះ។ |
| Abstractive Summarization | វិធីសាស្ត្រសង្ខេបអត្ថបទដែលម៉ាស៊ីនមិនត្រឹមតែចម្លងប្រយោគដើមចេញពីអត្ថបទនោះទេ តែវាព្យាយាមយល់ន័យសេចក្តី រួចសរសេរវាឡើងវិញជាប្រយោគថ្មីដោយប្រើពាក្យផ្ទាល់ខ្លួនរបស់វា ដើម្បីឱ្យខ្លីនិងងាយយល់។ | ដូចជាសិស្សដែលអានសៀវភៅចប់ រួចសរសេរសង្ខេបសាច់រឿងឡើងវិញដោយប្រើពាក្យសម្តីខ្លួនឯង មិនមែនគ្រាន់តែចម្លងតាមសៀវភៅបេះបិទនោះទេ។ |
| Sequence-to-sequence (Seq2seq) | ទម្រង់នៃម៉ូដែលបញ្ញាសិប្បនិម្មិតដែលទទួលទិន្នន័យជាខ្សែលំដាប់ពាក្យ (Input) រួចដំណើរការ និងបញ្ចេញលទ្ធផលជាខ្សែលំដាប់ពាក្យមួយទៀត (Output) ដែលមានប្រវែងខុសគ្នា ដូចជាម៉ូដែលសម្រាប់បកប្រែភាសា ឬសង្ខេបអត្ថបទ។ | ដូចជាអ្នកបកប្រែផ្ទាល់មាត់ ដែលស្តាប់ប្រយោគភាសាអង់គ្លេសទាំងមូលសិន រួចទើបអាចរៀបចំនិងនិយាយចេញមកជាប្រយោគភាសាខ្មែរបាន។ |
| Word Embeddings | ការបំប្លែងពាក្យពេចន៍ទៅជាតួលេខ (វ៉ិចទ័រលេខ) ដើម្បីឱ្យកុំព្យូទ័រអាចគណនា យល់ពីអត្ថន័យ និងដឹងពីទំនាក់ទំនងរវាងពាក្យទាំងនោះ ឧទាហរណ៍ម៉ាស៊ីនអាចដឹងថាពាក្យ "ស្តេច" និង "ព្រះរាជិនី" មានទំនាក់ទំនងគ្នា។ | ដូចជាការដាក់ពិន្ទុ ឬកូដសម្គាល់លក្ខណៈបុគ្គលម្នាក់ៗ ដើម្បីឱ្យកុំព្យូទ័រដឹងថាអ្នកណាមានចរិត ឬអត្តសញ្ញាណស្រដៀងគ្នា។ |
| Contextual Embeddings | ការតំណាងពាក្យជាតួលេខដែលអាចប្រែប្រួលទៅតាមបរិបទនៃប្រយោគ។ វាជួយដោះស្រាយបញ្ហាពាក្យតែមួយមានន័យច្រើន ដោយផ្តល់តម្លៃខុសគ្នាអាស្រ័យលើពាក្យដែលនៅជុំវិញវា (ឧទាហរណ៍ BERT ឬ ELMo)។ | ដូចជាពាក្យ "លេង" ក្នុងប្រយោគ "លេងកីឡា" និង "លេងសើច" កុំព្យូទ័រអាចដឹងថាវាមានន័យខុសគ្នា ទោះបីជាសរសេរដូចគ្នាក៏ដោយ។ |
| Self-attention | យន្តការដែលជួយឱ្យម៉ូដែលបែងចែក និងផ្តល់ទម្ងន់ភាពសំខាន់ទៅលើពាក្យនីមួយៗក្នុងប្រយោគតែមួយ ដើម្បីចាប់យកបរិបទ និងទំនាក់ទំនងនៃពាក្យទាំងនោះឱ្យកាន់តែច្បាស់ ទោះបីជាពាក្យទាំងនោះនៅឆ្ងាយពីគ្នាក្នុងប្រយោគក៏ដោយ។ | ដូចជាពេលយើងអានប្រយោគមួយ យើងដឹងថាយើងត្រូវផ្តោតអារម្មណ៍ (Attention) លើពាក្យគន្លឹះណាខ្លះដើម្បីយល់ន័យប្រយោគនោះទាំងមូល។ |
| Copy Mechanism | បច្ចេកទេសដែលអនុញ្ញាតឱ្យម៉ាស៊ីនអាចថតចម្លងពាក្យពិបាកៗ ឬឈ្មោះមនុស្ស/ទីកន្លែងពីអត្ថបទដើម យកមកដាក់ក្នុងអត្ថបទសង្ខេបផ្ទាល់តែម្តង ជាជាងព្យាយាមបង្កើតពាក្យថ្មីដែលវាអត់ស្គាល់ (Out-of-vocabulary)។ | ដូចជាពេលយើងសរសេរសេចក្តីសង្ខេបរឿង បើយើងជួបឈ្មោះតួអង្គបរទេសពិបាកសរសេរ យើងគ្រាន់តែចម្លងឈ្មោះនោះដាក់ចូលតែម្តង មិនចាំបាច់បកប្រែវាទេ។ |
| ROUGE Score | រង្វាស់ស្តង់ដារមួយសម្រាប់វាយតម្លៃគុណភាពនៃការសង្ខេបអត្ថបទ ដោយប្រៀបធៀបចំនួនពាក្យ ឬកន្សោមពាក្យដែលម៉ាស៊ីនសង្ខេបបាន ទៅនឹងពាក្យដែលមនុស្សបានសង្ខេបទុកជាគំរូ។ វាជួយប្រាប់ថាតើម៉ាស៊ីនចាប់បានខ្លឹមសារកម្រិតណា។ | ដូចជាការកាត់ក្រដាសកិច្ចការសិស្ស ដោយរាប់មើលថាតើសិស្សសរសេរចំចំណុចគន្លឹះបានប៉ុន្មានចំណុចធៀបនឹងចម្លើយមេប្រយោគរបស់គ្រូ។ |
អត្ថបទដែលបានបោះពុម្ពនៅលើ KhmerResearch ដែលទាក់ទងនឹងប្រធានបទនេះ៖
ប្រធានបទ និងសំណួរស្រាវជ្រាវដែលទាក់ទងនឹងឯកសារនេះ ដែលអ្នកអាចស្វែងរកបន្ថែម៖
