Original Title: Challenges in Zero-Shot and Few-Shot Learning for Complex Queries
Source: www.researchgate.net
Disclaimer: Summary generated by AI based on the provided document. Please refer to the original paper for full scientific accuracy.

បញ្ហាប្រឈមក្នុងការរៀនបែប Zero-Shot និង Few-Shot សម្រាប់សំណួរស្មុគស្មាញ

ចំណងជើងដើម៖ Challenges in Zero-Shot and Few-Shot Learning for Complex Queries

អ្នកនិពន្ធ៖ Mateo Clement

ឆ្នាំបោះពុម្ព៖ September 2023

វិស័យសិក្សា៖ Machine Learning

១. សេចក្តីសង្ខេបប្រតិបត្តិ (Executive Summary)

បញ្ហា (The Problem)៖ ឯកសារនេះដោះស្រាយលើបញ្ហាប្រឈមនៃការអនុវត្តគំរូបញ្ញាសិប្បនិម្មិត (Zero-Shot និង Few-Shot Learning) ទៅលើសំណួរស្មុគស្មាញ ដែលមានភាពស្រពិចស្រពិល និងត្រូវការចំណេះដឹងជាក់លាក់ដោយមិនមានទិន្នន័យបណ្តុះបណ្តាលគ្រប់គ្រាន់។

វិធីសាស្ត្រ (The Methodology)៖ ការសិក្សានេះធ្វើការវិភាគលើដែនកំណត់នៃគំរូ AI បច្ចុប្បន្ន និងស្នើឡើងនូវយុទ្ធសាស្ត្របច្ចេកទេសនានាដើម្បីបង្កើនសមត្ថភាពស្វែងយល់របស់វា។

លទ្ធផលសំខាន់ៗ (The Verdict)៖

២. ការវិភាគលើប្រសិទ្ធភាព និងដែនកំណត់ (Performance & Constraints)

វិធីសាស្ត្រ (Method) គុណសម្បត្តិ (Pros) គុណវិបត្តិ (Cons) លទ្ធផលគន្លឹះ (Key Result)
Traditional Learning
ការរៀនតាមបែបប្រពៃណី
មានភាពត្រឹមត្រូវ និងដំណើរការល្អប្រសើរបំផុតសម្រាប់កិច្ចការជាក់លាក់ដែលវាត្រូវបានហ្វឹកហាត់រួច។ ត្រូវការទិន្នន័យបណ្តុះបណ្តាលដែលបានចាត់ថ្នាក់ (Labeled Data) ក្នុងទំហំដ៏ធំ និងខ្សោយក្នុងការសន្និដ្ឋានលើកិច្ចការថ្មីៗដែលមិនធ្លាប់ជួប។ មានប្រសិទ្ធភាពខ្ពស់សម្រាប់ការសម្គាល់រូបភាព និងសំឡេងទូទៅ នៅពេលដែលមានទិន្នន័យហ្វឹកហាត់គ្រប់គ្រាន់ (Large Corpora)។
Few-Shot Learning (FSL)
ការរៀនដោយប្រើទិន្នន័យគំរូតិចតួច
ទាមទារទិន្នន័យគំរូតែពី ១ ទៅ ១០ ប៉ុណ្ណោះក្នុងមួយប្រភេទ (Class) ដែលជួយសន្សំសំចៃពេលវេលា និងថវិកាក្នុងការប្រមូលទិន្នន័យ។ សមត្ថភាពទូទៅនៅកម្រិតមធ្យមនៅឡើយ ហើយងាយនឹងបកស្រាយខុសប្រសិនបើជួបពាក្យបច្ចេកទេសក្នុងវិស័យជាក់លាក់ដោយមិនបានកែតម្រូវ (Fine-tuning)។ អាចប្រើប្រាស់បានយ៉ាងល្អសម្រាប់ការវិភាគជំងឺកម្រ និងការងារដំណើរការភាសាធម្មជាតិ (NLP) ដែលខ្វះទិន្នន័យ។
Zero-Shot Learning (ZSL)
ការរៀនដោយមិនត្រូវការទិន្នន័យគំរូ
អាចបំពេញកិច្ចការថ្មីៗបានភ្លាមៗដោយពឹងផ្អែកលើចំណេះដឹងពីមុន (Prior Knowledge) ដោយមិនត្រូវការទិន្នន័យបណ្តុះបណ្តាលថ្មីឡើយ។ ងាយរងឥទ្ធិពលពីការផ្លាស់ប្តូរទម្រង់នៃសំណួរ (Prompt Sensitivity) និងមានការលំបាកក្នុងការយល់ពីបរិបទវាក្យសម្ព័ន្ធស្មុគស្មាញ។ ដំណើរការល្អក្នុងការវិភាគមនោសញ្ចេតនាលើប្រធានបទថ្មីៗ ការសម្គាល់វត្ថុ និងការបកប្រែឆ្លងភាសា។
Hybrid AI Models
គំរូបញ្ញាសិប្បនិម្មិតកូនកាត់
រួមបញ្ចូលការគិតបែបតក្កវិជ្ជា (Symbolic AI) ជាមួយនឹងការរៀនស៊ីជម្រៅ (Deep Learning) ដែលធ្វើឱ្យការស្វែងយល់សំណួរមានរចនាសម្ព័ន្ធកាន់តែច្បាស់លាស់។ ទាមទារការរៀបចំស្ថាបត្យកម្មស្មុគស្មាញ និងត្រូវការសមាហរណកម្មជាមួយប្រភពចំណេះដឹងខាងក្រៅ។ ផ្តល់អត្រាភាពត្រឹមត្រូវខ្ពស់សម្រាប់ការដោះស្រាយសំណួរផ្នែកច្បាប់ ដោយផ្អែកលើការយល់ដឹងពីភាសា និងតក្កវិជ្ជាច្បាប់។

ការចំណាយលើធនធាន (Resource Cost)៖ ទោះបីជាឯកសារមិនបានបញ្ជាក់តួលេខច្បាស់លាស់ក្តី ប៉ុន្តែការដំណើរការគំរូ AI ធំៗទាមទារធនធានកុំព្យូទ័រ និងទិន្នន័យច្រើនសន្ធឹកសន្ធាប់ សម្រាប់ការបណ្តុះបណ្តាលមុន (Pre-training)។

៣. ការពិនិត្យសម្រាប់បរិបទកម្ពុជា/អាស៊ីអាគ្នេយ៍

ភាពលំអៀងនៃទិន្នន័យ (Data Bias)៖

ការសិក្សានេះផ្តោតសំខាន់លើគំរូដែលត្រូវបានហ្វឹកហាត់លើសំណុំទិន្នន័យទូទៅរបស់លោកខាងលិច (ដូចជា Wikipedia និង Common Crawl ជាភាសាអង់គ្លេស)។ នេះជាបញ្ហាប្រឈមធំសម្រាប់ប្រទេសកម្ពុជា ពីព្រោះកង្វះខាតទិន្នន័យជាភាសាខ្មែរ និងបរិបទវប្បធម៌ក្នុងស្រុក អាចធ្វើឱ្យ AI ផ្តល់ចម្លើយលម្អៀង ឬបកស្រាយខុស (Bias) នៅពេលប្រឈមមុខនឹងសំណួរស្មុគស្មាញ។

លទ្ធភាពនៃការអនុវត្ត (Applicability)៖

បច្ចេកទេសរៀនសូត្រពីទិន្នន័យតិចតួច (Few-Shot) និងគ្មានទិន្នន័យ (Zero-Shot) នេះពិតជាមានសក្តានុពល និងសារៈសំខាន់ខ្ពស់សម្រាប់កម្ពុជា ដែលជាប្រទេសកំពុងខ្វះខាតទិន្នន័យឌីជីថលខ្នាតធំ (Low-resource language)។

សរុបមក ការអនុវត្តវិធីសាស្ត្រទាំងនេះនឹងជួយឱ្យវិស័យសាធារណៈ និងឯកជននៅកម្ពុជាអាចអភិវឌ្ឍប្រព័ន្ធ AI បានលឿន និងចំណាយតិច ដោយកាត់បន្ថយការពឹងផ្អែកលើការប្រមូលទិន្នន័យទ្រង់ទ្រាយធំ។

៤. ផែនការសកម្មភាពសម្រាប់និស្សិត (Actionable Roadmap)

ដើម្បីអនុវត្តតាមការសិក្សានេះ និស្សិតគួរអនុវត្តតាមជំហានខាងក្រោម៖

  1. សិក្សាមូលដ្ឋានគ្រឹះនៃគំរូភាសាធំៗ (Understand Transformer Models): ចាប់ផ្តើមដោយការស្វែងយល់ពីស្ថាបត្យកម្មប្រព័ន្ធតាមរយៈវគ្គសិក្សារបស់ Hugging Face Course និងសាកល្បងប្រើប្រាស់ម៉ូដែលដូចជា BERT សម្រាប់ការងារ NLP ធម្មតាជាមុនសិន។
  2. អនុវត្តបច្ចេកទេសវិស្វកម្មបញ្ជា (Master Prompt Engineering): សាកល្បងអនុវត្តបច្ចេកទេស Chain-of-thought prompting លើម៉ូដែលកូដបើកចំហរដូចជា Llama 3 ឬតាមរយៈ OpenAI API ដើម្បីបង្ហាត់ AI ឱ្យដោះស្រាយសំណួរស្មុគស្មាញជាជំហានៗ។
  3. ពិសោធន៍ជាមួយ Few-Shot Learning សម្រាប់ភាសាខ្មែរ: ប្រមូលទិន្នន័យអត្ថបទភាសាខ្មែរប្រហែល ១០ ទៅ ២០ គំរូក្នុងមួយចំណាត់ថ្នាក់ រួចសាកល្បងធ្វើ Fine-tuning ដោយប្រើបច្ចេកទេស PEFT (Parameter-Efficient Fine-Tuning) ជាមួយបណ្ណាល័យ PyTorch ជំនួសឱ្យការប្រើម៉ូដែលទាំងមូល។
  4. កសាងប្រព័ន្ធ AI ឆ្លើយតបដោយភ្ជាប់ទិន្នន័យខាងក្រៅ (Context Augmentation): សិក្សាពីការរួមបញ្ចូលគ្នារវាងម៉ូដែល Deep Learning ជាមួយឯកសារជាក់លាក់ដោយប្រើប្រាស់ LangChain និងបច្ចេកទេស RAG (Retrieval-Augmented Generation) ដើម្បីបង្កើនភាពត្រឹមត្រូវនៃចម្លើយ AI។
  5. ចូលរួមបង្កើតសំណុំទិន្នន័យ (Dataset Contribution): សហការជាមួយសហគមន៍កូដបើកចំហរនៅលើ GitHub ដើម្បីបង្កើតសំណុំទិន្នន័យសម្រាប់វាយតម្លៃ (Benchmark Datasets) ដែលអាចវាស់ស្ទង់សមត្ថភាព Zero-Shot របស់ AI ជាភាសាខ្មែរ។

៥. វាក្យសព្ទបច្ចេកទេស (Technical Glossary)

ពាក្យបច្ចេកទេស ការពន្យល់ជាខេមរភាសា (Khmer Explanation) និយមន័យសាមញ្ញ (Simple Definition)
Zero-shot learning (ZSL) វិធីសាស្ត្របង្រៀនម៉ូដែលបញ្ញាសិប្បនិម្មិតឱ្យអាចបំពេញការងារ ឬចំណាត់ថ្នាក់វត្ថុថ្មីៗដែលវាមិនធ្លាប់បានឃើញទិន្នន័យគំរូពីមុនមកសោះ ដោយពឹងផ្អែកលើការយល់ដឹងពីទំនាក់ទំនងអត្ថន័យ និងចំណេះដឹងទូទៅដែលវាមានស្រាប់។ ដូចជាការប្រាប់ក្មេងម្នាក់ពីភិនភាគសត្វសេះបង្កង់ថា "វាមានរាងដូចសេះ តែមានឆ្នូតសខ្មៅ" ហើយក្មេងនោះអាចស្គាល់សេះបង្កង់នៅពេលឃើញវាផ្ទាល់ ទោះបីជាមិនធ្លាប់ឃើញរូបភាពវាក៏ដោយ។
Few-shot learning (FSL) បច្ចេកទេសបណ្តុះបណ្តាល AI ដែលតម្រូវឱ្យមានទិន្នន័យគំរូតិចតួចបំផុត (ឧទាហរណ៍ ១ ទៅ ១០ គំរូ) ដើម្បីឱ្យវាអាចយល់ និងធ្វើការទាញសេចក្តីសន្និដ្ឋានទៅលើទិន្នន័យថ្មីៗក្នុងប្រធានបទនោះបានយ៉ាងមានប្រសិទ្ធភាព។ ដូចជាអ្នករៀនធ្វើម្ហូបថ្មីមួយមុខ ដោយគ្រាន់តែមើលគេធ្វើបង្ហាញម្តង ឬពីរដង រួចក៏អាចចម្អិនវាដោយខ្លួនឯងបាន។
Prompt engineering ជំនាញក្នុងការរៀបចំ បង្កើត និងកែច្នៃទម្រង់សំណួរ ឬពាក្យបញ្ជា (Prompt) ដើម្បីណែនាំឱ្យម៉ូដែល AI ផ្តល់នូវចម្លើយ ឬលទ្ធផលដែលត្រឹមត្រូវ និងចំគោលដៅបំផុត ជាពិសេសសម្រាប់សំណួរស្មុគស្មាញ។ ដូចជាការចេះរបៀបសួរសំណួរទៅកាន់មនុស្សម្នាក់ឱ្យចំចំណុច ដើម្បីទទួលបានចម្លើយដែលអ្នកចង់បានពិតប្រាកដ។
Meta-learning ដំណើរការដែលប្រព័ន្ធ AI "រៀនពីរបៀបរៀន" ដែលជួយឱ្យម៉ូដែលនេះអាចសម្របខ្លួន និងដោះស្រាយកិច្ចការថ្មីៗបានយ៉ាងឆាប់រហ័ស ទោះបីជាមានទិន្នន័យបណ្តុះបណ្តាល និងពេលវេលាតិចតួចក៏ដោយ។ ដូចជាសិស្សម្នាក់ដែលពូកែខាងវិធីសាស្ត្ររៀនសូត្រ ទោះបីប្តូរទៅរៀនមុខវិជ្ជាថ្មី ក៏គេអាចចាប់បានលឿនជាងសិស្សធម្មតា។
Chain-of-thought prompting បច្ចេកទេសជំរុញឱ្យម៉ូដែល AI បំបែកសំណួរស្មុគស្មាញ និងគិតជាជំហានៗតាមបែបតក្កវិជ្ជាមុននឹងឈានដល់ការសន្និដ្ឋានចម្លើយចុងក្រោយ ដែលជួយកាត់បន្ថយការឆ្លើយខុស។ ដូចជាគ្រូគណិតវិទ្យាដែលតម្រូវឱ្យសិស្សសរសេររបៀបដោះស្រាយលំហាត់មួយជួរម្តងៗ ជាជាងគ្រាន់តែសរសេរចម្លើយចុងក្រោយយកតែម្តង។
Symbolic AI ទម្រង់នៃបញ្ញាសិប្បនិម្មិតដែលពឹងផ្អែកលើច្បាប់តក្កវិជ្ជា និងនិមិត្តសញ្ញាដើម្បីតំណាងឱ្យចំណេះដឹង និងធ្វើការវែកញែករកហេតុផល (Reasoning) ដែលខុសពីការរៀនតាមរយៈទិន្នន័យច្រើនសន្ធឹកសន្ធាប់របស់ Neural Networks។ ដូចជាការធ្វើការងារដោយអនុលោមតាមសៀវភៅច្បាប់ ឬរូបមន្តដែលបានកំណត់ទុកយ៉ាងច្បាស់លាស់ ដោយមិនប្រើការទស្សន៍ទាយតាមទម្លាប់នោះទេ។
Domain adaptation សមត្ថភាពរបស់ម៉ូដែល AI ក្នុងការយកចំណេះដឹងដែលខ្លួនបានរៀនពីវិស័យ ឬប្រភេទបទពិសោធន៍ទូទៅមួយ (ឧ. ទិន្នន័យវីគីភីឌា) ទៅប្រើប្រាស់ក្នុងវិស័យមួយផ្សេងទៀតដែលខុសគ្នា និងមានឯកទេសខ្ពស់ (ឧ. វិស័យច្បាប់ ឬវេជ្ជសាស្ត្រ)។ ដូចជាអ្នកជំនាញបើកបរឡាននៅតំបន់ជនបទ ដែលត្រូវរៀនសម្របខ្លួនដើម្បីអាចបើកបរយ៉ាងរលូននៅក្នុងទីក្រុងដែលមានច្បាប់ចរាចរណ៍ស្មុគស្មាញ។
Active learning វិធីសាស្ត្រដែលម៉ូដែល AI ខ្លួនឯងអាចជ្រើសរើសទិន្នន័យណាដែលវាមានភាពស្រពិចស្រពិល ឬមិនច្បាស់លាស់បំផុត ហើយស្នើសុំឱ្យមនុស្សជួយបកស្រាយ (Labeling) ដើម្បីពន្លឿនការរៀនសូត្រដោយប្រើប្រាស់ទិន្នន័យតិច។ ដូចជាសិស្សដែលឆ្លាត គេតែងតែលើកដៃសួរសំណួរគ្រូតែលើចំណុចណាដែលគេមិនយល់ច្បាស់ ដើម្បីឆាប់ចេះ ជាជាងរៀនសាឡើងវិញទាំងអស់។

៦. ប្រធានបទពាក់ព័ន្ធ (Further Reading)

អត្ថបទដែលបានបោះពុម្ពនៅលើ KhmerResearch ដែលទាក់ទងនឹងប្រធានបទនេះ៖

ប្រធានបទ និងសំណួរស្រាវជ្រាវដែលទាក់ទងនឹងឯកសារនេះ ដែលអ្នកអាចស្វែងរកបន្ថែម៖