Original Title: ChatGPT及生成式人工智能现状及未来发展方向
Disclaimer: Summary generated by AI based on the provided document. Please refer to the original paper for full scientific accuracy.

ស្ថានភាពបច្ចុប្បន្ន និងទិសដៅអភិវឌ្ឍន៍នាពេលអនាគតរបស់ ChatGPT និងបញ្ញាសិប្បនិម្មិតបង្កើតថ្មី (Generative AI)

ចំណងជើងដើម៖ ChatGPT及生成式人工智能现状及未来发展方向

អ្នកនិពន្ធ៖ 张熙 (Xi Zhang) - Institutes of Automation, Chinese Academy of Sciences, 杨小汕 (Xiaoshan Yang) - Institutes of Automation, Chinese Academy of Sciences, 徐常胜 (Changsheng Xu) - Institutes of Automation, Chinese Academy of Sciences

ឆ្នាំបោះពុម្ព៖ 2023, 中国科学基金 (Bulletin of National Natural Science Foundation of China)

វិស័យសិក្សា៖ Artificial Intelligence

១. សេចក្តីសង្ខេបប្រតិបត្តិ (Executive Summary)

បញ្ហា (The Problem)៖ ឯកសារនេះពិភាក្សាអំពីវឌ្ឍនភាពបច្ចុប្បន្ន ផលប៉ះពាល់ និងបញ្ហាប្រឈមនៃបញ្ញាសិប្បនិម្មិតបង្កើតថ្មី (Generative AI) ជាពិសេសផ្តោតលើម៉ូដែល ChatGPT។ វាដោះស្រាយតម្រូវការក្នុងការស្វែងយល់ពីបច្ចេកវិទ្យាស្នូល ការវាយតម្លៃពីដែនកំណត់ និងកំណត់ទិសដៅស្រាវជ្រាវនាពេលអនាគត។

វិធីសាស្ត្រ (The Methodology)៖ ឯកសារនេះធ្វើការត្រួតពិនិត្យ និងវិភាគយ៉ាងទូលំទូលាយ (Comprehensive Review) លើបច្ចេកវិទ្យាស្នូល និងការវិវត្តនៃម៉ូដែលភាសាខ្នាតធំ។

លទ្ធផលសំខាន់ៗ (The Verdict)៖

២. ការវិភាគលើប្រសិទ្ធភាព និងដែនកំណត់ (Performance & Constraints)

វិធីសាស្ត្រ (Method) គុណសម្បត្តិ (Pros) គុណវិបត្តិ (Cons) លទ្ធផលគន្លឹះ (Key Result)
Traditional Machine Learning Models
ម៉ូដែលម៉ាស៊ីនរៀនបែបប្រពៃណី (ឧទាហរណ៍៖ SVM, Decision Trees)
ទាមទារថាមពលកុំព្យូទ័រតិច និងមានភាពងាយស្រួលក្នុងការបកស្រាយសម្រាប់កិច្ចការសាមញ្ញ។ មិនអាចដោះស្រាយកិច្ចការបង្កើតមាតិកាថ្មីៗដែលស្មុគស្មាញបានទេ និងតម្រូវឱ្យមានការបែងចែកកិច្ចការជាជំហានតូចៗជាច្រើន។ ឯកសារបញ្ជាក់ថាម៉ូដែលប្រភេទនេះកំពុងត្រូវបានជំនួសដោយម៉ូដែលបង្កើតថ្មី (Generative models) ក្នុងវិស័យដំណើរការភាសាធម្មជាតិ។
Large Language Models (e.g., GPT-3, GPT-4)
ម៉ូដែលភាសាខ្នាតធំ (ឧទាហរណ៍៖ GPT-3, GPT-4)
មានសមត្ថភាពខ្ពស់ក្នុងការវែកញែក យល់បរិបទស្មុគស្មាញ និងគាំទ្រការសន្ទនាច្រើនជុំប្រៀបដូចជាមនុស្សពិត។ ចំណាយថាមពលកុំព្យូទ័រ និងអគ្គិសនីខ្ពស់ខ្លាំងណាស់ ព្រមទាំងមានបញ្ហាបង្កើតព័ត៌មានមិនពិត (Hallucination) និងហានិភ័យសុវត្ថិភាព។ GPT-3 មានប៉ារ៉ាម៉ែត្ររហូតដល់ ១៧៥ពាន់លាន និងហ្វឹកហាត់លើទិន្នន័យ 45TB ដែលស៊ីថាមពលអគ្គិសនីដល់ទៅ ១៩ម៉ឺនគីឡូវ៉ាត់ម៉ោង ក្នុងមួយដងនៃការហ្វឹកហាត់។
Lightweight / Open-Source LLMs (e.g., Vicuna, LLaMA)
ម៉ូដែលភាសាខ្នាតតូច ឬកូដបើកចំហ (ឧទាហរណ៍៖ Vicuna, LLaMA)
ជាកូដបើកចំហ ចំណាយតិចលើការហ្វឹកហាត់ និងមានប្រសិទ្ធភាពប្រហាក់ប្រហែល ChatGPT លើកិច្ចការជាក់លាក់មួយចំនួន។ សមត្ថភាពផ្នែកចំណេះដឹងទូទៅនៅមានកម្រិត និងនៅតែទាមទារការកែសម្រួលបន្ថែម (Fine-tuning) ដើម្បីយកមកប្រើប្រាស់ជាក់ស្តែង។ ជួយសម្រួលដល់ការស្រាវជ្រាវតាមស្ថាប័នដោយមិនតម្រូវឱ្យមានធនធានម៉ាស៊ីនមេកម្រិតយក្ស ធ្វើឱ្យការប្រើប្រាស់ AI កាន់តែទូលំទូលាយ។

ការចំណាយលើធនធាន (Resource Cost)៖ ឯកសារនេះបានបញ្ជាក់យ៉ាងច្បាស់អំពីតម្រូវការធនធានកុំព្យូទ័រ និងថាមពលដ៏ធំធេងសម្រាប់ការហ្វឹកហាត់ម៉ូដែល AI ខ្នាតធំ ដែលជាបញ្ហាប្រឈមសម្រាប់ការអនុវត្តជាក់ស្តែង។

៣. ការពិនិត្យសម្រាប់បរិបទកម្ពុជា/អាស៊ីអាគ្នេយ៍

ភាពលំអៀងនៃទិន្នន័យ (Data Bias)៖

ការសិក្សានិងម៉ូដែលទាំងនេះពឹងផ្អែកស្ទើរតែទាំងស្រុងទៅលើទិន្នន័យភាសាអង់គ្លេស និងវប្បធម៌លោកខាងលិច (មានករណីលម្អៀងខាងនយោបាយដូចបានរៀបរាប់ក្នុងឯកសារ)។ សម្រាប់ប្រទេសកម្ពុជា នេះគឺជាបញ្ហាធំ ពីព្រោះម៉ូដែលទាំងនេះមិនទាន់យល់ច្បាស់ពីភាសាខ្មែរ បរិបទវប្បធម៌ និងច្បាប់ក្នុងស្រុក ដែលអាចឈានដល់ការបង្កើតមាតិកាដែលមិនសមរម្យ ឬលម្អៀង។

លទ្ធភាពនៃការអនុវត្ត (Applicability)៖

បច្ចេកវិទ្យា Generative AI នេះមានសក្តានុពលខ្ពស់សម្រាប់ការអភិវឌ្ឍនៅប្រទេសកម្ពុជា ប៉ុន្តែតម្រូវឱ្យមានការសម្របខ្លួនតាមរយៈការប្រើប្រាស់ម៉ូដែលខ្នាតតូច និងទិន្នន័យក្នុងស្រុក។

ជាសរុប កម្ពុជាគួរតែទាញយកអត្ថប្រយោជន៍ពីម៉ូដែល AI បើកចំហ (Open-source Lightweight LLMs) និងហ្វឹកហាត់បន្ថែមជាមួយទិន្នន័យភាសាខ្មែរ ដើម្បីបង្កើតដំណោះស្រាយដែលមានសុវត្ថិភាព ត្រឹមត្រូវ និងចំណាយទាប។

៤. ផែនការសកម្មភាពសម្រាប់និស្សិត (Actionable Roadmap)

ដើម្បីអនុវត្តតាមការសិក្សានេះ និស្សិតគួរអនុវត្តតាមជំហានខាងក្រោម៖

  1. សិក្សាមូលដ្ឋានគ្រឹះនៃ NLP និង Transformer: ចាប់ផ្តើមដោយការសិក្សាពីស្ថាបត្យកម្ម Transformer និងបច្ចេកទេស In-context Learning ដោយប្រើប្រាស់ធនធានកូដពី Hugging Face និងវគ្គសិក្សារបស់ DeepLearning.AI
  2. សាកល្បងជាមួយម៉ូដែល AI ខ្នាតតូច (Lightweight Models): ជំនួសឲ្យការហ្វឹកហាត់ម៉ូដែលធំពីសូន្យ និស្សិតនិងអ្នកស្រាវជ្រាវគួរសាកល្បងយកម៉ូដែលកូដបើកចំហដូចជា LLaMA, AlpacaVicuna មកដំណើរការលើកុំព្យូទ័រផ្ទាល់ខ្លួនតាមរយៈ OllamaLM Studio
  3. ប្រមូលនិងរៀបចំទិន្នន័យភាសាខ្មែរ (Data Curation & Fine-Tuning): ផ្តោតលើការប្រមូលទិន្នន័យអត្ថបទភាសាខ្មែរ និងប្រើប្រាស់បច្ចេកទេស Parameter-Efficient Fine-Tuning (PEFT) ដូចជា LoRA ដើម្បីបង្រៀនម៉ូដែលឲ្យស្គាល់ភាសាជាតិដោយប្រើ GPU កម្រិតទាប (ឧ. RTX 3090/4090)។
  4. កាត់បន្ថយការប្រឌិតព័ត៌មានតាមរយៈ RAG: អនុវត្តបច្ចេកទេស Retrieval-Augmented Generation (RAG) ដោយប្រើប្រាស់ LangChainLlamaIndex ដើម្បីភ្ជាប់ AI ទៅនឹងមូលដ្ឋានទិន្នន័យពិតប្រាកដរបស់ស្ថាប័ន ដើម្បីដោះស្រាយបញ្ហា Hallucination
  5. អនុវត្តយន្តការត្រួតពិនិត្យ និងវាយតម្លៃសុវត្ថិភាពម៉ូដែល: រៀបចំក្រុមការងារដើម្បីអនុវត្តវិធីសាស្ត្រ RLHF (Reinforcement Learning from Human Feedback) ដោយផ្តល់មតិកែលម្អលើចម្លើយរបស់ AI ដើម្បីធានាថាវាស្របតាមក្រមសីលធម៌ និងវប្បធម៌ខ្មែរ។

៥. វាក្យសព្ទបច្ចេកទេស (Technical Glossary)

ពាក្យបច្ចេកទេស ការពន្យល់ជាខេមរភាសា (Khmer Explanation) និយមន័យសាមញ្ញ (Simple Definition)
Generative Pre-trained Transformer ជាម៉ូដែលបញ្ញាសិប្បនិម្មិតដែលត្រូវបានហ្វឹកហាត់ជាមុន (Pre-trained) លើទិន្នន័យអត្ថបទដ៏ធំសម្បើម ដើម្បីរៀនពីទម្រង់ភាសា និងអាចបង្កើត (Generative) អត្ថបទថ្មីៗដោយស្វ័យប្រវត្តិ។ ដូចជាសិស្សដែលបានអានសៀវភៅរាប់លានក្បាល ហើយអាចសរសេរអត្ថបទថ្មីដោយខ្លួនឯងផ្អែកលើចំណេះដឹងដែលគេបានចងចាំ។
Transformer ជាស្ថាបត្យកម្មបណ្ដាញសរសៃប្រសាទសិប្បនិម្មិត (Neural Network) ស្នូលដែលពូកែក្នុងការចាប់យកទំនាក់ទំនងនៃពាក្យនីមួយៗក្នុងប្រយោគវែងៗ ទោះពាក្យទាំងនោះនៅឆ្ងាយពីគ្នាក៏ដោយ ធ្វើឱ្យវាអាចយល់អត្ថន័យបរិបទបានយ៉ាងល្អ។ ដូចជាអ្នកបកប្រែដែលមិនត្រឹមតែបកប្រែពាក្យមួយៗតាមលំដាប់នោះទេ តែសម្លឹងមើលអត្ថន័យនៃប្រយោគទាំងមូលដើម្បីយល់ពីបរិបទច្បាស់លាស់មុននឹងបកប្រែ។
In-context Learning ជាសមត្ថភាពរបស់ម៉ូដែល AI ក្នុងការរៀនសូត្រពីឧទាហរណ៍ ឬបរិបទដែលអ្នកប្រើប្រាស់បានផ្ដល់ឱ្យក្នុងប្រអប់សារ (Prompt) ភ្លាមៗ ដោយមិនចាំបាច់កែប្រែទិន្នន័យប៉ារ៉ាម៉ែត្រគោលរបស់វាឡើងវិញនោះទេ។ ដូចជាការបង្ហាញគំរូលំហាត់គណិតវិទ្យាមួយទៅកាន់សិស្ស រួចសិស្សនោះអាចយកគំរូនោះទៅធ្វើលំហាត់ថ្មីដែលស្រដៀងគ្នានោះបានភ្លាមៗ។
Chain of Thought ជាបច្ចេកទេសប្រើប្រាស់ Prompt ដើម្បីបំបែកបញ្ហាស្មុគស្មាញជាជំហានតូចៗបន្តបន្ទាប់គ្នា ដើម្បីឱ្យ AI អាចធ្វើការត្រិះរិះពិចារណាតាមលំដាប់លំដោយ និងរកចម្លើយបានត្រឹមត្រូវជាងមុន ជាពិសេសលើការគណនា ឬតក្កវិជ្ជា។ ដូចជាការណែនាំសិស្សឱ្យសរសេរវិធីធ្វើលំហាត់បង្ហាញមួយជួរម្ដងៗ ជាជាងការសរសេរទាយយកចម្លើយចុងក្រោយតែម្ដង។
Reinforcement Learning from Human Feedback ជាវិធីសាស្ត្របង្រៀន AI បន្ថែម (Fine-tuning) ដោយឱ្យមនុស្សពិតប្រាកដជាអ្នកដាក់ពិន្ទុ និងរៀបចំចំណាត់ថ្នាក់លើចម្លើយរបស់វា ដើម្បីឱ្យ AI កែតម្រូវអាកប្បកិរិយា និងបង្កើតចម្លើយដែលត្រឹមត្រូវ សុវត្ថិភាព និងស្របតាមចំណង់ចំណូលចិត្តរបស់មនុស្ស។ ដូចជាការបង្ហាត់សត្វសុនខដោយផ្ដល់ចំណីជារង្វាន់នៅពេលវាធ្វើត្រូវ និងកែតម្រូវពេលវាធ្វើខុស ដើម្បីឱ្យវាដឹងពីអ្វីដែលគួរធ្វើនិងមិនគួរធ្វើ។
Hallucination ជាបាតុភូតដែលម៉ូដែល AI បង្កើតព័ត៌មានមិនពិត ឬប្រឌិតរឿងឡើងមកដោយខ្លួនឯងដោយសារខ្វះទិន្នន័យ ឬយល់ច្រឡំបរិបទ ប៉ុន្តែវាសរសេរក្នុងទម្រង់មួយដែលមើលទៅហាក់ដូចជាការពិត និងគួរឱ្យជឿជាក់ខ្លាំង។ ដូចជាមនុស្សម្នាក់ដែលមិនដឹងចម្លើយពិតប្រាកដសោះ ប៉ុន្តែព្យាយាមប្រឌិតរឿងនិយាយយ៉ាងរលូននិងមានទំនុកចិត្តខ្ពស់ដើម្បីឱ្យគេជឿ។
Knowledge Distillation ជាបច្ចេកទេសបង្រួមទំហំម៉ូដែល (Model Lightweight) ដោយផ្ទេរចំណេះដឹងពីម៉ូដែល AI ខ្នាតធំដែលមានភាពស្មុគស្មាញ ទៅកាន់ម៉ូដែល AI តូចមួយទៀត ដើម្បីឱ្យម៉ូដែលតូចនោះមានសមត្ថភាពប្រហាក់ប្រហែល តែដំណើរការលឿននិងចំណាយធនធានកុំព្យូទ័រតិចជាង។ ដូចជាសាស្ត្រាចារ្យម្នាក់ដែលបានសង្ខេបមេរៀនពីសៀវភៅដ៏ក្រាស់កម្រាស់រាប់ពាន់ទំព័រ មកត្រឹមសៀវភៅសង្ខេបចំណុចសំខាន់ៗដើម្បីឱ្យសិស្សងាយយល់និងរៀនឆាប់ចេះ។

៦. ប្រធានបទពាក់ព័ន្ធ (Further Reading)

អត្ថបទដែលបានបោះពុម្ពនៅលើ KhmerResearch ដែលទាក់ទងនឹងប្រធានបទនេះ៖

ប្រធានបទ និងសំណួរស្រាវជ្រាវដែលទាក់ទងនឹងឯកសារនេះ ដែលអ្នកអាចស្វែងរកបន្ថែម៖