বাংলা ভাষায় AI: আমরা কোথায় দাঁড়িয়ে

· 2 min read · Syed Omar Faruk Towaha
বাংলা ভাষায় AI: আমরা কোথায় দাঁড়িয়ে

বাংলা পৃথিবীর সবচেয়ে বেশি মানুষের বলা ভাষাগুলোর একটা: বাংলাদেশ, পশ্চিমবঙ্গ, আসাম, ত্রিপুরা আর সারা বিশ্বের প্রবাসী মিলিয়ে কোটি কোটি মানুষ। অথচ AI চ্যাটবটে বাংলায় প্রশ্ন করলে প্রায়ই উত্তরটা কেমন যেন অনুবাদ-অনুবাদ লাগে, কখনো বানান ভুল, কখনো প্রসঙ্গ ভুল।

কেন এমন হয়?

সমস্যা ১: ডেটার অভাব

বড় ভাষা মডেল শেখে ইন্টারনেটের বিপুল লেখা থেকে। আর ইন্টারনেটের লেখার বড় অংশ ইংরেজিতে।

Data imbalance
মোটামুটি ধারণা দেওয়ার জন্য; আসল সংখ্যা উৎসভেদে অনেক আলাদা।

বাংলায় কথা বলা মানুষের তুলনায় অনলাইনে মানসম্মত বাংলা লেখা অনেক কম। যা আছে, তার বড় অংশ সংবাদ, সামাজিক মাধ্যমের কমেন্ট, আর মেশিন-অনুবাদ করা লেখা। বৈজ্ঞানিক, কারিগরি, আইনি বা চিকিৎসা বিষয়ে বাংলা লেখা আরও কম।

সমস্যা ২: টোকেন খরচ

অনেক মডেলের টোকেনাইজার মূলত ইংরেজি দিয়ে প্রশিক্ষিত। তাই একই কথা বাংলায় বলতে অনেক বেশি টোকেন লাগে। ফলে খরচ বেশি, গতি কম, আর একবারে কম লেখা মনে রাখতে পারে।

সমস্যা ৩: ভাষার বৈচিত্র্য

বাংলার অনেক রূপ: প্রমিত বাংলা, চলিত-সাধু, আঞ্চলিক ভাষা (সিলেটি, চাটগাঁইয়া, নোয়াখালী...), বাংলাদেশ আর পশ্চিমবঙ্গের শব্দ ও বানানের পার্থক্য, আর ব্যাপকভাবে ব্যবহৃত "বাংলিশ" বা রোমান হরফে বাংলা ("ami bhalo achi")। একটা মডেলকে এসব বুঝতে হলে সব ধরনের ডেটা লাগে।

সমস্যা ৪: মূল্যায়নের অভাব

ইংরেজির জন্য হাজারো মানদণ্ড (benchmark) আছে যেগুলো দিয়ে মডেলের মান মাপা হয়। বাংলার জন্য এমন মানসম্মত পরীক্ষা তুলনামূলক কম। যা মাপা যায় না, তা উন্নত করাও কঠিন।

ভালো খবর

পরিস্থিতি বদলাচ্ছে:

আমরা কী করতে পারি

লিখুন, বাংলায়। ব্লগ, উইকিপিডিয়া নিবন্ধ, টিউটোরিয়াল, ব্যাখ্যা। মানসম্মত বাংলা লেখা যত বাড়বে, ভবিষ্যতের মডেল তত ভালো হবে। (এই ব্লগের বাংলা পোস্টগুলোও সেই চেষ্টার ছোট একটা অংশ।)

ডেটা তৈরিতে অংশ নিন। অনেক প্রকল্প স্বেচ্ছাসেবীদের কণ্ঠ রেকর্ড বা অনুবাদ যাচাইয়ের সাহায্য চায়। দশ মিনিটের অবদানও কাজে লাগে।

গবেষণা করুন। বাংলাদেশের ছাত্রছাত্রীদের জন্য বাংলা NLP একটা দারুণ গবেষণার ক্ষেত্র, যেখানে বিশ্বমানের কাজ করার সুযোগ আছে আর প্রতিযোগিতা ইংরেজির তুলনায় কম।

মডেলকে প্রতিক্রিয়া দিন। ভুল উত্তর পেলে রিপোর্ট করুন। অনেক কোম্পানি এই প্রতিক্রিয়া দিয়ে মডেল উন্নত করে।

কেন এটা জরুরি

AI যদি শুধু ইংরেজিতে ভালো হয়, তাহলে যারা ইংরেজি ভালো জানেন না, তারা এই প্রযুক্তির সুবিধা থেকে পিছিয়ে পড়বেন: শিক্ষা, স্বাস্থ্য তথ্য, সরকারি সেবা, ব্যবসা। ভাষার কারণে প্রযুক্তির বৈষম্য তৈরি হওয়া উচিত না।

১৯৫২ সালে আমরা ভাষার জন্য রক্ত দিয়েছিলাম। আজ ভাষার জন্য লড়াইটা অন্যরকম: ডেটা, গবেষণা আর লেখার মাধ্যমে। এই লড়াইয়ে প্রত্যেকের কিছু না কিছু করার আছে।

// related

// prefer the terminal?

Open the terminal blog and type read bangla-bhashay-ai-amra-kothay.