দারিদ্র্য কখনো পেছন ছাড়েনি শাহ আবদুল করিমের। ধল গ্রামে যখন প্রথম ধলবাজার হলো, তখন বিভিন্ন জায়গা থেকে দোকানদারেরা এলেন সেখানে। ভুসিমালের দোকানদার এক মহাজন সেই বর্ষার পর শাহ আবদুল করিমকে কাজ দিলেন। যে বেতন পেতেন, তা বাবা-মাকে দিতেন তিনি।

সেটা ব্রিটিশ শাসনামল। বড়দের শিক্ষার জন্য নাইট স্কুল করা হলো। তৈমুর চৌধুরী সেখানে মাস্টারি করতেন। সুযোগ পেয়ে শাহ আবদুল করিম সেই স্কুলে ভর্তি হলেন। কিন্তু গুজব রটিয়ে দেওয়া হলো, যারা স্কুলে পড়বে, তাদের পাঠিয়ে দেওয়া হবে যুদ্ধে। ভয়ে কেউ আর স্কুলে আসে না। স্কুল থেকে বড়দের পড়ার মতো একটা বই পেয়েছিলেন তিনি। সেটাই পড়ে যেতে লাগলেন।
সে সময় গান গাওয়া ও উপস্থিত রচনা করার নেশায় পেয়ে বসল তাঁকে। ওস্তাদ করম উদ্দিনের কাছে গেলেন। সাধ হলো বাউল হবেন। দোতারা বাজিয়ে ভক্তিমূলক গান গাইতেন ওস্তাদ। ওস্তাদের ছেলে আসদ্দর আলীও গান করেন একসঙ্গে।

ঈদের নামাজ পড়তে মসজিদে গেলেন। দুই মুরব্বি মসজিদের ইমামকে জিজ্ঞেস করলেন, ‘গান গাওয়া কি ঠিক?’

ইমাম যা বললেন, তাতে বোঝা গেল, ধর্মে গান গাওয়া মানা। সেই মুরব্বিরা শাহ আবদুল করিমকে বললেন, ‘গান ছাড়বে কি না ছাড়বে, বলো সত্যি করে।’ ইমাম সাহেব বললেন, ‘তওবা করে বেদাতি কাজ ছাড়ো। সবার সামনে বলো, আমি এসব করব না।’

শাহ আবদুল করিম বললেন, ‘সত্য বলি, গান আমি ছাড়ব না। জামাতে ঈদের নামাজ পড়তে এসেছি। এখানে মিথ্যা বলতে চাই না।’ যখন ওই দুই মুরব্বি হাঙ্গামা বাধানোর তালে ছিলেন, তখন বয়স্ক আরেক মুরব্বি বললেন, ‘ঈদের জামাতে কেন গানের বিচার? আমরা এক গ্রামে হিন্দু-মুসলমান বাস করি।

কে না গেয়েছি জারি-সারি গান? নামাজ পড়তে এসেছেন, নামাজ পড়েন।’ দয়ালকে স্মরণ করে আবদুল করিম তাঁর জীবনের নৌকা ছেড়ে দিলেন অকূলপাথারে।

সূত্র: শাহ আবদুল করিম, আত্মকথা