আল মাহমুদ ১৯৩৬ সালের ১১ জুলাই ব্রাহ্মণবাড়িয়ার মোড়াইল গ্রামে জন্মগ্রহণ করেন। তার পুরো নাম মীর আব্দুস শুকুর আল মাহমুদ। হাইস্কুলে পড়াশোনাকালেই ঢাকা ও কলকাতার বিখ্যাত সাহিত্য পত্রিকাগুলোতে তার কবিতা প্রকাশিত হতে থাকে। বুদ্ধদেব বসু সম্পাদিত কবিতা পত্রিকায় তার কবিতা প্রকাশিত হলে সমসাময়িক কবি মহলে তাকে নিয়ে আলোচনার সূত্রপাত।
প্রথম প্রকাশিত কাব্যগ্রন্থ লোক লোকান্তর (১৯৬৩)। লোক লোকান্তর ও কালের কলস—মাত্র এই দুটি কাব্যগ্রন্থের জন্য ১৯৬৮ সালে বাংলা একাডেমি পুরস্কারে ভূষিত হন। সোনালি কাবিন (১৯৭৩) তাকে খ্যাতির শীর্ষে পৌঁছায়। ১৯৭১ সালের মুক্তিযুদ্ধের পর তিনি গল্প লেখার দিকে মনোযোগী হন। ১৯৭৫ সালে তার প্রথম ছোট গল্পগ্রন্থ পানকৌড়ির রক্ত প্রকাশিত হয়। ১৯৯৩ সালে বের হয় তার প্রথম উপন্যাস কবি ও কোলাহল।
১৯৭১ সালের মুক্তিযুদ্ধের পরে তিনি দৈনিক গণকণ্ঠ পত্রিকায় সহকারী সম্পাদক হিসেবে যোগ দেন। সাহিত্যপ্রতিভার স্বীকৃতিস্বরূপ তিনি একুশে পদকসহ বেশ কিছু সাহিত্য পুরস্কারে ভূষিত হয়েছেন। এর মধ্যে ফিলিপস সাহিত্য পুরস্কার, অগ্রণী ব্যাংক শিশুসাহিত্য পুরস্কার, ফররুখ স্মৃতি পুরস্কার ও জীবনানন্দ দাশ স্মৃতি পুরস্কার অন্যতম। ব্যক্তিগত জীবনে তিনি পাঁচ পুত্র ও তিন কন্যার জনক। মরহুমা সৈয়দা নাদিরা বেগম তার স্ত্রী।