Hicretin 20. (m. 651) yılında Kûfe kadılığına tayin olundu. Orada hazine muhafızlığı da yaptı. Hazreti Ömer Kûfe halkına yazdığı mektûbta, “Ben size Ammar İbn-i Yâser’i Emîr (vâli) ve Abdullah İbn-i Mes’ûd’u muallim ve vezir olarak, gönderdim. Bunlar Eshâb-ı Bedir’dendir. Siz onlara iktidâ edin (uyun) ve sözlerine itaat edin. İbni Mes’ûd’u yanımda alıkoymayarak; sizi kendime tercih ettim” demiştir. İbni Mes’ûd ( radıyallahü anh ) üzerine aldığı vazîfeyi son derece liyâkat ve ehliyet ile ifâ etti. Bu kadılığı sırasında zuhur eden bir çok hadîselere fetvâ vermiş, ictihâd buyurmuştur. İbni Mes’ûd ( radıyallahü anh ) Hazreti Osman zamanında hem kadılık hem de beyt-ül-mâl emînliği (hazinedarlık) yaptı. O zaman İranlılarla, Türkistanlılarla ve Bizanslılarla çarpışan bütün İslâm askerlerinin her türlü ihtiyâçları Kûfe’den tedarik edilirdi. İbni Mes’ûd ( radıyallahü anh ) bütün bunların ihtiyâçlarını gayet güzel bir şekilde idâre ve temin etmiş, zekâsının, teşkilât kurmaktaki kuvvetini ve idârecilikteki istidâdını ortaya koymuştur. Hazreti Osman zamanının ikinci yarısında Kûfe’de fitne yayılınca vazîfeden alındı. Hazreti Osman zamanında Hicaz’a döndü.Ebû Zer ( radıyallahü anh ) zahid (dünyâdan uzak) bir hayat yaşadığından Medine’de refah artınca, Medine’yi terk etmiş, Rebeze’de ikâmet etmişti. Ağır hastalanmış vefâtı yaklaşmıştı. Mübârek hanımı diğer bir rivâyetle de kızı yanında ağlıyordu. Ebû Zer ( radıyallahü anh ) niçin ağladığını sorduğunda, “Ağlıyorum, çünkü bir fâidem dokunmadıktan başka, ölürsen seni kefenleyecek bir şeyim de yok” dedi. Bu cevap karşısında Ebû Zer ( radıyallahü anh ) üzülmemesini, Resûlullah ( aleyhisselâm )’in kendisinin yalnız öleceğini ve bir kısım mü’minlerin gelip cenâzesini kaldıracaklarını haber verdiğini söyleyip, hanımına: “Sen kalk, yola bak dediğimin doğru olduğunu göreceksin” dedi. Ebû Zer ( radıyallahü anh )’ın hanımı buna pek inanmadı. Çünkü bulundukları yer pek ıssız idi. Hac mevsimi ise zaten değildi. Fakat kalkıp yola baktığında bir cemâatin geldiğini gördü. Ebû Zer hazretlerinin hanımının yanına gelip, “Burada yalnız yaşayan bir zât tanıyor musun?” diye sordular. Kimi aradıkları sorulunca da “Ebû Zer” dediler. Ebû Zer ( radıyallahü anh )’ın hanımı da gelenleri Ebû Zer’e ( radıyallahü anh ) götürdü. O gün vefât etti. Techîz ve tekfîn işleri yapıldı. Bunları yapan Abdullah İbni Mes’ûd ( radıyallahü anh ) idi.
Abdullah bin Mes’ûd altmış yaşları civarında hastalandı. Rüyasında Peygamberimizi ( aleyhisselâm ) görmüş, Resûlullah onu kendi tarafına davet etmiş, o da bu daveti büyük bir şevkle kabûl etmişti. Bundan çok az bir zaman sonra 32 (m. 652)’de vefât etti. Abdullah bin Zübeyr ( radıyallahü anh ) ve oğlu Abdullah techîz ve tekfîn etmişler ve bütün vasıyyetlerini yerine getirmişlerdir. Cenâze namazını Hazreti Osman kıldırmış, Cennet-ül-Baki kabristanında Osman bin Mazun ( radıyallahü anh ) da kabre koymuştur.
Abdullah bin Mes’ûd, Resûlullahın huzûrunda, meclislerinde sık sık bulunurdu. O derece ki Resûl-i Ekrem’in Ehl-i Beyt’inden olduğu sanılırdı. Resûlullahın eşyalarını taşırdı. Onlara hürmetinden çok güzel giyinirdi. Resûlullah ( aleyhisselâm )ın husûsi hizmetinden ve O’na yakınlığından meclisine müsâdesiz girerdi. Her emrini yerine getirirdi. Ebû Musel Eş’arî ( radıyallahü anh ): “Medine’de Resûlullah’ın hizmetinde en çok gördüğüm zattan biri İbni Mes’ûd idi. Onu Resûlullah’ın yanında o kadar çok gördüm ki, Onu Resûlullah’ın ailesinden zannederdim.” buyurmuştur.
Resûlullah ( aleyhisselâm ) Onun için, “Sen muallim olacak bir gençsin” buyurmuştur. 70 sûreyi Resûlullahın mübârek ağızlarından işiterek ezberlemiştir. Âsım, Hamza, Kısâi, Halef, A’meş gibi meşhûr kırâat imamlarının silsilesi İbni Mes’ûd’da son bulmaktadır. Peygamber efendimiz, Abdullah bin Mes’ûd’u Kur’ân-ı kerîm öğretenlerin başında sayardı.“Kur’ân-ı kerîm’i, İbni Mes’ûd, Sâlim, Ubey bin Ka’b ve Muâz bin Cebel’den öğrenin!” buyururdu. Resûl-i Ekrem Kur’ân-ı kerîm’i ondan dinlemeyi çok severdi. Sesi çok güzel idi. Birgün “Nisa sûresini oku. Dinleyelim” buyurdu. İbni Mes’ûd, “Kur’ân-ı kerîm size indi. Biz onu sizden okuduk ve sizden öğrendik” dedi. Resûl-i Ekrem, “Evet öyledir. Fakat ben Kur’ân-ı kerîmi başkasından dinlemeyi severim” buyurdu. İbni Mes’ûd okumaya başladı. 41. âyet-i kerîme olan, “Halleri ne olacak! Her ümmetten şahid getireceğimiz, Seni de onların üzerine şâhid getireceğimiz zaman...” âyet-i kerîmesine gelince, Resûlullah’ın mübârek gözlerinden yaşlar boşandı.
Haftada bir defa Kur’ân-ı kerîmi hatmederdi. Hadîs-i şerîfde, “Kur’ân-ı kerîmi üç günden önce hatm eden, ma’nâsını anlıyamaz” buyuruldu. Hadîs-i şerîf, bir namazı hatm ile kılmağı yasaklamamaktadır. Resûlullah ( aleyhisselâm ) sual edenlerin, hâline ve işine uygun bir zamanda hatm etmesini emr buyururdu.