Tatkala ajal menjemput Khalifah Abdul Malik bin Marwaan maka iapun memerintahkan untuk dibukakan pintu istana, tiba-tiba ada seorang penjaga istana yang sedang mengeringkan bajunya di atas batu, maka iapun berkata, “Siapa ini?”, maka mereka menjawab, “Seorang penjaga istana”. Maka iapun berkata, “Seandainya aku adalah seorang penjaga istana…”. Ia juga berkata, “Seandainya aku adalah budak milik seorang yang tinggal di pegunungan Tihaamah, lantas akupun menggembalakan kambing di pegunungan tersebut”.
Di antara perkataan terakhir yang diucapkannya adalah,
اللَّهُمَّ إِنْ تَغْفِرْ تَغْفِرْ جَمًّا، لَيْتَنِي كُنْتُ غَسَّالاً أَعِيْشُ بِمَا أَكْتَسِبُ يَوْماً بِيَوْمٍ“Yaa Allah, jika engkau mengampuniku, maka berilah pengampunan-Mu yang luas, seandainya aku hanyalah seorang...