حضرت خواجہ فخرِ جہاں علیہ الرحمۃ اپنے مریدوں کو عورتوں سے گانا سننے کی اجازت نہیں دیتے تھے۔ چنانچہ جب آپ کو اطلاع ملی کہ حافظ غلام رسول نے ایک مراسن عورت سے گانا سنا ہے تو آپ اس پر سخت برہم ہوئے اور فرمایا:
" حافظ جیو ! تو مرا چہ مقرر کردی ، من از آں ملایان ہستم کہ شیخ منصور را بر دار کردہ بودند...