১৯২১ সালে ঢাকা বিশ্ববিদ্যালয় প্রতিষ্ঠিত হওয়ার পর এটি ঢাকা বিশ্ববিদ্যালয়ের শিক্ষকদের বাসভবন হিসেবেও ব্যবহৃত হয়। এ সময়ে অনেক বিখ্যাত ব্যক্তিরা এ ভবনে অতিথি হিসেবে অবস্থান করেন। তার মধ্যে বাংলার দুই মহান সাহিত্যস্রষ্টা বিশ্বকবি রবীন্দ্রনাথ ঠাকুর ও বিদ্রোহী কবি কাজী নজরুল ইসলাম উল্লেখযোগ্য। ঢাকা বিশ্ববিদ্যালয়ের উপাচার্য রমেশচন্দ্র মজুমদার এখানে অবস্থানকালে ১৯২৬ সালের ফেব্রুয়ারি মাসে রবীন্দ্রনাথ ঠাকুর দ্বিতীয়বার ঢাকায় আসেন। তখন বিশ্ববিদ্যালয়ের অতিথি হিসেবে বর্ধমান হাউসে কয়েক দিন তিনি অবস্থান করেন। এ নিয়ে বাংলা একাডেমির সাবেক মহাপরিচালক শামসুজ্জামান খানের ‘বাংলা একাডেমির বর্ধমান হাউসে রবীন্দ্রনাথের কয়েকটি দিন’ শিরোনামে একটি নিবন্ধ রয়েছে। 

ঢাকা বিশ্ববিদ্যালয়ের শিক্ষক অধ্যাপক ডক্টর কাজী মোতাহার হোসেন ভবনটিতে বসবাসের সময়ে তাঁর বন্ধু বিদ্রোহী কবি নজরুল ইসলাম প্রথমবার ঢাকায় আসেন ১৯২৬ সালের ২৪ জুন। তিনি ২৭ ও ২৮ জুন অনুষ্ঠিত মুসলিম সাহিত্য সমাজের সভায় যোগ দিতে ঢাকায় আসেন। তিনি বর্ধমান হাউসে কয়েক দিন অতিথি হয়েছিলেন। ১৯২৮ সালের ফেব্রুয়ারি মাসের প্রথম সপ্তাহে কবি দ্বিতীয়বার ঢাকায় আসেন একই সংগঠনের অতিথি হিসেবে। অবস্থান করেন বর্ধমান হাউসে। এখানে বসে কবি রচনা করেন বাংলাদেশের রণসংগীত হিসেবে খ্যাত ‘চল্ চল্ চল্’ গানটি। 
বর্ধমান হাউসে কবি নজরুলের সঙ্গে প্রথম পরিচয় হয় ঢাকা বিশ্ববিদ্যালয়ের ছাত্র-শিক্ষক এবং কবি বুদ্ধদেব বসুর সঙ্গে। এবং পরিচয় হয়েছিল বিশ্ববিদ্যালয়ের প্রথম মুসলিম ছাত্রী ফজিলাতুন্নেসার সঙ্গে। ফজিলাতুন্নেসা বিশ্ববিদ্যালয়ে প্রথম গণিতশাস্ত্রে প্রথম শ্রেণিতে প্রথম হয়েছিলেন। তিনি ছিলেন কাজী মোতাহার হোসেনের দূরসম্পর্কের বোন। কবি নজরুল একই বছর জুন মাসে পুনরায় ঢাকায় আসেন। এবার তিনি বনগ্রামের বিক্রমপুরের সোম জমিদার পরিবারের মেয়ে রানু সোম নামে এক ছাত্রীকে গান শেখানো নিয়ে ব্যস্ত সময় কাটান। পরবর্তী সময় কবি বুদ্ধদেব বসুর সঙ্গে রানু সোমের বিয়ে হয়। বিয়ের পর তিনি ‘প্রতিভা বসু’ নামে প্রতিষ্ঠিত লেখক হিসেবে খ্যাতি অর্জন করেন। এছাড়া  ১৯৪৫ সালে ভারত উপমহাদেশের প্রখ্যাত ওস্তাদ আলাউদ্দিন খাঁ এই বর্ধমান হাউসে অতিথি হিসেবে কিছু দিন বসবাস করেন।
 

১৯৪৭ সালে পাকিস্তান সৃষ্টির পর বর্ধমান হাউস পূর্ব বাংলার মুখ্যমন্ত্রীর বাসভবন হিসেবে ব্যবহৃত হয়। ১৯৪৭ সালের১৪ আগস্ট থেকে ১৯৫৪ সালের এপ্রিল পর্যন্ত এটি পূর্ববাংলা সরকারের মুখ্যমন্ত্রীর সরকারি বাসভবন ছিল। প্রথম মুখ্যমন্ত্রী নাজিমুদ্দিন ও দ্বিতীয় মুখ্যমন্ত্রী নূরুল আমিন এ বাড়িতে বাস করেন। ১৯৫২ সালে ভাষা আন্দোলনের মিছিলে গুলি চালানোর হলে মুখ্যমন্ত্রীর আবাসস্থল হিসেবে এই বাড়িটি জনরোষে পড়ে। ১৯৫৪ সালে যুক্তফ্রন্ট নির্বাচনে জয়ী হয়। যুক্তফ্রন্টের প্রস্তাবিত ২১ দফার একটি ছিল, বর্ধমান হাউসকে বাংলা ভাষার গবেষণাগার বানানো। এরপর ১৯৫৫ সালের ৩ ডিসেম্বর মুখ্যমন্ত্রী আবু হোসেন সরকার এখানে বাংলা একাডেমি উদ্বোধন করেন। 
এভাবে সৃষ্টি হয় প্রাণের প্রতিষ্ঠান ‘বাংলা একাডেমি’।