Kolej Seroja dibina pada tahun 1970an dan dikenali sebagai Asrama 3. Ia merupakan asrama kedua dibina selepas Kolej Cempaka/Kolej Kenanga yang juga dikenali sebagai Asrama 1 dan Asrama 2 sebelum ini. Namun pada tahun 1980, YBhg. Tan Sri Awang Had Salleh telah menukar Asrama 3 kepada Kolej Seroja sempena mengambil nama bunga. 

Kolej Seroja mempunyai 3 blok iaitu Kolej Seroja 1, Seroja 2, Seroja 3 dan terletak berhadapan dengan Fakulti Pengurusan Hotel & Pelancongan dan Hotel UiTM di laluan pintu masuk utama ke Universiti Teknologi MARA.