Keberadaan Perpustakaan Universita Negeri Semarang yang kini menempati Gedung G. Kampus Sekaran, tidak lepas dari perjalanan lembaga yang menaunginya yaitu sejak awal berdirinya IKIP Semarang. Dulu hanya merupakan Kursus B-I dan Kursus B-II,yang merupakan Lembaga Pendidikan model Belanda bernama Middelbaar Onderwijzer A-Cursus (MO-A) di tahun 1951. Pada saat itu perpustakaan sudah terbentuk dan menempati salah satu ruangan yang kampusnya berada di Jl. Bojong (sekarang Jl. Pemuda) Semarang.
Dari Jl. Bojong perpustakaan pindah ke Jl. Mugas pada saat integrasi ke Fakultas Keguruan dan Ilmu Pendidikan (FKIP) UNDIP dan menempati salah satu ruangan kecil, koleksinya pun masih terbatas pada buku-buku yang menunjang FKIP. Tahun 1970 pindah lagi ke Kampus Jl. Kelud Raya bersamaan dengan lepasnya FKIP UNDIP menjadi IKIP Semarang. Perpustakaan IKIP Semarang menempati salah satu ruangan di FKT,yang saat itu koleksinya sudah mulai bertambah.
Untuk menunjang semua program studi yang ada, pada tahun 1977 menempati gedung perpustakaan 3 lantai yang berdiri di tengah-tengah kampus, kemudian pada tahun 1985 bertambah lagi satu Gedung Perpustakaan yang berada di Kampus Bendan Ngisor (yang sekarang dipakai sebagai Perpustakaan Pasca Sarjana).
Sesuai pengembangan IKIP Semarang di wilayah Kelurahan Sekaran Kecamatan Gunungpati, perpustakaan mengikuti untuk melayani penggunanya, perpindahan ini dilakukan secara bertahap. Pada tahun 1992 perpustakaan menempati salah satu ruangan di Gedung B2 untuk melayani kebutuhan pengguna dari FPMIPA, dengan koleksi yang terbatas yaitu buku-buku golongan 500. Tahun 1993 membuka lagi satu layanan sirkulasi pada salah satu ruangan di FPOK yang diperuntukkan bagi pengguna dari FPOK, FPIPS, FIP dan FKT. Koleksi yang disediakan sudah hampir semua golongan kecuali golongan 500.
Tahun 1995 perpustakaan yang berada di Kampus Kelud pindah di dua lokasi yaitu di gedung C2 (FPIPS) dan gedung D4 (FPBS) dan tahun 1997 barulah perpustakaan yang menyebar di lima tempat tersebut dijadikan satu dan menempati gedung baru berlantai 3. Sejak tanggal 30 Maret 2001 bersamaan dengan perubahan status IKIP menjadi Universitas maka sejak saat itulah sampai sekarang bernama UPT Perpustakaan Universitas Negeri Semarang
