Yozgat Müzesi, bugün Bozok Üniversitesi Rektörlük Binası olarak kullanılan tarihi Cumhuriyet Mektebinin bahçesinde bulunan tek katlı binada 13 Nisan 1977 tarihinde, kendisi de Yozgatlı olan Nevşehir Müzesi Asistanı Arslan TORUN’un Yozgat’a atanmasıyla Müze Memurluğu olarak çalışmalarına başlamış ve Müze Müdürlüğünün çekirdeği oluşturulmuştur.

       Küçük bir bina olan bu yapıda öncelikle vatandaşlardan hibe, satın alma, araziden toplama ve Ankara Etnoğrafya Müzesinden devren alınan eserlerle ilk koleksiyonlar oluşturulmaya başlanmıştır. Aynı zamanda eserlerin teşhirine uygun bir Müze binası arayışına girilmiş, 1979 yılında Kültür Bakanlığı tarafından kamulaştırılan tescilli Nizamoğlu Konağı binası Müze olarak açılması için tahsis edilmiştir. Konağın hayli yıpranmış olması sebebiyle 1980 yılında onarım çalışmaları başlatılmış, 1984 yılı sonunda onarım ve teşhir tanzim çalışmaları tamamlanarak 1985 yılında Müze olarak hizmet vermeye başlamıştır. Bu arada Müze binasının idari hizmetlere uygun olmaması da düşünülerek hemen Nizamoğlu Konağının bitişiğinde bulunan iki katlı ahşap bina alt katı idare, üst katı lojman olarak kullanılmak üzere 1983 yılı sonunda kamulaştırılmış ve Müze binasıyla birlikte hizmete girmiştir. Müzenin kurularak ziyarete açılmasında Arslan TORUN’un çok büyük emek ve çabası bulunmaktadır. 1985 yılında hizmete girdikten sonra yeni gelen uzman personel ile kurtarma kazıları ve arazi çalışmalarıyla Müze eser bakımından zenginleştirilmiştir. Nizamoğlu Konağı esas itibarıyla bir Etnoğrafya Müzesi olarak açılmıştır.       

       1980-81 yıllarında kamulaştırması yapılan Karslıoğlu Konağı da o yıllarda Arkeoloji Müzesi olarak düşünülmüş ve buna göre restorasyon, teşhir tanzim çalışmaları yapılmış, ancak hiçbir zaman bir arkeoloji müzesi olarak açılamamıştır. Bunun sebebi ise uzman personel ve yardımcı hizmetler sınıfı personel istihdamı sağlanamaması, Karslıoğlu Konağının aslında konum ve koruma durumu açısından arkeoloji müzesine uygun olmaması ve bu sebeplerle muhtemelen biraz da ihmalkâr davranmak olarak açıklanabilir. 2001 yılında konağın İl Müdürlüğüne devredilmesi, daha sonra Özel İdareye tahsisinin sağlanması ile arkeoloji müzesine dönüştürülmesinden tamamen vazgeçilmiştir. Yozgat’ta bir arkeoloji müzesi yapılması için 2005 yılında yaklaşık 4400 metrekare büyüklüğünde bir arsa tahsisi sağlanmışsa da henüz bir çalışma gerçekleşmemiştir.

      1985 yılından 2008 yılına kadar Yozgat Müzesi etnoğrafik teşhir özelliklerini korumuş, son yapılan düzenlemelerle ilin arkeolojik potansiyelini yansıtan üç salon ziyaretçilerin beğenisine açılmıştır. Uzman personel yetersizlikleri sebebiyle zaman zaman Müzecilik anlamında verimli çalışmalar yapılamamış, ancak son birkaç yılda yapılan atamalarla uzman kadrosu güçlenmiş ve daha kaliteli bir müzeciliğe ulaşma amacına yönelik çalışmalar gerçekleştirilmeye başlanmıştır.