Die Gründung des Rittergutes geschah mit der Kolonisation des Ortes „Irfersgrün“ zwischen 1200 und 1250. Seit je her stand das Dorf und das Kirchspiel in enger Verbindung mit dem Rittergut oder dem „Herrenhof“, wie er auch genannt wurde. Die Einwohner von Irfersgrün wurden als „Untertanen“ bezeichnet. Heute ist das unter Denkmalschutz stehende Rittergut Irfersgrün ein beliebtes Ausflugsziel mit Pension, Gaststätten- und Saalbetrieb.
Seit etwa 1550 hatte die Jeweilige Besitzer Erb-, Lehns- und Patronatsrecht. Sie waren „Schriftsässig“, das heißt Sie konnten die Niedere Gerichtsbarkeit ausüben. Bei der Aufteilung des Grund und Bodens zu Zeit der Kolonisation des Vogtlandes wurde das Anzulehnende Rittergut mit 10 Königshufen (etwa 350 ha) bedacht. Das war ungefähr das 10-fache, was ein einfacher Siedler für sich und seine Familie erhielt.
Der Älteste dem Namen nach bekannte Besitzer des hiesigen Rittergutes wird in einer Urkunde vom 24.06.1274 als Eberhartus von Ehrenphorsgrüne erwähnt. In seiner langen wechselvollen Geschichte wechselten rund 30 mal die Besitzer des Rittergutes.
Seit dem 21.05.1805 gehört das Rittergut dem Geschlecht der „von Arnim“ an. Der letzte Besitzer war seit 1920 Baron Sigurd Alom Erik von Arnim. Er wurde 1945 nach Kriegsende in ein Internierungslager auf die Insel Rügen gebracht, wo er an Lungenentzündung verstarb. Das Rittergut wurde im Verlauf der Bodenreform 1945 unter landlosen Bauern aufgeteilt.
Es war später volkseigenes Gut (VEG) und Ausbildungsstätte für Mähdrescherfahrer.
Ab 1991 begann für das Rittergut ein neues Zeitalter. Sabine und Friedrich Neef erwarben nach und nach Teile Ritterguts und sanierten diese. Zu den erworbenen Gebäuden gehörten vor allem das alte Herrenhaus (heute Gaststätte "Zum Rittergut"), die ehemalige Scheune (später Kulturhaus, heute "Rittergutssaal") und die ehemalige Wagen- und Kutschenremise (später Internat, heute Pension). Familie Neef etablierte in über drei Jahrzehnten liebevoller und aufopferungsvoller Arbeit einen weit über die Region hinaus beliebten Gaststättenbetrieb mit Pension und Saalbetrieb.
Im Juli 2024 erfolgte erneut ein Besitzerwechsel. Der neue Betreiber, der im April 2023 gegründete Verein "spirituell-er-leben e.V.", hat auch die Mitarbeiter übernommen. Sein Fokus liegt aktuell auf einer sorgfältigen und besonnenen Übernahme, so dass der Betrieb wie gewohnt weiterläuft und die anhaltenden Anfragen und Wünsche der Gäste in gewohnter Rittergut-Qualität befriedigt werden können. In den nächsten Jahren soll parallel zum Gaststättenbetrieb zusätzlich ein Seminarbetrieb errichtet und damit auch neue Arbeitsplätze geschaffen werden.