Bis in das 17. Jahrhundert hinein war das Gut Retzow im Besitz der Familie von Kerkberg. Durch Verpfändung gelangte es an die Familie von Barnevitz. Gustav von Lehsten, der 1864 ein Buch über den Adel in Mecklenburg verfasst hatte, erwähnte das Geschlecht allerdings schon nicht mehr. Die Verpfändung konnte dann nicht mehr ausgelöst werden.

Als im 18. Jahrhundert viele Güter in Mecklenburg ihre Besitzer wechselten, gelangte auch Retzow an die Familie der Freiherrn von Hammerstein. Der Regierungsrat Friedrich Werner Ludwig Freiherr von Hammerstein auf Retzow wurde 1790 in die mecklenburgische Ritterschaft aufgenommen. Er ließ – möglicherweise mit Unterstützung des namhaften Baumeisters Christian Friedrich Hansen – auf dem älteren Vorbau das schöne Herrenhaus errichten.

Der Bau besticht durch klare architektonische Linien. Der hofseitige Mittelrisalit mit den vier toskanischen Säulen als Portikus weist ein Gebälk mit dorischen Triglyphenfeldern und einem Zahnschnittgesims auf. Den darüber liegenden Dreiecksgiebel verziert ein Lünettenfenster. Eine Freitreppe führt zum dreiachsigen Eingang. Parkseitig wird der Mittelrisalit durch vier Kolossalpilaster betont. Sie schließen unter der Traufkante des Daches mit einem Architrav ab. Gusseiserne Säulen stützen die Terrasse. Von ihr führt eine doppelläufige Freitreppe in den sieben Hektar großen Park.

Als man 1917 im Zuge des ersten Weltkriegs in der Nähe des Gutes einen Flugplatz errichtete, wurde ein erheblicher Teil des Besitzes enteignet. Den Resthof mit dem Herrenhaus kaufte 1926 der Holzhändler Joseph Törck, der vor allem an den Wäldern interessiert war. 1935 erfolgte die Erweiterung des Flugplatzes. 1937 musste die Familie Törck den Besitz an die Luftwaffe abgeben, weil das Herrenhaus als Lehranstalt der deutschen Luftfahrt betrieben werden sollte.

 Ab 1943 wurde am Dorfeingang in Retzow ein Außenlager des KZ Ravensbrück eingerichtet. Die Frauen mussten unter unmenschlichen Bedingungen in der Luftwaffenerprobungsstelle und im Munitionswerk bei Malchow arbeiten. Heute ist von dem Lager nicht mehr viel zu sehen, es gibt aber einen Bunker sowie eine Gedenkstätte, die daran erinnern.

Nach Kriegsende diente Schloss Retzow Flüchtlingen als Unterkunft. Von 1951 bis 1994 wurde es als Alten- und Pflegeheim genutzt. Danach stand es lange leer; der Verfall drohte. 2012 erwarb der dänische Geschäftsmann Lars Fogh das Anwesen und ließ es in hoher Qualität für die touristische Nutzung restaurieren und renovieren. 2016 eröffnete es als luxuriöse Unterkunft mit 13 individuell eingerichteten Appartements und elegante Kulisse für Hochzeiten und andere Festivitäten.  

Der Ortsname Retzow ist übrigens slawischen Ursprungs und könnte von reka = Fluß oder recica = Bach abgeleitet sein. Er wird 1237 erstmals urkundlich erwähnt – in einem Dokument des Fürsten Niklaus von Rostock, der darin die Grenzen des Klosters Dobbertin bestätigte.

Die Kirche in Retzow wurde von der Familie Hammerstein 1791 abgerissen, die Glocke aus dem 13. Jahrhundert kam mit dem Neubau einer Kirche nach Rechlin. Der Friedhof des Ortes ist noch in Betrieb, auch von der Familie von Hammerstein befinden sich hier drei Grabsteine.