Towarzystwo Przyjaciół Brwinowa (TPB) powstało 7 kwietnia 1973 roku z inicjatywy grupy zaangażowanych mieszkańców, którzy spotkali się w sali konferencyjnej ówczesnego Prezydium Rady Narodowej w Brwinowie (obecnie Urząd Gminy). Na spotkaniu wybrano pierwszy zarząd z Julianem Faszczewskim jako prezesem, a także przyjęto wytyczne dla przyszłej działalności. Towarzystwo zostało oficjalnie zarejestrowane przez Urząd Wojewódzki w Warszawie 24 lipca 1973 roku. Celem TPB od początku była ochrona dziedzictwa kulturowego i krajobrazowego Brwinowa oraz wspieranie działań edukacyjnych i kulturalnych. Jednym z pierwszych, a zarazem najważniejszych przedsięwzięć była odbudowa zabytkowego dworku Zagroda, w którym od 1911 roku mieszkał pisarz Zygmunt Bartkiewicz z żoną Eugenią – malarką. Dzięki wsparciu władz wojewódzkich i konserwatora zabytków, a także ogromnemu zaangażowaniu społecznemu członków TPB, pozyskano fundusze na wykup dworku i przeprowadzono jego gruntowny remont. Dokumentację opracował Jan Grudziński syn Władysława, architekt i mieszkaniec Brwinowa, który również nadzorował wszystkie prace.

Zrekonstruowany dworek wraz z parkiem został 3 grudnia 1974 roku wpisany do rejestru zabytków. W 1975 roku Wojewódzki Konserwator Zabytków zdecydował o nadaniu mu funkcji muzealno-oświatowej oraz siedziby TPB. Towarzystwo otrzymało również status Społecznego Opiekuna Zabytku.

W 1983 roku, z okazji 10-lecia istnienia, TPB otrzymało od mieszkańców sztandar z Orłem Białym, dewizą „Polsce służ” oraz godłem Towarzystwa – dębem. Sztandar ten towarzyszył członkom stowarzyszenia podczas wielu uroczystości, lecz jego symbolika wzbudziła sprzeciw ówczesnych władz PRL. Szczególną niechęć wywołały patriotyczne spotkania z młodzieżą oraz poświęcenie sztandaru w kościele. Po śmierci ks. Jerzego Popiełuszki w 1984 roku TPB odwołało imprezy rozrywkowe, co spotkało się z represjami: przesłuchaniami prezeski Maryny Hebdzyńskiej, zakazem używania sztandaru i groźbami rozwiązania organizacji.

Po licznych staraniach, w grudniu 1986 roku Towarzystwo odzyskało zgodę na używanie sztandaru – pod warunkiem zastąpienia orła herbem Brwinowa. Ostatecznie jednak Orzeł Biały pozostał, a po 1987 roku przywrócono mu koronę.

Rok 1988 przyniósł zmianę postawy władz wobec TPB . Towarzystwo mogło znów swobodnie działać i podejmować inicjatywy. Jedną z ważniejszych było odtworzenie zniszczonych w PRL-u tablic upamiętniających Marszałka Józefa Piłsudskiego. Dzięki zachowanym oryginałom i wsparciu mieszkańców udało się je przywrócić na Pomniku Niepodległości.

W 2015 roku przeprowadzono kompleksową rewitalizację dworku finansowaną przez Gminę Brwinów. Prace obejmowały m.in. osuszanie fundamentów, izolację przeciwwodną, drenaż, wymianę uszkodzonych elementów więźby dachowej oraz dachówek, a także wymurowanie nowych kominów. Ze względu na zabytkowy charakter obiektu, wszystkie działania były konsultowane z konserwatorem zabytków. Całkowity koszt inwestycji wyniósł ponad 1 mln PLN.Towarzystwo Przyjaciół Brwinowa od ponad 50 lat nieprzerwanie działa na rzecz wspierania rozwoju lokalnej społeczności poprzez działalność kulturalną, edukacyjną i społeczną. Organizacja skupia się na integracji mieszkańców, popularyzacji wiedzy o regionie oraz pielęgnowaniu dziedzictwa kulturowego i przyrodniczego Brwinowa.

​