Op het hoogste punt van de Brink in Baarn staat de Hervormde Pauluskerk, een gebouw met een lange geschiedenis die vermoedelijk teruggaat tot vóór de veertiende eeuw. De oudst bekende schriftelijke vermelding dateert uit 1385. Destijds was de kerk gewijd aan de heilige Paulus en fungeerde zij als dochterkerk van de parochie in Leusden. Beide kerken vielen onder het gezag van de Sint-Paulusabdij in Utrecht.
Oorspronkelijk betrof het een bescheiden kerkgebouw met een recht afgesloten koor en een lage toren. In de vijftiende eeuw werd het koor uitgebreid met een driezijdige aanbouw, en het schip van de kerk werd verlengd tot aan de toren. Diezelfde toren werd verhoogd en kreeg toen zijn huidige indeling met galmgaten.
In de zestiende eeuw werd aan de noordzijde van het koor een consistorie gebouwd. Vervolgens kreeg de kerk in 1638 een tweede beuk, en de toren werd nogmaals verhoogd tot de hoogte die we nu kennen. Tijdens de achttiende eeuw vonden diverse restauraties plaats, onder andere als gevolg van stormschade.
De meest ingrijpende verbouwing van de Pauluskerk vond plaats in 1888. Tijdens deze renovatie werd het exterieur bepleisterd en voorzien van imitatievoegen. Het oorspronkelijke koor en de zestiende-eeuwse consistorie werden gesloopt en vervangen door een nieuw, twee keer zo groot koor. Bovendien werd de kerk verbreed en kreeg zij een driebeukige indeling.
Tussen 1935 en 1939 onderging de kerk opnieuw een restauratie. Het schip kreeg een houten tongewelf en de zijbeuken werden voorzien van houten kruisgewelven, die het oude stucplafond vervingen.
Een volgende restauratie vond plaats tussen 1992 en 1994. De buitenzijde van de kerk werd gerestaureerd en geschilderd, en ook het interieur werd ingrijpend aangepakt. Zo werden de balkons in het koor ingekort tot de diepte van het orgel, en werd het gehele kerkinterieur opnieuw geschilderd. Dankzij gulle schenkingen konden nieuwe koperen kroonluchters worden geplaatst.
De kerk bestaat uit een schip van vijf traveeën en een lager, smaller koor van drie traveeën. De laatste travee van het koor is afgeschuind en voorzien van lage topgevels. Ook aan de achterzijde bevindt zich een topgevel. Het koor heeft een zadeldak, het schip een afgeplat zadeldak. Beide daken zijn bedekt met leien in maasdekking.
De vensters in het schip zijn spitsboogvormig en hebben natuursteentraceringen. In het koor zijn de vensters voorzien van stalen traceringen in een rondboogmotief. De achtergevel bevat een grote vensterpartij met daaronder een ingang. Extra ingangen bevinden zich onder de toren en in een portiek aan de zijde van de Brink.
De gehele kerk is bepleisterd, met een plint die is uitgevoerd in rusticamotief. Alleen de toren is onbepleisterd. Zowel toren als kerk zijn versierd met rondboogfriezen. De voorgevel is asymmetrisch, met links een ingang en rechts twee spitsboogvensters, waaronder moderne kruiskozijnen zijn aangebracht.
Aan de zuidzijde van het gebouw bevindt zich een aanbouw uit 1986, die de naam Herberg van Paulus kreeg. Deze ruimte fungeert als kerkelijk centrum voor de wijkgemeente van de Pauluskerk.
In het portaal van de kerk bevinden zich grafzerken van Josina van Draeckenborg, die in 1533 huwde met Dirk van Zuilen van de Haer, heer van Drakenburg. Slot Drakenburg bevond zich destijds naast Kasteel Groeneveld en was ooit verbonden met Drakensteyn in De Vuursche.
De toren van de Pauluskerk is eigendom van de gemeente Baarn en heeft een hoogte van 43 meter. Hij staat iets uit het midden ten opzichte van de kerk, maar is volledig geïntegreerd in de bouwmassa van het schip.
De toren bestaat uit twee geledingen, die van elkaar worden gescheiden door een gemetselde bakstenen lijst. De onderste geleding is voorzien van galmgaten, terwijl de bovenste smalle vensters bevat. De toren wordt bekroond met een hoge, achtzijdige, ingesnoerde spits, die is bedekt met leien in rijndekking.
Binnenin bevinden zich op de begane grond en de tweede verdieping twee cachots — kleine, afgesloten ruimtes die in vroeger tijden werden gebruikt om zwervers en landlopers tijdelijk op te sluiten.
