Jednymi z wartych zobaczenia zabytkowych budowli w Olsztynku są Kościół Najświętszego Serca Pana Jezusa, powstały w XIX wieku oraz XIV-wieczny kościół poewangelicki, w którym mieści się dziś galeria sztuki Muzeum Budownictwa Ludowego.
Losy wielu kościołów z małych miejscowości są do siebie bardzo podobne. Świątynie powstałe w średniowieczu wielokrotnie przebudowywano z przyczyn zależnych od zawirowań historii oraz na skutek katastrof. Najczęstsze z nich to pożary, w wyniku których drewniane budowle ulegały zniszczeniu.
Dzisiejszy Kościół Najświętszego Serca Pana Jezusa został wybudowany około 1350 roku i wkrótce przejęty przez protestantów. Przez cztery stulecia katolicy wędrowali do Gryźlin na niedzielne nabożeństwa. Dopiero w 1895 roku została utworzona tu parafia rzymskokatolicka pod wezwaniem Najświętszego Serca Pana Jezusa i Świętego Brunona. Murowany trójnawowy kościół rzymskokatolicki wzniesiono na planie krzyża, w stylu neogotyckim.