Na ulici Palatínova se nachází dominantní stavba nejen ulice, ale i města - kostel sv. Ondřeje. První kostel, o kterém se může s jistotou tvrdit, že stál v blízkosti dnešního kostela sv. Ondřeje, postavili v pomezí let 1674-1677 jezuité. Věž kostela, na níž je na měděné kouli o výšce 2 metrů postavena socha svatého Ondřeje, využívali jako strážní věž města. Kolem kostela se nachází katolický hřbitov obklopený ohradou.