Церковь Рождества Богородицы (нач. XVIII в.) (ул. Елецкая, 2) является одной из старейших церквей города. Расположена она при въезде на правый берег со старого Казенного моста. Ее иногда называют «Подгоренской», так как она выстроена у подножия Тяпкиной горы. На сегодняшний день храм относится к числу памятников архитектуры, выполненных в стиле «московское барокко». Что касается его возраста, то из всех церквей города более древним возрастом могут похвастаться лишь храмы Троицкой обители.
Точная дата основания храма Рождества Богородицы неизвестна, верно лишь то, что уже в конце XIX века никто не мог сказать, когда же он был построен. Есть, правда, народное предание, которое гласит об основании церкви в XVI веке. Что касается исторических документов, то первые упоминания о храме встречаются в 1627 году. В 1633 году прежний храм сгорает, и строится новый. Каменная церковь была построена в начале XVIII века.
Изначально церковь была построена по типу восьмерик на четверике, увенчанный высоким куполом со световым барабаном. Колокольня, украшенная сверху граненым куполом с крестом, была построена в конце XVIII века в классическом стиле. В 1875 году алтарная часть церкви была перестроена, увеличено число входов в главный алтарь до пяти. Одновременно с перестройкой апсиды были растесаны двери и окна в первом ярусе храмовой части и трапезной, а так же срублены барочные наличники, что придает храму первозданный, более интересный и древний вид. После перестройки Рождество-Богородицкая церковь вновь была освящена 15 сентября 1876 года.
В 1922 году храм был закрыт, после чего из него изъяли все ценности, в том числе и риза, которой была украшена икона Спасителя, расположенная в иконостасе справа от Царских врат. В 1925 году здание храма принадлежало отделению музеев, а с 1929 года несколько раз меняло хозяев. Возвращение храма РПЦ и его реставрация начинаются лишь в начале XXI века. По состоянию на середину 2014 года частично восстановлен внешний облик и ведутся работы над внутренним убранством. На сегодняшний день храм является объектом исторического и культурного наследия федерального значения.