Magyarország egyetlen főúri barokk templomát, amely Kossuth u. 13. sz. alatt található, I. Patay Sámuel építette, aki a szabadságharcban tanusított hűségért kapja II. Rákóczy Ferenctől a harmincadosi hivatalt.
1734-ben a Bodrogkeresztúri Konventen a Tiszántúli Ref. Egyházkerület főgondnokává választják, 1723-49 között a Sárospataki Ref. Kollégium kurátora. Feleségével, Udvarhelyi Máriával építtetik a kastélyt, mely ma műemlék, Tornyossi Tamás kassai építőmester munkája, az eperjesi minorita templommal együtt.
1738-ban épül a paplak, haranggal, úrasztali felszereléssel látják el az egyházközséget, I. Patay Sámuel búcsúztatja Ráday Pált, II Rákóczy Ferenc udvari titkárát, erdélyi kancellárigazgatót, a Ráday alapítóját, a „Redrudescunt...” kezdetű kiáltvány szerkeztőjét, a református egyház egyetemes főgondnokát a losonci templomban.
II. Patay Sámuel 1781-ben latinból magyarra fordítja az eredetileg szanszkrit nyelvű, indiai állatmeséket tartalmazó tankönyvet, a Pancsatantrát. Ennek hatására írja meg a templom építésére vonatkozó rigmusokat, melyet a templom boltozatára helyeztet el a kastély látképével és a családi címerrel együtt 1782-84-ben.
A család nagynevű tagjai közt található Patay József, a Magyar Gazdasági Egyesület alelnöke , a Honvédelmi Bizottmány tagja, jászkun főkapitány. Patay István honvédezredes, a 48-as honvédzászlóalj parancsnoka, Pest katonai főparancsnoka, a debreceni honvédegylet tagja, országgyűlési képviselő; dr. Patay József, aki a báji birtok legnevesebb gazdálkodója volt.