一、伊斯兰教
　　伊斯兰教约公元7世纪传入中国，义称回教、回回教、清真教、天方教等。
　　伊斯兰教传人遂平时间不详。据石寨铺《重修清真寺碑记》（清乾隆五十八年立）载：“现我吴房县东南廿五里石寨铺有清真寺一座，不知创自何时，无碑可考。迄乾隆年间，经各代风雨飘摇，历年久远，大殿损毁，门楼抱厦，俱为倾圮。”由此推断，此寺之建，不得迟于清初，伊斯兰教之传人，再晚莫过于明朝。
　　“伊斯兰”原意为“顺从”，指顺从唯一的神安拉的意旨。其基本教义是“六大信仰”，即信安拉，信天使，信经典，信前定，信死后复活和末日审判。基本宗教职责为五功：念（信仰安拉）、礼（礼拜）、斋（斋戒）、课（缴纳天课）、朝（朝圣）。重大节日有：开斋节（回历十月一日）、古尔帮节（回历十二月十日）、圣纪节（回历三月十二日）。
　　伊斯兰教禁忌食用自死动物，以及猪、马、驴、狗等，对猪肉禁忌最严。婚嫁、礼俗亦有特殊规定。建国前，穆斯林信仰虔诚，但多受歧视，多从事皮革、宰牲、饮食等业，内部互济互助，精诚团结。全县凡回民聚居区，如县城、玉山街、石寨铺街、玉山乡杨庄、诸市街、沈寨乡和店、关王庙乡余庄等处均有清真寺，由教长阿訇主持教务。
　　建国后，人民政府十分重视宗教政策，伊斯兰教的宗教信仰和穆斯林的风俗习惯，受到人民的尊重和法律的保护。“文化大革命”期间宗教活动被迫停止，1979年后，又逐渐开展正常活动。
　　二、基督教
　　基督教于清光绪三十三年（1907）传入遂平，先是挪威牧师雷希圣在县城西街租赁房舍开办礼拜堂。后于1917年（民国6年）在北街路东购买地皮兴建楼房、礼堂等房舍114间作为传教基地，俗称“福音堂”。1925年（民国14年），在福音堂南院创办信义小学，学生60名，多是教徒子女。此后，基督教由县城向四乡发展，先后在玉山、恒兴、张店、诸市等六地建立教堂，发展教徒945人。
　　建国后，根据党的宗教政策，于1953年成立基督教三自（自治、自传、自养）爱国运动委员会，委员7人，郑道玉、谢子华分别任正、副主席。先后由李自箴及杨丙连、董自威任牧师主持教务。当时有教徒382人，“文化大革命”时期，被迫停止活动。
　　1979年后，宗教活动恢复，止1985年全县计有教徒、信徒2305人，常庄乡5人，张店乡7人，和兴乡3人，沈寨乡118人，崦岈山乡365人，槐树乡578人，玉山乡528人，阳丰乡193人，花庄乡110人，张台乡53人，文城乡104人，诸市乡120人，褚堂乡73人，关王庙乡21人，石寨铺乡5人，车站乡15人，城关镇7人。
　　三、天主教
　　1937年，驻马店天主教神甫程远定在遂平县城仓街购买宅基一片房舍17间，创立天主教堂。1941年由其外甥主持教务，发展教徒百余人。1944年日军陷遂平，教堂被毁，程远定等人出走，从此天主教在遂平停止活动。
　　四、道教和佛教
　　道教是我国汉族固有宗教，始创于东汉顺帝年间，传入遂平时间不详。据《河南通志》记载，县城东北隅丹阳观系明天顺七年（1463）创建。那么，道教之传入遂平，至迟莫晚于明朝。
　　佛教始建于印度，东汉明帝时传入中国。明清以来，遂平寺院多达百余所，有些寺院据传始建于唐朝，可见佛教在遂平传播，历史久远。
　　在许多寺院内，除祀佛像外，还祀玉皇、四大天王、周文王、火神、关羽等，体现了当时遂平居民的多神信仰。真正专一信仰道教或佛教乃至作为教徒者，除和尚、道士外，却为数极少。1928年，“伐神”拆庙，和尚、道士还俗，活动遂止。