天主教传入开封，是在明万历四十一年（1613年）到天启五年（1625年），意大利籍神父艾儒略（JUlio ALeni）、法籍神父金尼阁（Nicolas Trigauit）、意大利籍神父郭居静（Cazaro Cattaneo）等先后到开封作短期的传教活动，当时以介绍西方科学知识为传教手段，其所接触者多系上层知识分子，由于传教面窄，又无固定教堂，故信教的群众很少，仅三五人而已。
    明崇祯元年（1628年），意大利神父毕方济（Francesco Sanbiaso，耶稣会士）由南京去山西传教，途经开封，向周王赠送自鸣钟等礼品，备受优待，毕方济遂定居开封，在今洪河沿街一带，购置民宅一所，改建为天主教堂。毕不服水土，两年后返回南京，由另一名耶稣会士费乐德（Frluered）接任。费乐德除继续活动于上层知识分子外，并向市民进行传教，当时有教徒近100人。崇祯十五年（1642年）黄河决口，开封被淹没，天主教堂也被淹而坍塌，费乐德及教徒10余人被困教堂内，除1人逃出外，费乐德等死于教堂内。
    清顺治、康熙年间（约1660～1665年），天主教徒许赞任河南按察使。许出身世代天主教家庭，是徐光启的曾外孙，对传播天主教极为热心。同时，得到河南巡抚董国印的哥哥董国器（天主教徒）的极力支持，许、董二人从江苏松江县请来1名法国神父恩理格（Herd-criohi）主持传教。在开封西半截街，购置民房一所改建为天主教堂，从此天主教又得以传播，传教地区也逐步扩大，先后在朱仙镇、扶沟县、商丘县等地设立传教点。
    康熙五十四年（1715年），罗马教廷干涉中国内政，发布《从今日起》通谕，视祀孔、祭祖等为异端，严禁中国天主教徒履行中国的礼仪，违者将遭受绝罚。清康熙帝对这种粗暴行为极为不满，遂下禁教令。禁教令后，开封天主教堂即被查封，改为寺观，教徒星散，传教活动亦即中断。
    鸦片战争后，清政府被迫与英、美、法等国签订了一系列不平等条约，外国传教士依仗这些不平等条约取得了传教特权。道光二十四年（1844年），法国遣使会来到河南南阳靳岗恢复传教活动。同治九年（1870年），意大利米兰外方传教会取代法国遣使会，控制河南天主教会。在这期间，外国传教士曾企图在开封恢复教堂，开展传教，因开封系省城，反洋教情绪强烈，清政府官员不敢贸然允许。虽有个别外籍传教士到开封作恢复教堂的尝试，终因无处安身而去。
    光绪二十八年（1902年），天主教河南省南境教区（指黄河以南教区，主教座堂在南阳靳岗）主教安西满（意大利籍）派神父谭维新（NOe-Toseph Jacconi，意大利人，米兰外方传教会会士），在中国神父时慎修（留学罗马，梵蒂冈传信大学毕业）的陪同下来到开封，要求政府同意恢复天主教会。在他们的多方奔走之下，于1905年在开封市袁坑沿街路东（今开封市政府第二招待所处）购买民宅一所，平房30余间，改建为教堂。从此，天主教会得以恢复。时慎修、谭维新轮流驻开封，并向陈留、中牟、尉氏、杞县、兰考、睢县、扶沟等县农村开展传教活动。这之前，市内教徒仅有何（即何春明的一家）、于、徐、李等六七家，男女老幼50余人。
    清宣统二年（1910年）十二月，天主教河南省南境教区主教何安业（意大利人）病逝南阳县靳岗。次年，罗马教廷任命谭维新为南境教区正权主教。谭离开封任职，即另派一名意大利籍米兰外方传教会包会士到开封主持教务，并兼管豫东各县教务，时慎修也返南阳。
    谭维新晋升主教不久，就陷入人事纠葛之中，为了摆脱困境，执意开拓新教区，认为省城开封最为适宜，并以熟悉豫东情况为由，请求任开封教区主教，接连向其总部上书。1915年经罗马教皇及总会批准，划豫东、豫南部分地区建立开封教区，主教座堂设在开封，谭维新为首任主教。
    1916年初，谭维新约请中国神父田井周到开封莅位，与意大利神父包乃宣筹建教区事宜。是年秋，谭往美国募捐。
    1917年，谭募捐归来，核定购买位于理事厅东头路北与草市街路西相连处民宅4所，新建教堂，到1919年全部落成。
    1920年，谭维新再次前往美、法、意、比各国游说。次年返回开封，请来美国本笃会神父高福德等3人，山林圣玛利主顾会修女盖夏等5人，其任务是开办学校。
    同年，在教会总堂对面（今群英幼儿园处）购置或租赁民宅，创办培文中学，只收男生，由高福德主持，又在培文中学的东侧开门，面向草市街，创办华美女校，由美籍修女盖夏主持。
    1925年，根据罗马教廷传信部的授意，划出南阳、开封两教区南部各县成立驻马店教区，由德、美圣言会管辖。
    1927年，又划出豫东6县由西班牙重整奥斯汀会管辖，从此开封教区只辖中牟、杞县、陈留、通许、尉氏、洧川、鄢陵、扶沟、西华、淮阳、商水、太康、睢县、鹿邑、兰封、考城、民权及开封18县，从1927年到1953年都按这一建制进行管理。
    同年，开封教区还在南关购买地皮一处，东临官坊街，西临民有街，南临原义丰面粉公司，北临小巷，先后建立分堂一所，圣堂一处，可容300人左右（1938年被日军飞机炸毁），平房20余间，另在院中建有独院、小圣堂（今南关分堂），专供外国神职人员学习汉语，作礼拜之用，院内西部为主顾传教修女会会址。
    1930年，开封教区主顾传教修女会正式成立。由美国山林圣玛利主顾会代管，美籍修女盖夏主持会务。1930-1948年，共有修女110多名。修女虽非神职人员，不能主持宗教仪式，但她们都是脱离家庭终身为教会服务的人，是天主教重要组成部分之一。
    同年，河南省天主教各教区商定创办神哲学院，培养中国神职人员，报经罗马教廷传信部批准，于1931年在开封东郊羊尾铺村购地，兴土木，建有椭圆形二层转楼一座、圣堂一座及职工用房共3500平方米，另有体育场等设施。1932年正式开学，定名为天主教河南总修院，首任院长系意大利籍米兰外方传教会会士罗克信。
    是年，谭维新授教美国山林圣玛利主顾修女会创办女子中学。在双龙巷路北购置民房扩建为校址，1932年正式开学招生，定名为河南私立静宜女子初级中学，聘任中国人英启良为校长（北京人，满族，系天主教名流英钦之的侄子）。实际负责人是美籍修女盖夏。1936年增设高中班，1951年改为自办公助的中学，更名为新生女中。1952年改为市立中学。
    1931年，谭维新委托河南省第一师范校长田恩霈等办一所男子初级中学，在西半截街路西购置民房一处，新建三层楼房一座，1933年正式开学招生，定名为河南省私立光豫初级中学，1938年2月停办。
    1933年，谭维新聘请在北平的美国本笃会修女伊凡风来开封，由开封天主教神父刘心淳出名，在自由路中段购得原开封救济院址全部地产，新建二层楼一座，平房30余间（今开封宾馆处），建立美国本笃修女会会址，美国籍神父高福德任院长。1936年，美国本笃会又增派美籍修女罗素英等4人来开封，由方修女任院长。
    1935年，谭维新第三次赴欧美邀请外国修会来开封教区传教。次年随谭来开封的有本笃会美籍神父韦士礼（院长）、梦克、商卡等3人，加上已存开封的高福德，共计4人，在东大街路北建立临时会址。高福德受聘任河南省政府主席商震的英语教师，罗素英等修女亦任高级官员夫人们的英文教员，把传教活动伸向高层人士。
    1937年6月，意大利忧苦之慰修女会的10名修女抵开封。在北门大街54号，购买原私立任时女子中学校址平房69间，建立修女院址，并设分堂一所。
    同年7月，抗日战争爆发，开封时有敌机轰炸，天主教会依仗德、意、日法西斯的联盟关系，在天主教堂挂上意大利、梵蒂冈国旗，教会的一些上层教徒及与教会有关系的政府官员都到此防空袭，顿时天主教会影响大增，出现了发展教徒的最好时期。
    1938年6月开封被日军侵占，天主教会开办"难民收容所"先后收容2000多人，非教徒占90％以上，外国传教士利用这个机会，积极进行传教活动，领洗人教者占收容人数70％，妇女、儿童最多。一个多月后离去。这时，杞县、兰考、尉氏、民权、太康、睢县、扶沟等县天主教会也办有"难民收容所"，时间较短。二三百人不等。唯有尉氏、扶沟"难民收容所"到1940年才停止。
    1939年，谭维新又邀请意大利圣体会19名修女来开封，在新街口60号购民宅一所，房屋58间，为会址。该会设分堂一所，诊所一个，创办海星小学一所，此校于1948年与华阳小学合并。
    1940年春，谭维新退休。之前，他挑选了河南总修院副院长张景芳（意大利人）任副主教，准备提升为开封教区主教，报请意大利米兰外方传教会，不料被该会否定，另向罗马教廷推荐南阳教区总堂神父毕性和（Anconlo Barosi，意大利人，米兰外方传教会会士）为开封教区主教，并得到批准任命。毕性和于是年9月到开封接任，谭维新无可奈何，回意大利罗马养病，途经上海，将教会所有现金在上海重庆路、东平路各购房产7处，共1300平方米，属开封教区财产。
    1941年11月，毕性和到豫东各县视察教务。到鹿邑县后，在其本堂神父赵、劳（均系意大利籍人）二人的陪同下前往丁村（今属郸城县）天主堂。第三天晚上，连同丁村天主堂的神父4人（均为意大利籍）被当地国民党地方团队绑架遇害。经天主教中、外神职人员的多方周旋，向国民政府施加压力，涉案的13人被逮捕，并被枪杀于周口。外国传教士还不罢休，后因意大利战败，才算了结。
    同年12月8日，日本偷袭美国太平洋军事基地--珍珠港，太平洋战争爆发。当日黎明，日军包围了驻开封的美国本笃修女会、美国山林玛利主顾会，将全部美国修女，计17人，押送山东省潍县，本笃修女会址被日军占据，改为日本驻开封领事馆址。
    1942年春，在美国政府的授意下，国民党政府将当时所辖地区的德、意籍传教士也同样集中管理。开封教区有尉氏、扶沟、周口等县的本堂神父被国民党军警押送到内乡县天主教堂。1944年冬，日寇攻占豫西各县后，这些神父又返回开封。
    1943年，罗马教廷命令当时任河南总修院院长的罗克信（意大利籍）为代理主教，主持开封教区教务。
    同年9月，意军战败，开封教区意籍神职人员受到13军的监视，河南总修院等被查封。经罗马教廷驻华代表蔡宁（意大利籍）的安排，从信阳调两名德国籍神职人员（圣言会士）负责开封教区工作，河南总修院、静宜女中才得以复课。
    1945年9月，日军战败，原在开封的美籍神职人员和修女即乘美机返回开封。美籍神父司徒尔（本笃会士）任联合国救济总署驻开封机构的职员。开封天主教会以教区的名义领到大批救济物资和医疗器械，除教会选用一部分外，其余有的分给教会职工，有的出卖，只有奶粉冲水以后，分发给了教徒和贫苦群众，扩大宗教影响。
    教会还利用救济药品、医疗器械，在西半截街前光豫中学校址（今开封淮河医院北部）筹办公教医院。
    1946年6月，罗马教皇发布通谕，要在中国建立圣统制，设20个总主教区，开封系总主教区之一，正权主教仍由意大利米兰外方传教会士罗克信代理。
    圣统制刺激了开封教区中外神职人员竞选正权主教，时有中国神职人员10名，意大利籍神职人员22名，美国本笃会虽有神职人员，但不属开封教区，不能参加选举。按圣统制规定，应由中国籍神职人员充任，故中国籍神职人员一致提出调信阳教区的张作峘（即张维笃）任开封总主教。此举遭到外籍神职人员的坚决反对。经过他们激烈争夺之后，意大利神父阳霖（Gaotana--Pollio，1935年到开封）取胜，经罗马教廷批准晋升为开封教权主教及天主教河南教省总主教。1947年4月13日在理事厅街主教堂举行祝圣典礼，罗马教廷驻中国公使黎培里（摩洛哥籍，1946年12月任职，1951年8月被人民政府驱逐出境）从南京来到开封，为其主持宗教仪式。国民党河南省政府的要员也应邀出席并合影留念。
    祝圣后，黎培里要阳霖办好三件事：一是办一所教会男子中学，二是筹办《益世报》（系天主教会全国性报纸）开封版，三是组织"圣母军"（天主教内的国际性组织，1921年9月成立于爱尔兰首都都柏林，1948年秋正式到中国活动）。1947年6月，阳霖在理事厅街东头（今群英幼儿园处）办起一所男子中学，以中华民国的阳总主教为喻意，定名"华阳中学"。"圣母军''由意大利神父高牧灵于1948年春组建。以静宜女中、华阳中学的男教员为主组成"男子成年支队"，以上述两校中、小学的女教员为主成立"女子成年支队"，又吸收教徒中在校高中以上学生，分别成立"男子青年队"、"女子青年队"，共计60余人。《益世报》开封版虽未办成，但创办了《公教周报》，出版4期。
    1948年，天主教内的部分外籍神职人员及逃到开封的豫北、冀南、鲁东的少数神职人员，在教徒中散布谣言，攻击中国共产党要"消灭教会，封闭教堂，监禁教徒"。8月，他们组织了一次"圣体"大游行，游行队伍在国民党警察的维护下，从理事厅街主教座堂出发，到自由路本笃修女会处（今开封宾馆处），企图激起教徒群众反抗共产党的情绪。不久，美国神职人员及修女全部撤离，并带走中国修女18名途经香港去台湾。是年底，开封教区有教堂23处，其中市内5处，教徒18000余人，外籍神父、修女16人，中国神职人员15人，修女35人，大修士40余人。