1928年7月，红军第七军和中共鄂豫边地区党组织在光山县柴山保（今属新县） 根据地召开会议， 决定结合苏维埃政权的建立组织农民赤卫队（军） 。1929年7月，光山县白沙关地区赤卫军成立。同月， 罗山县南部的枪会组织改编为农民赤卫队。年底，商城、 固始、潢川等县也建立了农民赤卫队，其中商固边界的伏子岭、二道河地区各建立一个赤卫大队。1930年，鄂豫皖边区革命根据地形成，各地的赤卫队（军） 也有了较大的发展。
    1930年底， 中共中央颁发了《赤卫军组织办法》， 对苏区赤卫军的建设作了详细的规定。1931年5月， 红四方面军政治部派王耕农、赖合云到光山县白雀园一带，联合当地赤卫队成立了光山赤卫一师。王耕农任师长， 赖合云任政治委员， 全师有赤卫队员 4000余人。6月， 成立光山赤卫二 师， 由县委书记高敬亭直接指挥，全师有赤卫队员3000余人。7月， 鄂豫皖军 委 发 布 了 《关 于 整 顿 地 方 武 装 的 通令》， 规定：各县设军事指挥部， 统一领导和指挥人民武装； 各群众武 装统一编入赤卫军。赤卫军按班、 排、 连、营、 团、 师编组， 原则上县建师（团） ， 区建团（营） ，乡 建连， 大村建排，小村建班， 苏区 18～35岁的男子除地主、 富农分子和残疾者外，均动员参加赤卫军组织。9月，苏区各县人民武装基本上实现了指挥机构统一，人员编组统一。
    1931年冬～1932年6月， 鄂豫皖边区人民武装建设处于极盛时期， 赤卫军总数达20万人。豫东南的商城、 罗山、潢川、 光山、 固始5县广大青壮年， 在“保卫苏维埃政权” 和“保卫自己的土地与革命利益”的口号下， 纷纷参加红军或赤卫军， 从而使这一地区基本上实现了全民武装。与此同时， 靠近苏区边界的信阳、 息县、 确山、 新蔡等县的部分地区，在苏区的影响和带动下，也建立了农民赤卫军等群众武装组织。其中新蔡县在崔华楼的领导下， 农民赤卫军发展到3500余人。