1960年5月19日改县国防体育协会为县体育运动委员会,会址设建设路县人民委员会内,干部1人。1963年,县体委与文教局合署办公。1964年又改与县文化馆合署办公。“文化大革命”时,体委工作瘫痪。1968年起,体育工作由县革委员会抓革命促生产指挥部文卫组接管。1972年8月29日恢复县体育运动委员会,并迁至老衙前人民体育场西侧平房内。1980年,县体委正式列入县人民政府建制。1984年4月又一度与县教育局合署办公。同年8月分出单独办公。1987年底,县体委有工作人员13人,其中行政管理人员2人,专职教练员4人。
县体委恢复后,体育经费在财政预决算中单列。1973年为1.76万元;1974年为0.7万元;1975年为1.23万元;1976年为1.14万元;1977年为1.38万元;1978年为2.13万元;1979年为2.3万元;1980年为0.63万元;1984年为1.7万元;1985年为6.65万元;1986年为7.7万元;1987年为1万元。
1983年县体委首次承办江西省少年乒乓球赛。1985~1987年,连续3年承办江西省业余体校羽毛球赛,每年有全省五地六市和省体校12个代表队的290多名运动员、教练员,聚集桔城竞技。南丰体委以精心组织和优质服务,受到上级和参赛单位的好评,被省体委授予“江西省业余体校竞赛承包先进单位”光荣称号,受到奖励。