Après un premier passage en Division 2 à la fin des années 60, la décennie suivante voit à la fois le Nîmes Olympique jouer deux coupes d'Europe des villes de foire (1971 et 1972), mais aussi la fin de l'âge d'or du club gardois. Le 14 juin 1982, le président Paul Calabro cède sa place à Jean Bousquet, dit Jean "Cacharel", mais après une descente en D2 en 1984, il faudra plusieurs tentatives pour retrouver l'échelon supérieur. Deux saisons, pas plus, parmi l'élite, puis, lentement, la chute. Les rouge et blanc monteront alors souvent dans l'ascenceur, malgré le passage au sein du club de Laurent Blanc ou d'Eric Cantona. En 1994, tous les Nîmois pensent le calvaire enfin terminé, mais au final, le club termine 4ème de D2 et manque le coche. La saison suivante, c'est en queue de peloton que le club de la cité romaine s'englue. Pour la première fois de son histoire, le Nîmes Olympique joue en Division 3 (appelée à l'époque Nationale 1) en 1995-96, et, malgré un parcours fabuleux en coupe de France qui le mènera en finale contre Auxerre (1:2) - ce qui n'était jamais arrivé encore pour un club amateur, avant que Calais ou Sedan, entre autres, ne l'imitent quelques années plus tard - il évite in extremis une nouvelle rétrogradation qui lui aurait été fatale.