1976년의 신민당 전당대회는 내게도 중요했지만 박 대통령은 나보다 더 중요하게 생각했던 모양이다. 그 이유는 이 대회에서 선출된 총재가 유신 2기를 여는 기간 야당을 이끌어가게 되는데 내가 신민당 총재를 계속 맡게 되면 개헌 압력으로 유신 2기를 여는 일이 순탄할 수 없을 것이기 때문이었다.대회가 다가오자 나를 반대하는 비주류 연합이 생겨나고 이런저런 문제로 다툼이 잦아졌다. 가장 곤란한 문제는 신민당에 입당한 재야 세력에 대한 자격 시비였다. 비주류 연합에서는 전당대회가 승인한 재야 입당파의 대의원 자격을 거부하고 이를 구실로 대회 전날 중앙당을 점거해 대회 준비를 방해하기도 했다.

    소위 비주류 행동대는 대회 당일에는 대회장을 점거할 것이라고 했다. 당 사무국은 이들의 대회장 점거를 막기 위해 대회 전날 밤 대회장에 경비 요원을 미리 배치했다. 그랬는데 경찰은 시민회관 사용은 내일 아침부터인데 미리 들어온 것은 불법 점거라고 모두 쫓아냈다. 비주류 행동대의 불법 점거를 막기 위해서라고 사정했으나 불법 점거는 경찰이 제지할 것이라고 했다.

    할 수 없이 요원들은 시민회관 별관 근처 여관에 합숙했다가 새벽 4시 통금 해제와 동시에 대회장에 달려갔지만 이미 비주류 행동대가 먼저 차지하고 있었다. 정체를 알 수 없는 청년들이 각목으로 무장하고 대의원 접근을 막았다. 나는 시민회관 별관 사용을 포기하고 중앙당 회의실로 옮겨 대회를 했다.그런데 당국은 이 대회를 불법 대회라고 했다. 김영삼 총재가 사전에 공고한 대회장을 사용치 않고 대회장소를 옮긴 것은 전당대회에 관한 당의 규정을 위반한 처사로서 합법성을 인정할 수 없다고 중앙선관위가 유권 해석을 내렸다. 중앙선관위는 한 술 더 떴다. 김영삼 총재의 임기는 5월 30일로 끝나므로 그 자격도 상실되었다는 것이었다. 해석을 내리는 일은 표면상으로는 비주류 연합이 나서 있었지만 조종간을 잡고 있는 것은 유신 권력이라는 것을 누구나 알 수 있었다. 선관위 해석에는 무리가 있었다.

    그러나 선관위를 상대로 법정 논쟁을 하는 것 같은 일은 무의미하다고 나는 생각했다. 상황은 내게 불리했고 밀릴 때는 밀릴 수밖에 없다고 나는 판단했다. 나는 선관위 해석에 승복했고 총재 자리를 물러났다. 그로부터 3개월 뒤 대회에서 나는 비주류 연합에 패배해 당권을 잃었다.