在联邦德国国内，重新武装和加入西方军事集团也遭到了强烈的反对。一是战争结束不久，人们担心德国军国主义借尸还魂。二是许多人不愿重新拿起武器，充当美国为首的西方集团的马前卒。况且一旦发生战争，很可能剑指德国东部同胞，手足相残。三是担心加入西方军事集团，会断送德国统一的前途。社会民主党在1952年发表声明：“联邦政策的首要目标应该是让德国重新统一，而不是要与西方一体化。”德国共产党谴责重新武装是复活军国主义，为美帝的战争政策效力。许多自由派人士也强烈反对重新武装。联邦内政部长海涅曼（Gustav Heinemann，1899—1976）为抗议重新武装而辞职。1950年12月有民调说，70%的西德人反对重新武装。多地工人举行抗议罢工和游行。年轻人喊出“我不参加”，以抵制重新武装。但阿登纳政府坚持重新武装的方针，准备接受“普利文计划”加入“欧洲军”；同时向战胜国索取让步，彻底结束占领体制，恢复主权和平等地位。在有关的谈判中，联邦德国方面强调，参加“普利文计划”，就应该与其他参与国具有同样义务，享有同样权利。对法国要求约束德国的意见，德方代表的态度是：“很好，但你们也应如此。”1951年9月，美英法提出调整与联邦德国关系的条约草案，阿登纳认为其中没有保持“平等原则”，三大国保留的权力过大，如设立“大使委员会”，有权以多数决定来干预德国的外交政策等。他声称不会在这样的条约上签字。联邦德国谈判代表格雷韦（Wilhelm G.Grewe，1911—2000）回忆说：三大国“企图原则上保留1945年所接管的最高权力”，德方则要“争取拔掉盟国草案中的一些‘毒牙’，使它接近德国的设想”。因此“为每个条文进行了激烈的斗争”，历时7个月之久，争得了100多项让步。阿登纳亲自与三国高级专员进行会谈就达30余次。不过阿登纳政府也知道其目标不可能一蹴而就，特别是为了有利于最后实现德国统一，在有些问题上还需要保留三大国的权利和义务，作出一些妥协是必要的。