北周武帝即位后，宇文护执掌朝政，他非常痛恨杨坚，杨坚好几次都差点被陷害，幸亏同事的救护才脱险。后来杨坚继承了随国公的爵位，大女儿还被北周武帝聘为太子妃。宇文宪对北周武帝说：“杨坚相貌非凡，我每次看到他就会茫然无措，担心他不会屈居人下，请求早点除掉他。”北周武帝说：“他只能做将军。”内史王轨也多次对北周武帝说：“太子不像是北周的主人，倒是杨坚有副反叛之相。”北周武帝很不高兴，说：“如果天命已经决定了，那怎么办？”杨坚听说后非常害怕，从此开始深藏不露。
北周宣帝即位后，杨坚作为国丈而被征召，地位更加显赫，引起了北周宣帝的顾忌。北周宣帝一共立了5个皇后，皇后们互相争宠诋毁，北周宣帝经常对杨皇后（杨坚的女儿）发火说：“我一定要把你们家灭族！”说完就召见杨坚，事先对左右说：“只要杨坚脸色有变化，就马上杀死他！”杨坚来到后，神情自若，这才没有遇害。
北周宣帝酒色过度，很年轻就死了，即位的北周静帝年幼，不能主持朝政。大臣假造宣帝诏书，让杨坚入朝理政。杨坚害怕诸侯王们在外面作乱，就将他们召回朝廷，捏造罪名将他们杀害。另一个掌握兵权的老将尉迟迥不服杨坚掌权，发动叛乱，很快就被镇压了下来。此前北周的法令很严厉，杨坚执政的时候采取怀柔的政策，很快就收服了民心。
