在民间传说中，袁天纲不但是神一般的存在，一眼就能看透别人一辈子，还有传说说他是隋文帝杨坚的儿子，生于开皇三年，他母亲被独孤皇后杀了，他被抱给姓袁的人家抚养，所以姓袁。还有传说，说李淳风不是他的弟子，他们是亲哥俩，一说同母异父，一说是双胞胎，只不过是由袁、李两家养大的，袁家养的叫袁天纲，李家养的叫李淳风。查阅主要记载袁天纲生平事迹的《旧唐书》《新唐书》和《太平广记》，甚至记录他早期经历的《隋纲赟拓》，都没有查到袁天纲担任过“不良帅”的任何记录。
他也不是什么国师，只不过唐太宗得知他是蜀地著名的算命先生，下诏要他到长安觐见。一见之下唐太宗对其术数之精奇深奥大为称赞，然后就叫他别走了，“以备垂询”，从此给唐太宗出出主意而已，身份与国师差远了。
而他担任过的官职，最大也就是火井县县令，是因为他算准继续待在皇帝身边会倒霉，便请唐太宗允许他回老家四川，唐太宗便让他回蜀郡担任火井县（位于今天的邛崃）县令，但不久他就死于任上。
