别看这杨素多才多艺又宽宏大量，但有时候他却扮演着一个行事恶劣的奸臣角色。害死过同僚，还坑害了太子杨勇。主持修建仁寿宫时，杨素征调并虐待大量民工，致使死者上万，尸堆如山，他毫不在乎，让监工把尸体全推到坑里，再盖上土石，筑为平地。
在隋朝，杨素不仅权势通天，而且富可敌国，良田豪宅不计其数，金银珠宝车载斗量，僮仆数千，美女成群，亲戚朋友也都跟着一起发达。杨玄感就生在这样的一个无敌显赫的贵族之家，凭借老爸的军功和关系，他年纪轻轻就官至正二品的柱国之位，朝见天子时父子并列，何等风光。
很多情况下，这种凭借老爸才得以发达的孩子多是纨绔子弟，杨玄感小时候，别人也是这样认为的，都说这孩子是个成不了大器的二货，正所谓“人多谓之痴”，可杨素却常对人说：“这孩子绝非二货（‘此儿不痴也’）。”
杨素这话这还真不是老爸偏爱儿子，一眨眼，杨玄感长大了，这一长大，可了不得，只见他生得体貌雄伟，威风凛凛，更是遗传了老爸那部飘逸、顺滑、黑亮的胡须，像极了关羽。他也继承了老爸的文艺细胞，热爱读书，痴迷文学。在武勇上，他超越了老爸——天生神力，擅长骑射，长矛在手，所向无敌，再强悍的敌手，也能轻松秒之！