朝廷很多人都私下觉得太子不是做皇帝的料,期盼皇帝另立太子。大臣王轨对太子的言行十分不满,常和贺若弼在一起谈论此事。贺若弼也深以为然。不久,王轨就将太子的不端品行告诉了武帝,同时还对武帝说:“我曾经和贺若弼谈过,都觉得太子不是帝王之器。”
武帝听了这话后,就当面询问贺若弼是否如此。贺若弼一听皇上问他太子之事,马上想起老父亲的临终遗言,担心祸从口出,忙含糊地回答说:“皇太子德业日新,臣愚拙,未看出有什么不妥之处。”武帝听后默然不语,心里十分明白王轨说的不差。
事后,王轨指责贺若弼说话反复,出卖了自己。贺若弼却说:“您做事太草率了,这种事情你不能说的太白了,应点到为止,让皇上自己慢慢领会。一旦事与愿违,就会招来灭门之祸!所以我不敢轻易地发表意见。”事情的发展果然不出贺若弼所料,太子对这件事一直耿耿于怀,在即位之后就将王轨等人处死。而贺若弼因为自己的小心谨慎,躲过了一劫。