刘基知道在李善长等淮西集团当权的状况下，他是站不住脚的，所以，连连辞谢说："换顶梁柱须要用大木，如用捆起的若干细木代替，要不了多久，就会被房子压垮的。"
朱元璋又问杨宪、汪广洋和胡惟庸等人如何？虽然刘基与杨宪交情很好，却没有因此说好话。他评论说："杨宪虽有相才，但器量不够，当宰相者要'持心如水，以义理为权衡'，万万不可义气用事。"至于江广洋，刘基说他心胸偏狭怕比杨宪还厉害。他评论胡惟庸，说胡若为相，好比驾车，他非但驾不好车，甚至会弄坏辕木。
品来论去，朱元璋最后说只好由刘基任相了。但刘基却一再说明自己的缺点，说他嫉恶如仇、性格偏激、脾气急躁，受不惯繁文缛节，深恐辜负了皇上的恩典。并说目前这几个人，实在没有很合适的丞相人选，但天下之大，何患无才，只要下功夫寻找，就一定能找到合适的人选。
朱元璋最终还是觉得刘基过于苛求，求全责备，没有听从他的劝告，任用了杨宪、江广洋、胡惟庸为相，结果正如刘基所料，都出了问题。刘基品评他人，不以恶己者为恶，不以亲己者为好，唯才是举，深谋远虑，洞明一切，可算得上奇才伟识。
刘基的治国理论与实践，从为民为君的角度出发，"仁"与"法"相辅相成，重视选拔、识别人才，取得了洪武早年较为清明的政治局面。