桓玄掌政后，对北府军存在着极大的戒备之心。为了瓦解北府军势力，尽快实现自己代晋称帝的目的，他对北府军将领进行了清洗。桓玄先后杀害了吴兴太守高素、辅国将军竺谦之、高平相竺郎之、辅国将军刘袭、彭城内史刘秀武、冀州刺史孙无终等北府军将领，曾经为他夺取政权起了重要作用的刘牢之也被迫自杀身亡。一时间，北府军将领人人自危，但此时的刘裕却镇静自如，他深知桓玄要杀的是那些掌握了兵权的高级将领，杀完之些人之后，必然会起用像他一样有资历的军官。果不其然，不久刘裕便被任命为中军参军，成为桓玄控制北府军而倚赖的骨干。后来，又因为破卢循有功，刘裕加官彭城内史、深得桓玄的弟弟桓修的倚重。
刘裕虽然在表面上对桓氏忠心耿耿，但是他心中却另有谋算，暗地里加紧活动，团结了一大批北府军的中下级军官司，等待时机准备取代桓玄。刘裕的这些小动作也引起了桓玄妻子刘氏的注意，她就时刻提醒桓玄，说刘裕有龙势虎志，不可能久居人下，应该尽早除之，不然将来会成为大麻烦。不过桓玄因杀了许多北府将领，正在用人之际，所以对于妻子的劝言只能抛在一边，想着等关陇平定之后再来处理这一问题。