治对长孙无忌起猜疑的那一刻起，再亲密的关系与信任也没有用，这就是赤裸裸的权力之争。
张纵可不想变成第二个长孙无忌，更不想毁掉与李重业好不容易培养起来的感情，所以干脆主动避嫌，让自己暂时从朝堂上脱离出去，另外他也想趁着这段时间好好的想一想，看看能不能把身上的一些职务给辞掉。
张纵本来就是一个十分懒散的人，对政务也并不怎么感兴趣，但后来也是被时局所逼，所以才不得不一头扎进朝堂之中，如果有选择的话，他宁愿做一些让他感兴趣的事，比如办学校，他不但擅长而且同样也能换来名望与地位，而且手中无权，也就不会引人别人的猜忌。
事实上张纵已经做出了决定，等到过段时间后，他就把门下省的官职给辞了，把所有精力都放在武学堂上，虽然武学堂已经走上正轨，但第一批学生还没有毕业，武学堂的影响力也还没有打开，所以还有许多的事情需要他去做。
另外最重要的一点，裴行俭的身体情况也越来越糟糕，他年纪大了，而且又在西域呆了那么多年，身体本来就不好，回来洛阳后也为了武学堂的事消耗了不少的心力，这让他也没有太多的时间休养。
在这种情况下，裴行俭的身体也是时好时坏