信玄 (晴信) と父信虎の確執は甲陽軍鑑に詳しい。1538 年元旦、信虎は正月の挨拶にきた晴信、信繁とあった。が、杯を最初に渡したのは信繁の方へであった。これは信玄より弟を優遇すると見なされ、後継者として信繁を選んだことになる。正月十二日、始めは板垣、そして飯富虎昌に使者を立てて以下のように伝えた。

「晴信は今川義元の後見で信濃守大膳大夫になれたのだから、今川のところに挨拶に行くのがよろしかろう」

晴信は「承知」

とのみ答えた。これは明らかに晴信を追いだすための策略であった。しかし板垣、甘利、飯富は晴信を擁することを決めていた。
　その後、父信虎が駿河今川のもとに行くことになった。今川義元と晴信幽閉について談合するためである。甘利虎泰に晴信の監視を命じ自身は今川へ下っていった。ここで待ち受けていたものは信虎にとって驚愕せざるを得なかった。息子を幽閉するつもりが自分が幽閉されてしまうのだから。晴信の用意周到さには勝てなかったのである。これ以後飯富虎昌は、甘利虎泰、板垣信方らとともに武田家の石柱になる。

　青年国主信玄からも引き続いて北信地方の備えをゆだねられた虎昌は、小諸城を重要拠点てして佐久地方の守備にあたり、やがて信玄によって遠からず断行されるであろう東、北信濃進攻の地場固めに専念、内山城（南佐久郡中込）も確保した。この地方の当面の敵は、北信の雄、村上義清であったが、合戦ではつねに戦陣を引き受け、村上、小笠原長清軍らを苦しめ、その豪勇ぶりは敵味方区別無く知れ渡っていた。