平治元年（1159）平治の乱で藤原信頼方が敗れ、平治2年（1160）から永暦元年（1160―1月10日に平治の乱により改元）にかけて源義朝、義平、朝長ら源氏の主力は敗死あるいは刑死して、源頼政の一族を除いてほぼ壊滅の有様だった。池禅尼のとりなしが通って頼朝の助命が叶わなければ、九郎判官の義経も首を斬られたことは間違いなく、治承・寿永の乱で頼朝が平家を追い落とすこともなかった。

北条時政は伊豆国田方郡北条（現在の静岡県伊豆の国市）を地盤とする豪族で、伊東祐親とともに頼朝の監視役となる。伊東祐親の娘を妻としていて二代執権の義時を産んでいる。伊東祐親も北条時政も京の警護をする大番役の間に娘が頼朝と懇ろになっている。

安元元年（1175）。大番役を終えて伊豆へ戻ってきた伊東祐親は、娘の八重姫が頼朝と懇ろになって男子までもうけていることに驚いた。平氏全盛の世の中で、前年の承安4年（1174）頃には平清盛の継室時子の弟の平時忠が「一門にあらざらん者はみな人非人なるべし（＝平家にあらずんば人にあらず）」と反っくり返っていたくらいで、平家によって流人とされていた頼朝との縁組など無理だった。八重姫はすぐに別家へ嫁がされ、3歳になっていた千鶴丸は轟が淵に沈めてしまう。頼朝自身も討たれるところだったが、乳母比企尼の娘を妻としていた伊東祐清の手引きで北条時政のところへ身を寄せた。

治承元年（1177）。伊東祐親が怒り狂って千鶴丸を殺したわずか3年後。北条時政が大番役で京へ上っている間に、今度は時政の娘政子と頼朝は懇ろになっていた。京から戻ってきた時政は平家の怒りを恐れ、政子を伊豆目代山木兼隆へ嫁がせることとなった。あるいは、嫁がせる話をでっち上げた。

時政が大番役として京へ上っている頃は、後白河法皇と平氏との対立が激しくなっていく過程であり、殿中に上らなくても雰囲気はびんびんに感じていたはずだ。頼朝は落ちぶれたとはいえ源氏の棟梁であり、武家に号令ができる切り札だった。

治承3年（1179）。平清盛によって後白河法皇の院政が停止され、安徳天皇が即位したことで、皇位継承の芽がなくなった以仁王が源頼政と共に挙兵。頼政は平知盛、平重衡らの大軍を宇治平等院で受けて戦死するが、以仁王の令旨は源行家によって全国の源氏に届けられた。結果、伊豆国主が源頼政から平時忠に移り、目代として時忠の下で活躍した山木兼隆が赴任し、伊東祐親が勢力を拡大。さらに源氏を根絶やしにせよとの清盛の命令もあって、追いつめられた頼朝は挙兵することになる。