Trong suốt thời kỳ trị vì, nhà Mạc phải đối phó vất vả chống các nhóm phù Lê. Triều thần nhà Lê, phần tự tử theo vua, phần về mai danh ẩn tích. Phần còn lại tích cực chiêu tập người đứng lên phù Lê. Cuộc phù Lê lúc đầu gặp nhiều thất bại, nhiều tôn thất nhà Lê bị giết chết. Cuối cùng phong trào phù Lê dưới sự lãnh đạo của Nguyễn Kim, đóng được căn cứ tại Sầm Châu (Lào) và phát triển lực lượng
Nguyễn Kim là người làng Gia Miêu, phủ Hà Trung, trấn Thanh Hóa. Ông là con trai của Nguyễn Hoằng Dụ, đại tướng của nhà Lê, đã có công bảo vệ thành Thăng Long khi loạn Trần Cao nổi lên.
Nguyễn Kim được vua Lào cho nương náu ở Sầm Châu. Ông chiêu mộ hào kiệt rồi cho người tìm ra con út của vua Lê Chiêu Tông và tôn lên làm vua. Đó là Lê Trang Tông (1533). Họ ở chiến khu Sầm Châu tám năm trường, đến năm 1540 mới đủ thực lực và thời cơ để trở về, tiến đánh lấy được Nghệ an rồi thâu phục được Tây Đô (Thanh Hóa - 1543).
Nhóm phù Lê làm chủ được phía Nam, được sách sử gọi là Nam triều (từ Thanh Hóa trở vào). Trong khi ấy nhà Mạc vẫn cầm quyền ở Thăng Long, và được gọi là Bắc Triều.
Các hào kiệt kéo về Nam hưởng ứng rất đông như Phùng Khắc Khoan, Lương Hữu Khánh, Trịnh Kiểm... thanh thế của Nam triều ngày càng lớn, chỉ chờ cơ hội là tràn ra đánh Bắc triều.
Trong khi lực lượng của Nam triều đang phát triển thì Nguyễn Kim bị một hàng tướng nhà Mạc là Dương Chấp Nhất đánh thuôc độc chết trong một cuộc hành quân tiến đánh Bắc triều. Tất cả binh quyền lọt vào tay người con rể lạ Trịnh Kiểm.
Trịnh Kiểm liền tổ chức hậu cứ vững mạnh, lập hành điện tại đồn Vạn Lại (Thanh Hóa) để cho vua Lê ở rồi lo chấn chỉnh lực lượng, giữ thế thủ ở Thanh Hóa. Trong nội bộ Nam triều có nhiều thay đổi. Vua Lê Trang Tông mất vào năm 1548, Thái tử Duy Huyên được Trịnh Kiểm lập lên làm vua chỉ 8 tháng, thì cũng mất. Trịnh Kiểm kiếm một người cháu họ xa của Lê Thái Tổ lập lên làm vua. Người này ở ngôi được 16 năm thì bị Trịnh Tùng giết (Trịnh Kiểm đã mất vào năm 1570). Một người khác trong họ Lê được họ Trịnh đưa lên, đó là Lê Thế Tông.
Trong khi ấy, về phía nhà Mạc thì cũng trải qua mấy lần đổi ngôi. Đến đời Mạc Phúc Nguyên, lực lượng của phe này đã tương đối ổn định lại thêm có Mạc Kính Điển, chú của Mạc Phúc Nguyên là một vị tướng thao lược. Vì thế nhà Mạc toan tính việc đánh Nam triều, đồng thời Nam triều cũng chuẩn bị tấn công ra Bắc. Phía Bắc triều đánh vào Thanh Hóa 10 lần. Phía Nam triều tiến ra Bắc đánh cả thảy sáu lần, nhưng hai bên bất phân thắng bại.
Cán cân lực lượng hai bên thay đổi từ sau khi Mạc Kính Điển chết (1580). Quân Nam triều lại càng ngày càng mạnh dưới sự lãnh đạo của Trịnh Tùng. Trịnh Tùng nhiều lần đem quân ra đánh Bắc triều và đến năm 1592 thì bắt được vua Mạc là Mạc Mởu Hợp, đem giết đi rồi rước vua Lê Thế Tông về Thăng Long.
Tàn quân nhà Mạc chạy lên mạn Bắc và được sự ủng hộ của nhà Minh nên tập hợp được lực lượng và hùng cứ ở đất Cao Bằng. Từ đấy, tuy phía họ Trịnh đã làm chủ Thăng Long nhưng không thể nào kiểm soát được vùng Cao Bằng.
