Công ty được thành lập từ năm 1970 với tên gọi ban đầu là “Công ty Xây dựng Xuân Hoà”, sản phẩm của Công ty không chỉ tập trung ở khu vực Xuân Hòa mà lan rộng ra các khu vực phụ cận. Thực hiện phương châm vừa sản xuất kinh doanh vừa xây dựng cơ sở vật chất, tăng cường đội ngũ cán bộ quản lý kỹ thuật và công nhân. Đến nay, qua nhiều lần cải tiến tổ chức, Công ty đã có cơ sở vật chất và đội ngũ cán bộ quản lý đáp ứng tốt yêu cầu hoạt động sản xuất kinh doanh.

Ngày 17/3/1984 thực hiện Quyết định số 342 QĐ/BXD-TCCB hợp nhất Công ty Xây dựng số 20 và Liên hợp Xây dựng nhà ở Vĩnh Phú (nhà máy Bê tông tấm lớn Đạo Tú) đổi tên thành Liên hợp Xây dựng nhà ở tấm lớn số 2 với nhiệm vụ là tham gia xây dựng nhà ở tại thủ đô Hà Nội bằng phương pháp lắp ghép tấm lớn, sản phẩm của Nhà máy Bê tông Đạo Tú.

Tháng 12/1989 Bộ Xây dựng ra quyết định đổi tên Xí nghiệp Liên hợp Xây dựng nhà ở tấm lớn số 2 thành Xí nghiệp Liên hợp Xây dựng số 2 là Doanh nghiệp hạng 1 trực thuộc Bộ Xây dựng với gần 2000 cán bộ công nhân viên và 7 đơn vị thành viên với nhiệm vụ là hoàn thiện các khu nhà đã lắp ghép ở Thanh Xuân, Nghĩa Đô và tham gia xây dựng nhiều công trình công nghiệp, dân dụng ở các tỉnh phía Bắc.

Thực hiện Quyết định số 90/TTg của Thủ tướng Chính phủ về việc tiếp tục sắp xếp lại Doanh nghiệp Nhà nước. Ngày 15/4/1995 Bộ trưởng Bộ Xây dựng có Quyết định số 275/BXD-TCLĐ về việc chuyển Xí nghiệp Liên hợp Xây dựng số 2 trực thuộc Tổng Công ty Xuất nhập khẩu Xây dựng Việt Nam.

Ngày 9/6/1995 Bộ trưởng Bộ Xây dựng có Quyết định số 618/BXD-TCLĐ về việc đổi tên Xí nghiệp Liên hợp Xây dựng số 2 thuộc Tổng Công ty Xuất nhập khẩu Xây dựng Việt Nam thành Công ty Xây dựng số 2 gồm 3 xí nghiệp và 3 chi nhánh tại các tỉnh Cao Bằng, Sơn La, Lào Cai.