Được thành lập theo quyết định số 51-QĐ/NH/QĐ ngày 27/6/1988 của tổng giám đốc ngân hàng Nhà Nước Việt Nam chi nhánh ngân hàng nông nghiệp và phát triển nông thôn Hà Nội trên cơ sở 28 cán bộ cùng với 21 công ty, xí nghiệp thuộc lĩnh vực nông, lâm, ngư nghiệp được điều động từ ngân hàng công-nông-thương thành phố Hà Nội và 12 ngân hàng phát triển nông nghiệp huyện được đổi tên từ các ngân hàng Nhà Nước huyện đã hội tụ về trụ sở chính tại số 77 phố Lạc Trung , quận Hai Bà Trưng, Hà Nội. Vào thời điểm đó ngân hàng nông nghiệp phát triển nông thôn Hà Nội có các phòng:

- Phòng tín dụng

- Phòng kế hoạch

- Phòng tiền tệ kho quỹ

- Phòng tổ chức cán bộ

- Văn phòng

- Phòng tiết kiệm nguồn vốn

vào thời điểm đó ngân hàng nông nghiệp và phát triển nông thôn Hà Nội có các chi nhánh:

- Chi nhánh huyện Đông Anh

- Chi nhánh huyện Thanh Trì

- Chi nhánh huyện Từ Liêm

- Chi nhánh huyện Gia Lâm

- Chi nhánh huyện Mê Linh

- Chi nhánh huyện Sóc Sơn

- Chi nhánh huyện Hoài Đức

- Chi nhánh huyện Đan Phượng

- Chi nhánh huyện Thạch Thất

- Chi nhánh huyện Phúc Thọ

- Chi nhánh huyện Sơn Tây

- Chi nhánh huyện Ba Vì

Với 1.182 lao động, 18 tỷ nguồn vốn, chủ yếu là tiền gửi ngân sách huyện và 16 tỷ dư nợ mà hầu hết là nợ cho vay các xí nghiệp quốc doanh, các hợp tác xã đã trở thành nợ tồn đọng. Trụ sở, phương tiện, kho tàng không đáp ứng được yêu cầu kinh doanh. ngân hàng nông nghiệp và phát triển nông thôn Hà Nội sớm phải hoạt động trong môi trường cạnh tranh với các ngân hàng đã có bề dầy hoạt động kinh doanh và có nhiều lợi thế hơn hẳn, không những thế còn luôn trong tình trạng thiếu vốn, thiếu tiền mặt, những năm đầu cùng với sự hỗ trợ nguồn vốn của ngân hàng phát triển nông nghiệp trung ương cũng chỉ đáp ứng được một phần nhu cầu vay vốn của liên hiệp các công ty lương thực Hà Nội để mua gạo cho nhân dân nội thành, một phần nhu cầu tiền mặt chi lương cho các doanh nghiệp

Nhận rõ trách nhiệm của mình trong sự nghiệp xây dựng và đổi mới đất nước, mà trọng tâm là phát triển kinh tế nông nghiệp , góp phần đổi mới nông thôn ngoại thành Hà Nội , ngân hàng phát triển nông nghiệp Hà Nội đã nhanh chóng khai thác nguồn vốn để đầu tư cho các thành phần kinh tế mà trước hết là đầu tư cho nông nghiệp . Nhờ những quyết sách táo bạo, đổi mới nhận thức kiên quyết khắc phục điểm yếu nhất là thiếu vốn, thiếu tiền mặt, nhờ vậy chỉ sau hơn 2 năm hoạt động, từ năm 1990 trở đi ngân hàng nông nghiệp Hà Nội đã có đủ nguồn vốn và tiền mặt thoả mãn cơ bản các nhu cầu tín dụng và tiền mặt cho khách hàng

Thực hiện chủ trương cho vay hộ sản xuất theo quyết định 499A của tổng giám đốc ngân hàng nông nghiệp và phát triển nông thôn Việt Nam , ngân hàng nông nghiệp và phát triển nông thôn Hà Nội đã phối hợp với hội nông dân, hội liên hiệp phụ nữ thành phố đã đẩy mạnh cho vay phát triển các sản phẩm nông nghiệp như trồng dâu nuôi tằm, chăn nuôi bò sữa, gia súc gia cầm, phát triển vùng chuyên canh rau quả, hoa cây cảnh... nhờ vậy thu nhập và cuộc sống nhân dân ngoại thành đã được cải thiện đáng kể.

Tháng 9/1991 ngân hàng nông nghiệp và phát triển nông thôn Hà Nội bàn giao chi nhánh huyện Hoài Đức, huyện thạch thất, huyện Ba Vì, huyện Sơn Tây, huyện Đan Phượng, huyện Phúc Thọ về tỉnh Hà Tây. Giao chi nhánh Mê Linh về tỉnh Vĩnh Phúc.

Năm 1995 ngân hàng nông nghiệp và phát triển nông thôn Hà Nội giao chi nhánh Đông Anh, Gia Lâm, Thanh Trì, Từ Liêm, Sóc Sơn về trung tâm điều hành ngân hàng nông nghiệp trung ương.