Năm 1874 niên hiệu Tự Đức thứ 27, Phạm Phú Thứ được triều đình Huế giao nhiệm vụ Tổng đốc Hải Yên - là người đứng đầu hai tỉnh Hải Dương và Quảng Yên (theo đơn vị hành chính đương thời). Đây là thời điểm tròn mười năm kể từ ngày ông cùng cựu Bố chánh Quảng Nam Phan Thanh Giản kết thúc chuyến Tây hành/ Tây phù - theo cách nói của chính ông trong hai trước tác nổi tiếng là Tây hành nhật ký và Tây phù thi thảo. Mười năm trôi qua, những điều trông thấy ở xứ người, cùng tư duy “Quảng Nam hay cãi”, cộng với khát vọng canh tân từ ngày bắt đầu tham gia chính sự tham dự chính trường, đã luôn đồng hành với hoạn lộ của Phạm Phú Thứ, thôi thúc ông dũng cảm vượt qua không ít tư duy quen thuộc song đã lỗi thời để đề xuất với triều đình nhiều bản tấu đầy tâm huyết về đổi mới cách nghĩ cách làm trong phát triển đất nước. Mười năm ấy cũng là khoảng thời gian Phạm Phú Thứ mòn mỏi đợi chờ vì phần lớn hoài bão trăn trở của mình chưa được thế lực bảo thủ ở triều đình chấp nhận.
Để lãnh đạo phát triển kinh tế biển ở Hải Yên, Thự Tổng đốc Phạm Phú Thứ có hai trợ thủ đắc lực. Người thứ nhất là nguyên Tả Thị lang Bộ Lại Nguyễn Tăng Doãn quê Quảng Trị đang được phái ra Hải Dương để nghiên cứu về kế hoạch hoạt động của Nha Thương chính Bắc Kỳ. Vừa đến nhiệm sở một thời gian ngắn, Thự Tổng đốc Hải Yên Phạm Phú Thứ đã cùng Nguyễn Tăng Doãn đi khảo sát thực địa ở vùng bờ biển Ninh Hải, trước mắt là nhằm chọn địa điểm xây dựng Nha Thương chính Bắc Kỳ bên sông Tam Bạc gần chân cầu Hạ Lý/ cầu Maréchal Joffre/ cầu Lạc Long. Tấm ảnh chụp cổng chính của Nha Thương chính Bắc Kỳ với ghi chú rằng trên cổng có bốn chữ “Thương chính nha môn” và tấm bia trước cổng là do Phạm Phú Thứ cho dựng. Qua đó ông đánh giá rất cao năng lực của Nguyễn Tăng Doãn và từ năm 1875 niên hiệu Tự Đức thứ 28, khi Nguyễn Tăng Doãn trở thành Tuần phủ tỉnh Hải Dương - nhân vật quyền lực số hai của Hải Yên, Phạm Phú Thứ đã có được một người cộng sự giàu kinh nghiệm về thương chính.
Người thứ hai là Cử nhân Bùi Viện quê Nam Định - nay thuộc Thái Bình - đương thời cũng là người có tư tưởng canh tân và năng lực ngoại giao/ ngoại vụ. Theo tài liệu nghiên cứu về danh nhân đăng ngày 25 tháng 10 năm 2012 trên Cổng Thông tin điện tử thành phố Hải Phòng, Bùi Viện đã có công giúp Thự Tổng đốc Hải Yên Phạm Phú Thứ “trong việc bố phòng ven biển Hải Dương. Với số lính được giao 200 người cùng lương thực, tiền bạc Bùi Viện đã xây dựng được một số cơ sở ban đầu của bến Ninh Hải, tiền thân của Cảng Hải Phòng bây giờ. Do yêu cầu đánh dẹp, sau 10 tháng chỉ huy xây dựng Ninh Hải, Bùi Viện phải bàn giao việc này cho người khác (“người khác” ở đây chính là Lương Văn Tiến/Tấn - BVT), để theo giúp Phạm Phú Thứ việc quân sự”.
Bùi Viện làm việc cùng với “thủ trưởng” Phạm Phú Thứ cho đến năm 1877 niên hiệu Tự Đức thứ 30 thì được điều về Kinh nhận nhiệm vụ mới cũng liên quan đến kinh tế biển: “Bản tấu của Bộ Binh ngày 9 tháng 9 năm Tự Đức 30: “Ngày tháng 7 năm nay, quan bộ Hộ và bộ thần dâng phiến xin đặt một Chánh quản đốc, một Phó quản đốc tại nha Tuần tải. Kính chuẩn cho Bùi Viện sung làm Quản đốc nha ấy, còn Phó quản đốc do ban võ lựa chọn”. Về việc điều động và đề bạt Bùi Viện lần này, Đại Nam Thực lục cũng chép rằng: “Tháng 8 năm Đinh Sửu 1877 - Bắt đầu đặt nha Tuần tải (chánh, phó quản đốc mỗi chức một người; bát, cửu phẩm mỗi chức một người; thư lại sáu người, mộ dõng quyền quản hai người, quyền suất sáu người, điển ty một người) lấy Biên tu (chức quan thuộc Hàn lâm viện, hàm Chánh thất phẩm, giữ việc chép sử; Nguyễn Công Trứ và bản thân Phạm Phú Thứ cũng từng giữ chức Biên tu Sử quán - BVT) lĩnh Trước tác (năm 1843 niên hiệu Thiệu Trị thứ 3 mới bắt đầu đặt chức Hàn lâm viện Trước tác, hàm Chánh lục phẩm - BVT) là Bùi Viện (cử nhân ở Nam Định) sung chức Chánh quản đốc”.
Phan Trần Chúc trong sách Bùi Viện với cuộc Duy Tân của triều Tự Đức xuất bản năm 1942 từng mô tả làng chài Gia Viên trước khi nơi đây trở thành thương cảng Ninh Hải hiện đại so với đương thời: “Bến Ninh Hải là một thôn nhỏ thuộc địa phận tỉnh Hải Dương gần với cửa Cấm. Cho mãi đến đời Tự Đức, người Việt Nam tuyệt nhiên không ai để ý đến cái địa điểm nhỏ mọn này. Ninh Hải chỉ là chỗ hội họp của mấy nhà thuyền chài kiếm ăn ngoài bể hoặc trên các sông con. Giang sơn của họ là mấy chái lều tranh ẩn dưới bụi lau rậm, phủ lấy những đống bùn lầy chạy suốt miền duyên hải” (trang 18). Và dưới sự lãnh đạo của “thủ trưởng” Phạm Phú Thứ, cũng với ngòi bút Phan Trần Chúc, “Bùi Viện đã hăng hái mộ binh lính, dân phu, ra sức đào sông tháo nước ra biển, vượt đất lên cao làm vườn tược hay nền móng nhà. Chẳng bao lâu vùng bùn lầy hẻo lánh ít ai biết đến này đã trở nên đông đúc với đường đi lối lại trên bộ dưới nước thuận tiện, có thương điếm đánh thuế tàu thuyền ra vào, có cơ quan phòng thủ phụ trách việc giữ an ninh trong vùng, gọi là Hải biên phòng thủ (trang 47). Công lao Bùi Viện rất lớn, nhưng dẫu sao đó cũng chỉ là công việc của một quan chức thừa hành, một nhà quản lý, còn đóng góp của Phạm Phú Thứ là cống hiến của một thủ lĩnh, một nhà lãnh đạo. Có thể nói chính Phạm Phú Thứ mới là người có công đầu trong việc biến một làng chài nghèo khó thành cảng Hải Phòng sầm uất ngày nay.
Ý tưởng xây dựng thương cảng Ninh Hải tuy được nêu trong Điều 11 Hòa ước Giáp Tuất ký ngày 15 tháng 3 năm 1874 niên hiệu Tự Đức thứ 27: “Triều đình An Nam thỏa thuận mở các thương cảng ở Thị Nại, trong tỉnh Bình Định, ở Ninh Hải trong tỉnh Hải Dương, tỉnh thành Hà Nội, và đường thủy vận sông Nhĩ Hà từ ngoài biển lên tới tỉnh Vân Nam. Một thỏa ước bổ túc cho bản Hòa ước cùng có hiệu lực chấp hành như bản Hòa ước sẽ ấn định các điều kiện chấp hành cho việc thông thương. Thương cảng Ninh Hải, Hà Nội và đường thủy vận chuyển tiếp sẽ được thông thương liền ngay sau khi hai bên ký chuẩn phê hoặc sớm hơn nếu có thể được; thương cảng Thị Nại sẽ được thông thương trong vòng một năm sau. Các thương cảng hoặc những đường thủy vận khác có thể được thông thương sớm hơn tùy số lượng và mức quan trọng của tình hình giao thương hiện hữu đòi hỏi cần phải như thế”; nhưng thực chất đây chính là sản phẩm “chất xám” của Phạm Phú Thứ khi ông đề nghị mở cảng ngoại thương ở Hải Yên trong bản tấu năm 1867 niên hiệu Tự Đức thứ 20. Và quan trọng hơn là giờ đây với tư cách quan đầu tỉnh Hải Dương cũng như trên cương vị Tổng lý Thương chính đại thần, Phạm Phú Thứ có cơ hội được trực tiếp chỉ đạo thi công công trình xây dựng thương cảng Ninh Hải càng sớm càng tốt để góp phần phát triển kinh tế biển khu vực Bắc Kỳ trong đó có tỉnh Hải Yên; có cơ hội hoạch định phương án hợp lý thậm chí tối ưu để phân bổ các nguồn lực - đặc biệt là nguồn nhân lực. Chính Phạm Phú Thứ đã sử dụng Ông Ích Khiêm - với tư cách Tán tương quân thứ Bắc Ninh - vào việc đảm bảo an ninh trên vùng biển Bắc Kỳ, Hải Yên trong suốt quá trình thi công thương cảng Ninh Hải và khi công trình xây dựng thương cảng Ninh Hải - được giao cho Bùi Viện trực tiếp đôn đốc - đã cơ bản hoàn thành sau mười tháng triển khai, Phạm Phú Thứ tiếp tục sử dụng Bùi Viện để tăng cường cho “việc quân sự”, đáp ứng “yêu cầu đánh dẹp”. Chính Phạm Phú Thứ cũng đề xuất với vua Tự Đức bố trí Lương Văn Tiến (Tấn) là người tâm phúc của mình thay Bùi Viện đảm đương việc quản lý Nha Thương chính Bắc Kỳ. Và Phạm Phú Thứ đã thực sự thành công!
Sau khi Phạm Phú Thứ từ trần ở quê nhà, ghi nhận công lao của ông đối với Hải Dương và Quảng Yên trong hơn sáu năm trên cương vị Tổng đốc kiêm Tổng lý Thương chính đại thần, với lòng ngưỡng mộ một trí thức đất Quảng có công phát triển địa phương mình, các tỉnh trên địa phận Hải Yên xưa đã sớm có những hình thức vinh danh Phạm Phú Thứ. Chẳng hạn ở thành phố Hải Phòng có một đường phố mang tên ông - không phải ngẫu nhiên mà đường phố này lại nằm trên địa phận phường Hạ Lý quận Hồng Bàng. Hay ở thị xã Kinh Môn tỉnh Hải Dương có phường Phú Thứ.