Năm 1940, đang hoạt động ở Hà Nội thì Hoàng Hữu Nam bị bắt. Lúc này đang giam ở trại giam Ninh Bình, Hoàng Hữu Nam được nhập với đoàn tù từ Sơn La chuyển xuống rồi đưa vào Sài Gòn để đày sang Madagascar. Chiều hôm vừa xuống tàu, một thủy thủ người Pháp, độ 50 tuổi xuống chỗ đoàn tù, tự giới thiệu với lời lẽ ôn tồn, thân mật:

- Chào các ông. Tôi có nhiệm vụ phải lo việc ăn ở cho các ông đây – Đoạn hỏi tiếp luôn – Người ta đưa các ông đi đâu? Vì lý do gì?

Hoàn Hữu Nam thay mặt anh em trong đoàn trả lời bằng tiếng Pháp:

- Chúng tôi bị đày đi Madagascar chỉ vì yêu nước và yêu chủ nghĩa cộng sản. Cảm ơn ông đã quan tâm…

Người thủy thủ nhìn đoàn tù bằng cặp mắt đầy thiện cảm rồi bảo:

- Ở dưới hầm nóng lắm, các ông nên đề nghị mỗi ngày cho lên boong hai lần để thở, việc này đã thành lệ rồi, các ông cứ đề nghị, được đấy.

Cùng bị giam với đoàn tù cộng sản, ở buồng bên cạnh có một thanh niên Pháp tên Montausier bị đưa về Pháp để xử án về tội “theo phái Đờ Gôn”. Montausier bị giam ở khám lớn Sài Gòn từ cuối năm 1940, do đó có biết một số đồng chí lãnh đạo cuộc khởi nghĩa Nam Kỳ cũng như các đồng chí lãnh đạo khác của Đảng ta cùng bị giam tại đây như: Nguyễn Văn Cừ, Nguyễn Thị Minh Khai, Hà Huy Tập…mà anh rất phục. Người thanh niên Pháp đã cho biết về lý lịch người thủy thủ vẫn giúp đỡ đoàn tù.

- Trước kia anh ấy là một liên lạc viên của Quốc tế cộng sản, một trong những người có nhiệm vụ chuyển đến Đông Dương sách, báo, tài liệu bằng tiếng Pháp in ở Matxcơva của Quốc tế cộng sản, hay của Đảng cộng sản Pháp.

Những ngày ở trên tàu Chennonceau, không bị xiềng xích, hằng ngày lại được lên boong tàu hóng mát, ngắm cảnh trời biển mênh mông, đoàn từ da diết nhớ quê hương, nhớ những người thân, nhớ các đồng chí đang ở nhà phải chiến đấu trong hoàn cảnh bí mật vô cùng gian khổ, nhớ các đồng chí đang bị giam hãm trong các nhà tù trong nước. Nhưng điều vương vấn nhất ở trong lòng mỗi thành viên đoàn tù là tình hình chiến sự ở Châu Âu, tình hình ở Đông Dương, ở Thái Bình Dương ra sao? Tình hình Liên Xô như thế nào. Nhưng trong hoàn cảnh bị đưa đi đày nên đoàn tù không có được nhiều tin tức. Tuy nhiên, qua người thủy thủ tốt bụng nên đoàn tù vẫn nhận được ít nhiều tin tức. Ngày 23/6/1941, sau bữa cơm chiều, người thủy thủ lật đật xuống chỗ đoàn tù, vẻ khác thường nói:

- Phát xít Đức tấn công Liên Xô rồi. Sáng sớm hôm kia 21/6. Hàng trăm sư đoàn quân Đức quốc xã vượt qua kia biên giới Liên Xô. Không tuyên chiến. Có tin gì tôi sẽ báo tiếp cho các anh biết.

Các thành viên đoàn tù cùng lặng đi một lát, rồi kéo nhau vào một phòng giam trao đổi ý kiến. Các đồng chí Nguyễn Văn Phòng, (tức Nguyễn Văn Minh), Hoàng Đình Rong…lần lượt phát biểu ý kiến nhận xét và tin tưởng chiến thắng cuối cùng sẽ thuộc về Liên Xô. Nghe anh em phát biểu, đồng chí Hoàng Hữu Nam thận trọng nói:

- Cũng như các đồng chí, tôi rất tin Liên Xô sẽ chiến thắng, có điều để nhận định vấn đề cho đúng thì phải cân nhắc tình hình về nhiều mặt một cách khách quan, đánh giá xu thế phát triển lực lượng vật chất và tinh thần của hai bên tham chiến, tính đến chổ mạnh yếu của mỗi bên trong cả quá trình phát triển sau này.

Kế đến, đồng chí đề cập trước hết đến những lợi thế của Hítle đã lấn chiếm được nhiều đất đai, tài nguyên và nhân lực của các nước ở lục địa Tây Âu, và đã phản bội Hiệp ước Xô -Đức, tấn công bất ngờ Liên Xô. Hồng Quân Liên Xô chắc chắn đã chuẩn bị từ trước rồi, song dù sao cũng phải thừa nhận rằng Hồng Quân chưa có kinh nghiệm tiến hành chiến tranh hiện đại như quân đội Hítle và không tránh khỏi có phần bị bất ngờ. Hơn nữa, một bộ phận của Hồng Quân còn bị cầm chân ở Châu Á để đối phó với Nhật, nên nhưng ngày đầu chắc chắn sẽ còn gặp nhiều khó khăn. Nhưng vấn đề thắng bại của chiến tranh cũng như các bất cứ cuộc cách mạng nào, trước hết và căn bản nhất vẫn là vấn đề con người, vấn đề nhân lực như có lần LêNin đã nhấn mạnh, con người Xô Viết đã được tôi luyện trong quá trình đấu tranh cách mạng từ 1917 đến giờ nhất định sẽ có đủ quyết tâm để bảo vệ Tổ quốc xã hội chủ nghĩa. Cũng cần tính đến sức mạnh ủng hộ Liên Xô của giai cấp công nhân và nhân dân các nước tư bản trong điều kiện mới. Đó là chưa kể đến những mâu thuẩn bên trong của các nước phát xít.

Cuối cùng đồng chí Hoàng Hữu Nam kết luận:

            - Cũng như mọi người cộng sản trên toàn thế giới, chúng ta có quyền tin tưởng rằng Liên Xô nhất định sẽ thắng lợi.

               Sự phân tích khoa học đầy sức thuyết phục của đồng chí Hoàng Hữu Nam làm mọi người càng thêm tin tưởng vào thắng lợi cuối cùng của Liên Xô. Mà Liên Xô thắng là cách mạng thế giới thắng, cách mạng Việt Nam sẽ thắng.

            Đêm ấy, cả đoàn tù đều thao thức và hình như không ai ngũ được, lòng luôn hướng về Liên Xô với niềm tự hào lẫn lo lắng vô hạn. Những ngày bị giam ở Madagascar, đồng chí Hoàng Hữu Nam và đoàn tù luôn hướng về Tổ quốc và mong ngày trở về đất nước để tham gia đấu tranh giải phóng dân tộc. Để thực hiện ước vọng đó, đồng chí Hoàng Hữu Nma và nhiều đồng chí khác đã chấp nhận hợp tác với quân đội Anh khi vào giải phóng Madagascar. Năm 1943, các đồng chí được đưa sang Ấn Độ và để có cơ hội về nước, được tổ chức Đảng trong nước đồng ý, đã nhận làm tình báo cho Anh. Cuối năm 1944, đồng chí Hoàng Hữu Nam được đưa về Cao Bằng qua đường máy bay. Được sự chỉ đạo của Bác Hồ, đồng chí Hoàng Hữu Nam cùng các  đồng chí khác một mặt giữ mối liên lạc với cơ quan tình báo Anh, mặc khác tham gia chuẩn bị giành chính quyền. Niềm tin của đồng chí Hoàng Hữu Nam và các đồng chí khác đã trở thành hiện thực, Liên Xô và phe đồng minh đã đánh bại phát xít Đức, phát xít Nhật và chiến thắng đó đã tạo cho cách mạng Việt Nam giành thắng lợi trong cách mạng Tháng Tám năm 1945.

                      Theo Hồi ký của đồng chí Lê Giản do Học Phi ghi và nhiều tài liệu khác.