Kiến trúc của ngôi đền khá đơn giản, đền được kết cấu theo hình chữ Đinh gồm 5 gian Tiền Bái và 3 gian Hậu cung được mô phỏng theo kiến trúc đình, đền Việt Nam, có cổng tứ trụ truyền thống. Nội thất trong đền được bố trí trang nghiêm, gọn gàng. Đến thăm ngôi đền của nhân vật huyền sử - Mai An Tiêm, người khai sinh ra quả dưa hấu đỏ ai cũng có tâm trạng xúc động về một biểu tượng về tinh thần vượt khó, cần cù, sáng tạo trong lao động.

Mai Hắc Đế, thuở thơ ấu có tên là Mai Thúc Loan, ông được sinh ra và lớn lên ở làng Ngọc Trừng – một làng quê ở phía Tây huyện Sa Nam thuộc Châu Hoan, nay là làng Mai Lâm, xã Mai Phụ, huyện Lộc Hà, tỉnh Hà Tĩnh; một vùng quê vốn có truyền thống yêu nước lâu đời, trải qua mấy ngàn năm dựng nước và giữ nước đã tạo cho con người nơi đây đức tính cần cù, hiếu học và sáng tạo trong lao động, kiên trung bất khuất trong chiến đấu, thủy chung nghĩa tình trong cuộc sống, tự lập, tự cường vươn lên trong mọi khó khăn.

Hơn 1300 năm, thế sự vần xoay với bao thay đổi, nhưng trên đỉnh cồn Chèn vẫn còn đó dấu tích “đất nhà vua” đi liền với những câu chuyện cảm động về mẹ vua và Mai Hắc Đế được người dân Ngọc Trừng gìn giữ, truyền khẩu qua bao thế hệ.

Theo gia phả của họ Mai làng Hậu Trạch còn lưu giữ thì: thời vua Hùng Vương thứ 6, Mai Yển – hiệu An Tiêm nguyên Thượng thư Lại Bộ Xuân Thu, do có nhiều công trạng nên được nhà vua rất yêu mến và gả con gái cho.

Ngày 27/8/2015, xã Hương Long tổ chức trọng thể lễ đón nhận bằng di tích lịch sử văn hóa cấp tỉnh cho nhà thờ Mai Xuân Lâm. Đến dự lễ có đại diện lãnh đạo Sở VH,TT&DL, lãnh đạo huyện Hương Khê, cùng đông đảo cán bộ, nhân dân địa phương tham dự.

Về lịch sử, có thể khẳng định họ Mai ở Nga Thiện có trước giai đoạn Hai Bà Trưng (theo tài liệu bia ký ghi tại đền thờ họ Mai thì bà Trưng là cháu gái vua Hùng). Đây cũng là họ Mai phát tích sớm nhất (đã phát hiện cho đến nay).