Thành Tiểu Liên Thành, tọa lạc trên núi Giang Sơn, ngoại ô phía tây huyện Long Châu, là một pháo đài quân sự biên cương do vị tướng chống Pháp lừng danh Tô Nguyên Xuân xây dựng để chống lại sự xâm lược của ngoại bang và bảo vệ biên giới. Việc xây dựng bắt đầu vào năm 1887, với tổng diện tích 1,5 km² và tường thành dài khoảng 5 km. Sử sách ghi lại rằng Thành Tiểu Liên Thành có vị trí chiến lược, "giáp với Trấn Nam quan bên trái, Thủy Khẩu quan bên phải, và Bình Ca quan ở rìa". Từ đó, nó có thể bảo vệ thành Long Châu. Tô Nguyên Xuân "sử dụng thành Liên Thành để đóng quân và dự trữ lương thực", qua đó kiểm soát việc ra vào các cửa ải Thủy Khẩu, Bình Ca quan và Trấn Nam.
Tiểu Liên Thành bao gồm Cung Bảo Nguyên, Các Nguyên Xuân, Các Bảo Ân, Các Biệt Tĩnh, Cổng Lôi Thành, trường đấu võ, Điện Giang Đài (Đài Tổng tư lệnh), Đền Quảng Lộc, 15 tháp pháo, tháp đèn hiệu, đài cờ tướng và tường thành, tạo thành một hệ thống phòng thủ hoàn chỉnh với quy mô tráng lệ và sự hùng vĩ ấn tượng. Những đặc điểm ngoạn mục nhất là Pháo đài Trấn Long trên đỉnh chính, tường thành nối liền giữa các đỉnh núi và Cung Bảo Nguyên bên trong Động Long Nguyên. Pháo đài Trấn Long có diện tích 1.958 mét vuông, với diện tích xây dựng là 1.048 mét vuông. Được xây bằng đá, nơi đây có doanh trại, kho đạn dược và một sở chỉ huy. Nơi đây từng là nơi đặt một khẩu pháo Krupp 120mm của Đức, khiến nơi đây trở thành một trong những pháo đài lớn nhất dọc biên giới Quảng Tây-Việt Nam. Động Long Nguyên là một hang động tự nhiên trên núi Giang, có thể tiếp cận qua hơn 300 bậc đá từ phía đông của núi Giang. Hang động được chia thành hai tầng, có tổng diện tích 2.150 mét vuông và cao hơn 40 mét. Một giếng trời ở phía đông dẫn lên "Thiên Cung". Sau khi Tô Nguyên Thuần tỉ mỉ trang trí hang động, nó được đặt tên là "Bảo Nguyên Cung". Bảo Nguyên Cung cao, rộng và thanh lịch, là một kỳ quan thiên nhiên. Nơi đây có đình, lầu ngọc, cung điện trên trời, bích họa hình chín rồng, bậc thang vàng ngọc, miếu thờ, ngai vàng và hàng chục bức tranh khắc trên vách đá. Kiến trúc, tranh vẽ và tranh khắc được chế tác tinh xảo và sở hữu giá trị nghệ thuật cao. Tô Nguyên Thuần đã lập phủ quan thái thú bên trong Long Nguyên Động, nơi ông thường tụ họp các tướng lĩnh để bàn bạc quân sự và chiêu đãi khách khứa, biến nơi đây thành "thánh địa linh thiêng" cho dinh thự biên giới của mình.
Vào tháng 5 năm 2006, Tiểu Liên Thành được công nhận là Di tích Văn hóa Trọng điểm Quốc gia.