Triển khai Hệ thống OSINT

Tôi cần một chuyên gia giúp tôi xây dựng và triển khai hệ thống OSINT hoàn chỉnh. Mục tiêu chính là thu thập, chuẩn hóa và phân tích dữ liệu từ ba nguồn đã xác định:
• Mạng xã hội
• Diễn đàn và trang web công khai
• Cơ sở dữ liệu chính phủ

Yêu cầu công việc
1. Khảo sát nhu cầu và đề xuất kiến trúc: chọn công nghệ khai thác (API, web-scraping, RSS, v.v.), hệ quản trị dữ liệu, và nền tảng hiển thị trực quan (Elastic Stack, Kibana, Grafana hoặc tương đương).
2. Xây dựng quy trình thu thập và làm sạch dữ liệu cho từng nguồn, bảo đảm tuân thủ điều khoản sử dụng và quy định pháp luật.
3. Thiết lập cơ chế lập lịch tự động, cảnh báo theo từ khóa hoặc mô hình rủi ro tùy chỉnh.
4. Tối ưu hiệu năng: loại bỏ trùng lặp, lưu trữ có chỉ mục, và chuẩn hóa định dạng để sẵn sàng cho phân tích nâng cao (sentiment, entity extraction).
5. Bàn giao mã nguồn, tài liệu cài đặt, hướng dẫn vận hành và video demo ngắn.

Tiêu chí chấp nhận
• Hệ thống cài đặt được trên máy chủ Linux hoặc Docker chỉ với các lệnh hướng dẫn.
• Dashboard trực quan hiển thị thống kê theo thời gian thực các bài đăng, bình luận, và bản ghi chính phủ liên quan.
• Tốc độ quét và cập nhật dữ liệu mới tối thiểu mỗi 15 phút mà không lỗi.

Nếu bạn đã từng làm việc với các công cụ như SpiderFoot, Maltego, OpenCTI hay Elastic Search và có kinh nghiệm bảo mật dữ liệu, tôi rất sẵn sàng trao đổi thêm để tiến hành ngay.