1. Overview (Bối cảnh dự án)

Dự án này được thực hiện để
xây dựng môi trường sử dụng LLM an toàn giảm thiểu rủi ro rò rỉ thông tin kỹ thuật và các vấn đề học tập dữ liệukhi việc sử dụng AI sinh tạo lan rộng trong công ty.

Trong quá trình nhân viên nội bộ sử dụng các LLM công khai như ChatGPT,
đã có những lo ngại rằng dữ liệu nội bộ của công ty có thể bị rò rỉ ra bên ngoài hoặc được sử dụng để học mô hình,
và cần có cách sử dụng AI sinh tạo tập trung vào bảo mậtđể giải quyết những lo ngại này.

Ngoài ra, thông qua triển khai chatbot RAG (Retrieval-Augmented Generation)dựa trên tài liệu nội bộ và dữ liệu nhúng chứ không chỉ là trả lời đơn giản,
chúng tôi đặt mục tiêu xây dựng cấu trúc tự động chuyển đổi cách phản hồi tùy theo sự có mặt của tài liệu.

• Khi tài liệu nội bộ tồn tại → Phản hồi dựa trên RAG

• Khi tài liệu nội bộ không tồn tại → Phản hồi LLM Only

2. Solution (Giải pháp)

Định nghĩa mục tiêu

• Xác minh cấu trúc ngăn chặn rò rỉ dữ liệu dựa trên giải pháp bảo mật

• Thực hiện so sánh và benchmark hiệu suất và chất lượng của LLM dựa trên AWS so với GPT-4o

Các nhiệm vụ xác minh chính

• Xác minh kiến trúc đảm bảo dữ liệu nội bộ không được sử dụng để học tập bên ngoài

• Xác minh chất lượng phản hồi và độ chính xác bằng cách sử dụng mô hình LLM của AWS

3. Result (Kết quả)

Xây dựng pipeline xử lý dữ liệu dựa trên RAG

• Thiết lập quy trình tiền xử lý chuyển đổi các tài liệu ở các dạng khác nhau thành cấu trúc phù hợp với RAG

• Đảm bảo độ chính xác tìm kiếm bằng cách lập chỉ mục vector dữ liệu đã được tiền xử lý trên AWS OpenSearch

Nâng cao phân tích cú pháp tài liệu và lập chỉ mục

• Phân tích nội dung tài liệu bằng cách sử dụng OCR dựa trên LLM

• Tổ chức tài liệu đã được phân tích thành cấu trúc có thể sử dụng RAG bằng cách tải vào VectorDB (OpenSearch)

Triển khai logic kinh doanh API trò chuyện

• Thực hiện phân loại ý định khi câu hỏi của người dùng được nhập
  (Quy định nội bộ / ESG / Khác)

• Tự động chọn đường dẫn pipeline RAG hoặc phản hồi LLM Only dựa trên kết quả phân loại

Xác minh chức năng sửa chữa tài liệu

• Triển khai pipeline sửa chữa lỗi chính tả và lỗi biểu thức bằng cách sử dụng LLM

• Hoàn thành xác minh khả năng cải thiện chất lượng tài liệu

Hiệu ứng dự kiến

Sử dụng chatbot dựa trên RAG

• Cung cấp chatbot RAG tài liệu nội bộ và chatbot RAG Web thông qua AIR Studio

• Hỗ trợ chức năng quản lý tài liệu và quản lý cài đặt theo kho lưu trữ

• Thiết lập hệ thống xác minh chatbot dựa trên bộ câu hỏi-trả lời dự kiến

Tự động hóa sửa chữa tài liệu

• Cung cấp UI dựa trên Streamlit

• Tự động kiểm tra toàn bộ nội dung khi tải lên tài liệu và xuất kết quả sửa chữa