1. Overview (Nền tảng dự án)

Dự án này được thực hiện để sử dụng Databricks làm Lakehouse - trung tâm của nền tảng dữ liệu.
Mục tiêu chính là chuyển đổi dữ liệu từ BigQuery sang Databricks Catalog, tạo bảng mart dựa trên đó để nâng cao môi trường phân tích.

Về mặt sử dụng BI, chúng tôi muốn chuyển đổi bảng điều khiển Redash và Tableau hiện có sang Databricks Dashboard để xây dựng môi trường có thể vận hành phân tích dữ liệu và trực quan hóa một cách tích hợp trên một nền tảng duy nhất.

2. Solution (Giải pháp)

PoC này được thực hiện trong 3 tuần, chuyển đổi bảng điều khiển Redash và Tableau đang hoạt động dựa trên BigQuery sang Databricks để xây dựng môi trường BI mới.

Trước tiên, chúng tôi kiểm tra cấu trúc dữ liệu hiện có và quyền truy cập, sau đó phân tích các thành phần và tình trạng truy vấn của Redash·Tableau. Sau đó, chúng tôi thiết lập hướng dẫn tải dữ liệu từ RDS → S3 → Databricks và tái cấu trúc bảng điều khiển Tableau theo từng truy vấn.

Trong môi trường Redash, chúng tôi phân tích và thực hiện quá trình chuyển đổi SQL BigQuery sang SQL Databricks, và dựa trên đó triển khai Databricks Dashboard tương ứng với bảng điều khiển Redash và Tableau.
Chúng tôi cũng thực hiện xác thực chức năng và kiểm tra tốc độ phản hồi cho môi trường BI Databricks so với ảnh chụp AS-IS.

Ngoài ra, chúng tôi thực hiện kiểm tra bằng cách kết nối Databricks Genie, và trong quá trình chuyển đổi SQL BigQuery sang SQL Databricks, chúng tôi sử dụng công cụ truy vấn Photon được tối ưu hóa cho Apache Spark.
Người dùng được cấu hình để có thể tạo và truy vấn các đối tượng cơ sở dữ liệu thông qua cú pháp Spark SQL.

Trong trình chỉnh sửa SQL, chúng tôi sử dụng UI bảng kết quả để xem các tập kết quả khác nhau và thêm trực quan hóa, trong khi ở môi trường Redash, chúng tôi cung cấp trợ giúp nội tuyến và gợi ý thông qua tính năng trợ lý khi viết truy vấn.
Khi sử dụng Genie, chúng tôi xác thực khả năng sử dụng bằng cách xem xét phản hồi cho từng câu hỏi và nếu cần, học các câu trả lời chính xác thông qua phiên hội thoại.

3. Result (Kết quả)

Kết quả chuyển đổi môi trường BI sang Databricks là tốc độ tải bảng điều khiển được cải thiện toàn diện.
Dựa trên các truy vấn phân tích giống nhau, Databricks cho thấy tốc độ phản hồi nhanh hơn so với phương pháp kết nối BigQuery, và trong quá trình chuyển đổi từ External Catalog sang Standard Catalog và Managed Table, cả kho lưu trữ và cấu trúc truy vấn đều được tối ưu hóa. Kết quả là, hiệu suất ổn định có thể được xác nhận ngay cả trong môi trường dữ liệu lớn.

Ngoài ra, bằng cách sử dụng Databricks Genie (AI Assistant), chúng tôi đã tạo ra một môi trường cho phép người dùng kinh doanh không có kiến thức SQL cũng có thể truy vấn dữ liệu dựa trên ngôn ngữ tự nhiên. Người dùng có thể nhanh chóng rút ra những hiểu biết sâu sắc đáng tin cậy mà không cần viết mã trực tiếp, giúp giảm đáng kể rào cản để tiếp cận việc sử dụng dữ liệu.

Bảng điều khiển đang hoạt động trong Redash và Tableau cũ cũng có thể được chuyển đổi sang môi trường Databricks một cách tương đối suôn sẻ.
Chuyển đổi SQL và ánh xạ trực quan hóa diễn ra suôn sẻ, và chúng tôi xác nhận rằng người dùng hiện có có thể nhận được trải nghiệm phân tích tương đương hoặc tốt hơn trong Databricks mà không cần gánh nặng học tập lớn.