DATA ENGINEER (Từ 02 Năm Kinh Nghiệm)

Thiết kế và Xây dựng Hệ thống Dữ liệu
•        Thiết kế, xây dựng, và tối ưu hóa pipeline dữ liệu, đảm bảo luồng dữ liệu xuyên suốt từ hệ thống vận hành đến các phân vùng Thu thập, Xử lý, và Phân tích trong Data Warehouse.
•        Đảm bảo hiệu năng, độ tin cậy, và bảo mật của hạ tầng dữ liệu.
•        Thường xuyên đánh giá và tối ưu hóa hiệu suất của các pipeline dữ liệu, giảm thời gian xử lý và sử dụng tài nguyên.
•        Thiết lập cảnh báo và giám sát hạ tầng dữ liệu để đảm bảo khắc phục nhanh các sự cố.
Đảm bảo Chất lượng Dữ liệu
•        Thực hiện chuẩn hóa và làm sạch dữ liệu, đảm bảo dữ liệu sẵn sàng cho phân tích và báo cáo.
•        Thiết lập các quy trình kiểm tra, làm sạch, và đo lường chất lượng dữ liệu.
•        Tích hợp và duy trì các công cụ quản lý metadata.
•        Xây dựng công cụ hoặc quy trình để theo dõi dữ liệu từ nguồn đến báo cáo.
•        Thiết kế và triển khai các chính sách bảo mật dữ liệu trong hệ thống.
•        Xây dựng tài liệu chi tiết cho quy trình vận hành.

Kỹ thuật và công nghệ
•        Kinh nghiệm làm việc với các công cụ ETL như Airflow, dbt, Pentaho, Talend, hoặc tương đương.
•        Thành thạo SQL và lập trình xử lý dữ liệu bằng Python hoặc Scala.
•        Hiểu biết vững về Data Warehousing, mô hình dữ liệu (Star, Snowflake schema), và tối ưu hóa hiệu năng truy vấn.
•        Kinh nghiệm với cơ sở dữ liệu quan hệ (MySQL, PostgreSQL, Oracle) và phi quan hệ (MongoDB).
•        Thành thạo các công cụ streaming và message queue như Kafka, Zookeeper, cùng với Debezium để xử lý dữ liệu thời gian thực.
•        Sử dụng GitLab để quản lý source code và triển khai CI/CD pipeline.
Kỹ năng mềm
•        Phân tích và giải quyết vấn đề: Có khả năng xử lý luồng dữ liệu phức tạp và cải thiện quy trình hiện tại.
•        Giao tiếp và làm việc nhóm: Truyền đạt ý tưởng kỹ thuật rõ ràng với các bên liên quan không chuyên môn.
•        Thích nghi và tự quản lý: Linh hoạt với các yêu cầu mới và chủ động hoàn thành công việc đúng thời hạn.
Kinh nghiệm thực tế
•        Triển khai pipeline dữ liệu lớn (>1TB) với các kiến trúc phức tạp, đặc biệt trong môi trường cloud-based (GCP, AWS, hoặc Azure).
•        Tối ưu hóa pipeline để giảm độ trễ, cải thiện tốc độ xử lý, và giảm chi phí.
•        Giải quyết vấn đề phân mảnh pipeline, xử lý lỗi dữ liệu, và đảm bảo tính ổn định của hệ thống.
•        Tham gia dẫn dắt dự án Self-Service BI và các báo cáo chiến lược.