NộI Dung
- ETL tạo ra các nút cổ chai cho Analytics
- Hợp lý hóa ETL với Machine Learning và AI
- Không lỗi, không căng thẳng - Hướng dẫn từng bước của bạn để tạo ra phần mềm thay đổi cuộc sống mà không phá hủy cuộc sống của bạn
Nguồn: Pop Nukoonrat / Dreamstime.com
Lấy đi:
Dữ liệu rất quan trọng đối với doanh nghiệp, nhưng để nó hữu ích, không được có bất kỳ lỗi nào trong việc thu thập, xử lý và trình bày dữ liệu đó. Trí thông minh nhân tạo có thể giám sát các quy trình ETL để đảm bảo chúng không bị lỗi.
ETL (trích xuất, chuyển đổi và tải) là một trong những quy trình quan trọng nhất trong phân tích dữ liệu lớn - và đồng thời, nó có thể là một trong những nút thắt lớn nhất của nó. (Để biết thêm về dữ liệu lớn, hãy xem 5 Khóa học dữ liệu lớn hữu ích bạn có thể tham gia trực tuyến.)
Lý do ETL rất quan trọng là vì hầu hết dữ liệu mà một doanh nghiệp thu thập chưa sẵn sàng, ở dạng thô, cho một giải pháp phân tích để tiêu hóa. Để giải pháp phân tích tạo ra thông tin chi tiết, dữ liệu thô cần được trích xuất từ ứng dụng hiện đang tồn tại, chuyển thành định dạng mà chương trình phân tích có thể đọc và sau đó được tải vào chính chương trình phân tích.
Quá trình này tương tự như nấu ăn. Thành phần thô của bạn là dữ liệu thô của bạn. Chúng cần được chiết xuất (mua từ cửa hàng), biến đổi (nấu chín), sau đó được nạp (mạ), trước khi chúng có thể được phân tích (nếm). Khó khăn và chi phí có thể tăng lên một cách khó lường - thật dễ dàng để tự làm phô mai mac n, nhưng khó hơn nhiều để tạo ra một thực đơn cho người sành ăn cho 40 người trong bữa tiệc tối. Không cần phải nói, một sai lầm tại bất kỳ thời điểm nào có thể làm cho bữa ăn của bạn khó tiêu.
ETL tạo ra các nút cổ chai cho Analytics
ETL về mặt nào đó là nền tảng của quá trình phân tích, nhưng nó cũng có một số nhược điểm. Đầu tiên, nó chậm và tính toán tốn kém. Điều này có nghĩa là các doanh nghiệp thường chỉ ưu tiên dữ liệu quan trọng nhất của họ để phân tích và chỉ lưu trữ phần còn lại. Điều này góp phần vào thực tế rằng có tới 99% tất cả dữ liệu kinh doanh không được sử dụng cho mục đích phân tích.
Ngoài ra, quy trình ETL không bao giờ chắc chắn. Lỗi trong quy trình ETL có thể làm hỏng dữ liệu của bạn. Ví dụ, một lỗi mạng ngắn có thể ngăn dữ liệu được trích xuất. Nếu dữ liệu nguồn của bạn chứa nhiều loại tệp, thì chúng có thể bị biến đổi không chính xác. Rác vào, đổ rác, như họ nói - lỗi trong quá trình ETL gần như chắc chắn sẽ thể hiện bản thân về mặt phân tích không chính xác.
Một quá trình ETL bị hỏng có thể có hậu quả xấu. Ngay cả trong trường hợp tốt nhất, bạn có thể phải chạy lại ETL, điều đó có nghĩa là trì hoãn hàng giờ - và trong khi đó, những người ra quyết định của bạn không kiên nhẫn. Trong trường hợp xấu nhất, bạn không nên chú ý các phân tích không chính xác cho đến khi bạn đã bắt đầu mất tiền và khách hàng.
Hợp lý hóa ETL với Machine Learning và AI
Bạn có thể - và có thể làm - chỉ định ai đó theo dõi ETL, nhưng thật ra điều đó không đơn giản. Dữ liệu xấu có thể xuất phát từ các lỗi quá trình xảy ra nhanh đến mức chúng có thể được chú ý trong thời gian thực. Kết quả của một quá trình ETL bị hỏng thường không khác gì dữ liệu được tải chính xác. Ngay cả khi lỗi là rõ ràng, vấn đề tạo ra lỗi có thể không dễ dàng theo dõi. (Để tìm hiểu thêm về phân tích dữ liệu, hãy xem Vai trò công việc: Nhà phân tích dữ liệu.)
Tin tốt là máy móc có thể bắt được những gì con người có thể. Đây chỉ là một vài cách mà AI và máy học có thể bắt lỗi ETL trước khi chúng biến thành các phân tích không chính xác.
Không lỗi, không căng thẳng - Hướng dẫn từng bước của bạn để tạo ra phần mềm thay đổi cuộc sống mà không phá hủy cuộc sống của bạn
Bạn không thể cải thiện kỹ năng lập trình của mình khi không ai quan tâm đến chất lượng phần mềm.
1. Phát hiện và cảnh báo qua các số liệu ETL
Mặc dù dữ liệu của bạn là một bức tranh chuyển động liên tục, quá trình ETL vẫn sẽ tạo ra các giá trị nhất quán ở tốc độ phù hợp. Khi những điều này thay đổi, nó sẽ gây ra báo động. Con người có thể thấy sự thay đổi lớn trong dữ liệu và nhận ra lỗi, nhưng học máy có thể nhận ra lỗi tinh vi hơn, nhanh hơn. Nó có thể cho một hệ thống máy học cung cấp khả năng phát hiện sự bất thường trong thời gian thực và thông báo trực tiếp cho bộ phận CNTT, cho phép họ tạm dừng quá trình và khắc phục sự cố mà không phải loại bỏ hàng giờ nỗ lực tính toán.
2. Xác định chính xác nút cổ chai
Ngay cả khi kết quả của bạn là chính xác, chúng vẫn có thể được đưa ra quá chậm để sử dụng. Gartner nói rằng 80% hiểu biết có nguồn gốc từ phân tích sẽ không bao giờ được khai thác để tạo ra giá trị tiền tệ, và đó có thể là do một nhà lãnh đạo doanh nghiệp có thể nhìn thấy một cái nhìn sâu sắc kịp thời để tận dụng lợi thế của nó. Học máy có thể cho bạn biết hệ thống của bạn đang chậm lại ở đâu và cung cấp cho bạn câu trả lời - giúp bạn có được dữ liệu tốt hơn, nhanh hơn.
3. Định lượng tác động của quản lý thay đổi
Các hệ thống tạo dữ liệu và phân tích của bạn không tĩnh - chúng liên tục nhận được các bản vá và nâng cấp. Đôi khi, những điều này ảnh hưởng đến cách họ sản xuất hoặc giải thích dữ liệu - dẫn đến kết quả không chính xác. Học máy có thể gắn cờ các kết quả đã thay đổi và theo dõi chúng đến máy hoặc ứng dụng được vá cụ thể.
4. Giảm chi phí hoạt động
Hoạt động phân tích bị đình trệ bằng tiền mất. Thời gian bạn dành để tìm ra không chỉ cách giải quyết vấn đề mà còn ai chịu trách nhiệm để giải quyết vấn đề là thời gian bạn có thể chi tiêu xây dựng giá trị. Học máy giúp đi vào trọng tâm của vấn đề bằng cách chỉ cảnh báo các nhóm có thể chịu trách nhiệm đối phó với các loại sự cố cụ thể, để bộ phận CNTT còn lại tự do tiếp tục thực hiện các chức năng công việc cốt lõi. Ngoài ra, học máy sẽ giúp loại bỏ các thông báo sai, giảm tổng số cảnh báo trong khi tăng mức độ chi tiết của thông tin mà họ có thể cung cấp. Sự mệt mỏi cảnh báo là rất thực tế, vì vậy sự thay đổi này sẽ có tác động có thể đo lường được đối với chất lượng cuộc sống.
Khi nói đến chiến thắng trong kinh doanh, phân tích là rất quan trọng. Một nghiên cứu mang tính bước ngoặt từ Bain Capital cho thấy các công ty sử dụng phân tích có khả năng vượt trội hơn gấp đôi so với tài chính. ETL cung cấp nền tảng để thành công trong lĩnh vực này, nhưng sự chậm trễ và lỗi cũng có thể ngăn cản sự thành công của một chương trình phân tích. Do đó, máy học trở thành một công cụ vô giá cho sự thành công của bất kỳ chương trình phân tích nào, giúp đảm bảo dữ liệu sạch và kết quả chính xác.