NộI Dung
- Dữ liệu có cấu trúc là gì?
- Dữ liệu phi cấu trúc là gì?
- Không lỗi, không căng thẳng - Hướng dẫn từng bước của bạn để tạo ra phần mềm thay đổi cuộc sống mà không phá hủy cuộc sống của bạn
- Rơi vào giữa: Dữ liệu bán cấu trúc
- Dữ liệu phi cấu trúc có thể được chuyển đổi thành dữ liệu có cấu trúc không?
Nguồn: monsitj / iStockphoto
Lấy đi:
Tìm hiểu về dữ liệu có cấu trúc, không cấu trúc và bán cấu trúc.
Trong lịch sử, các nhà phân tích dữ liệu có khả năng giải mã và trích xuất thông tin từ chỉ một loại dữ liệu: dữ liệu có cấu trúc. Loại dữ liệu này có thể dễ dàng tìm kiếm vì các mẫu rõ ràng, nhưng chiếm một tỷ lệ nhỏ trong tổng số dữ liệu có sẵn.
Dữ liệu phi cấu trúc bao gồm video, âm thanh, s và dữ liệu đến từ phương tiện truyền thông xã hội và thiết bị di động. Đó là, bàn tay, dự trữ thông tin thô lớn nhất hiện có, nhưng không ai có thể khai thác tài nguyên này một cách đáng tin cậy.
Tuy nhiên, mọi thứ đã thay đổi khi khả năng lưu trữ và khả năng xử lý vượt trội tăng lên đã tạo ra các phân tích dữ liệu phi cấu trúc - một dạng công nghệ mới, và do đó chưa trưởng thành. Trí tuệ kinh doanh tốt hơn đang tận dụng tối đa cơ hội này và các khoản đầu tư đáng kể đang được thực hiện để tổng hợp các phân tích dữ liệu có cấu trúc và không cấu trúc để truy cập vào kho thông tin rõ ràng vô tận này.
Hãy xem xét hai định dạng dữ liệu này để hiểu sự khác biệt của chúng và tương lai của tất cả các nhà phân tích dữ liệu.
Dữ liệu có cấu trúc là gì?
Dữ liệu có cấu trúc là thông tin do con người hoặc máy tạo và thông tin có tổ chức cao, có thể dễ dàng lưu trữ trong các cấu trúc cơ sở dữ liệu hàng được gọi là cơ sở dữ liệu quan hệ (RDB). Đó là bất cứ thứ gì tồn tại trong một định dạng có thể dễ dàng nắm bắt, lưu trữ và sắp xếp theo cấu trúc RDB để được phân tích sau này. (Để tìm hiểu thêm về cơ sở dữ liệu, hãy xem Giới thiệu về Cơ sở dữ liệu của chúng tôi.)
Ví dụ bao gồm mã ZIP, số điện thoại và nhân khẩu học của người dùng như tuổi hoặc giới tính. Dữ liệu được tìm thấy trong các cơ sở dữ liệu này có thể được truy vấn bằng các hàm Ngôn ngữ truy vấn có cấu trúc (SQL) hoặc các hàm VLOOKUP trong bảng tính Excel. Các thuật toán cũng có thể được thực hiện để nhanh chóng tìm kiếm dữ liệu được tìm thấy trong các trường khác nhau bằng cách sử dụng các chỉ mục của chúng hoặc dữ liệu số và bảng chữ cái của chúng. Tuy nhiên, tất cả dữ liệu được xác định nghiêm ngặt về loại và tên trường và khả năng lưu trữ, truy vấn và phân tích dữ liệu do đó bị hạn chế ở một mức độ nào đó.
Các ứng dụng điển hình sử dụng dữ liệu có cấu trúc bao gồm phần mềm quản lý bệnh viện, ứng dụng quản lý quan hệ khách hàng (CRM) và hệ thống đặt chỗ của hãng hàng không. Do tổ chức gọn gàng và khả năng tiếp cận dễ dàng, dữ liệu có cấu trúc rất hữu ích và hiệu quả khi xử lý khối lượng thông tin lớn. Tuy nhiên, khi khoan tìm dầu đen ẩn trong lượng dữ liệu không ngừng được tạo ra bởi nhân loại, việc tìm kiếm dữ liệu có cấu trúc không gì khác ngoài việc làm trầy xước bề mặt.
Dữ liệu phi cấu trúc là gì?
Phần lớn dữ liệu được tìm thấy trong một tổ chức là không có cấu trúc, và một số ước tính nó lên tới 80 phần trăm tổng số dữ liệu hiện có. Theo định nghĩa, dữ liệu phi cấu trúc là mọi thứ không có cấu trúc bên trong có thể xác định được. Tuy nhiên, một số loại dữ liệu thuộc danh mục này làm gì có một số dạng cấu trúc bên trong mơ hồ, nhưng nó không phù hợp với cơ sở dữ liệu hoặc bảng tính.
Không lỗi, không căng thẳng - Hướng dẫn từng bước của bạn để tạo ra phần mềm thay đổi cuộc sống mà không phá hủy cuộc sống của bạn
Bạn không thể cải thiện kỹ năng lập trình của mình khi không ai quan tâm đến chất lượng phần mềm.
Hầu hết dữ liệu kinh doanh không có cấu trúc, từ các tương tác dịch vụ khách hàng, tệp, nhật ký web, video và nội dung đa phương tiện khác, tự động hóa bán hàng, s và các bài đăng truyền thông xã hội. Không cần phải giải thích dữ liệu này có giá trị như thế nào nếu nó có thể được khai thác, tổ chức và phân tích.
Hầu hết các dữ liệu phi cấu trúc được tạo ra bởi con người, và do đó được tạo ra để được hiểu bởi những người khác. Điều này có nghĩa là trí thông minh máy tính gọn gàng hơn không hiểu loại thông tin này vì nó quá xa so với tính tuyến tính của ngôn ngữ máy và cơ sở dữ liệu có cấu trúc.
Rơi vào giữa: Dữ liệu bán cấu trúc
Dữ liệu bán cấu trúc là loại dữ liệu thứ ba đại diện cho một phần nhỏ hơn nhiều của toàn bộ chiếc bánh (5-10 phần trăm). Theo nghĩa đen bị mắc kẹt giữa cả hai thế giới, dữ liệu bán cấu trúc chứa các thẻ và dấu hiệu ngữ nghĩa bên trong xác định các yếu tố riêng biệt, nhưng thiếu cấu trúc cần thiết để phù hợp với cơ sở dữ liệu quan hệ.
Ví dụ: s có thể giống như dữ liệu có cấu trúc vì chúng có thể được phân loại theo ngày, kích thước tệp hoặc thời gian. Tuy nhiên, chúng không phải, vì thông tin có giá trị nhất được tìm thấy bên trong chúng, thay vì các nhãn tương đối đơn giản của nó. Không thể thực sự được sắp xếp theo nội dung và chủ đề, vì con người không nói theo những khuôn mẫu nghiêm ngặt như vậy để cho một cỗ máy hiểu chúng một cách dứt khoát. Các ví dụ khác về dữ liệu bán cấu trúc bao gồm cơ sở dữ liệu NoQuery, JSON chuẩn mở và ngôn ngữ đánh dấu XML.
Dữ liệu bán cấu trúc thường được truy vấn và phân loại để phân tích bằng cách sử dụng phân tích siêu dữ liệu. Ví dụ, quét tia X bao gồm một số lượng lớn pixel tạo thành hình ảnh - vốn là dữ liệu không có cấu trúc vốn không thể truy cập được. Tuy nhiên, tệp quét vẫn sẽ bao gồm một phần siêu dữ liệu cung cấp thông tin về nó, chẳng hạn như chú thích và ID người dùng.
Dữ liệu phi cấu trúc có thể được chuyển đổi thành dữ liệu có cấu trúc không?
Thách thức cơ bản mà mọi nhà phân tích dữ liệu phải đối mặt là sắp xếp thông tin trong tay một cách gọn gàng, có trật tự để có thể truy cập và hiểu được. Các công cụ khai thác dữ liệu thường không được trang bị để phân tích thông tin, theo định nghĩa, quá giống với ngôn ngữ của con người, có nghĩa là chỉ một người khác có thể thu thập và phân loại nó.
Tuy nhiên, khối lượng dữ liệu phi cấu trúc khổng lồ khiến cho mọi nỗ lực lưu trữ hoặc sắp xếp nó trở nên vô cùng tốn công và tốn kém. Nhóm thông tin đến từ một công cụ tìm kiếm dựa trên web rất lớn, hầu hết các yếu tố đòi hỏi một khoản đầu tư lớn về công việc và tài nguyên chỉ để trích xuất những thứ cơ bản nhất. Ngay cả các kỹ thuật khai thác dữ liệu hiệu quả nhất vẫn bỏ lỡ một lượng thông tin đáng kể được tìm thấy trên web và, thậm chí tệ hơn, bên trong web sâu.
Nhưng kỹ thuật có tồn tại. Và chúng đang được phát triển với một tốc độ đáng kinh ngạc. Ví dụ: siêu dữ liệu có thể được sử dụng để kết nối dữ liệu có cấu trúc và không cấu trúc với nhau. Thông tin được thu thập có thể được lọc và lập chỉ mục bởi cả người dùng và thuật toán cũng như chỉ phân tích dữ liệu liên quan. Các giải pháp khác bao gồm "sắp xếp dữ liệu", đây là một quá trình trong đó dữ liệu phức tạp được tổ chức dần dần theo từng bước bởi người dùng không có kỹ thuật. (Để biết thêm về người dùng thông thường xử lý dữ liệu, hãy xem Làm thế nào dữ liệu lớn có thể giúp trong phân tích tự phục vụ.)
Tại một số điểm, chúng tôi sẽ có thể chuyển đổi một cách hiệu quả những lượng thông tin không có tổ chức ồ ạt này thành một định dạng có tổ chức và cơ cấu hơn. Có thể không phải hôm nay, có thể không phải ngày mai, nhưng chúng ta sẽ sớm có thể đột kích vào nhân loại kho tiền lớn nhất từng thấy: dữ liệu lớn.