NộI Dung
- Không lỗi, không căng thẳng - Hướng dẫn từng bước của bạn để tạo ra phần mềm thay đổi cuộc sống mà không phá hủy cuộc sống của bạn
- Xuống kinh doanh
- Kafka sẽ thay đổi quản lý dữ liệu như thế nào
Lấy đi:
Kafka sẽ làm cho các hệ thống thông tin những gì LinkedIn làm cho doanh nhân: giữ cho chúng được kết nối trên phạm vi rộng.
Bằng cách tin tưởng một cách say mê vào thứ gì đó vẫn chưa tồn tại, chúng tôi tạo ra nó. Không tồn tại là bất cứ điều gì chúng ta không đủ mong muốn.~ Franz Kafka
Sự cần thiết vẫn là mẹ của sáng chế. Như một nhà tư vấn sắc sảo đã từng nói với tôi, "Nếu có điều gì đó cần phải xảy ra trong một tổ chức, thì nó đang xảy ra." Quan điểm của ông là hai lần: 1) một số người sẽ luôn tìm cách hoàn thành công việc; và, 2) quản lý cấp cao, hoặc thậm chí quản lý cấp trung, có thể không biết chính xác mọi thứ đang được thực hiện như thế nào trong chính cơ sở của họ.
Nếu chúng ta mở rộng phép ẩn dụ đó cho toàn bộ vũ trụ quản lý dữ liệu, chúng ta có thể thấy một sự chuyển đổi đang diễn ra ngay bây giờ. Áp lực thô của dữ liệu lớn, kết hợp với trục truyền dữ liệu, tạo ra nhiều áp lực đến mức các hệ thống cũ bị sờn ở các cạnh, nếu không sụp đổ hoàn toàn. Tuy nhiên, có vô số chuyên gia về công việc của họ ngay lúc này, những người hầu như không biết gì về thực tế này.
Các doanh nghiệp dựa trên dữ liệu, dựa trên dữ liệu có một hàng ghế đầu, và theo nhiều cách là thúc đẩy sự thay đổi này. Hãy xem xét các cường quốc như Yahoo!, Và LinkedIn đã biến ngành công nghiệp phần mềm doanh nghiệp sang một bên với các đóng góp phi thường của họ thành nguồn mở: Hadoop, Cassandra và bây giờ là Kafka, tất cả đều được Quỹ Apache, một công ty trung tâm trong siêu dữ liệu này che chở .
Kết quả của sự thay đổi này là gì? Những gì đã chứng kiến ngày hôm nay là phân loại lại và tái cấu trúc của chính quản lý dữ liệu. Điều này không có nghĩa là các hệ thống cũ sẽ bị loại bỏ và thay thế. Bất kỳ cựu chiến binh nào trong ngành cũng sẽ nói với bạn rằng việc giải thể bán buôn các hệ thống kế thừa xảy ra thường xuyên như khi Chicago Cubs giành được World Series. Đó là một sự kiện hiếm, để nói rằng rất ít.
Điều thực sự xảy ra là một siêu cấu trúc đang được xây dựng trên khắp các hệ thống của thế giới cũ. Hãy xem xét sự tương tự của đường cao tốc liên bang, thường vượt lên trên các thành phố và thị trấn mà họ phục vụ, được thiết kế để đưa người và hàng hóa vào các trung tâm dân số này, và cung cấp cho bất kỳ ai và bất cứ điều gì trong đó. Họ không thay thế những con đường hiện có nhiều như tăng cường chúng bằng những giải pháp thay thế tốc độ cao.
Đó chính xác là những gì Apache Kafka làm: nó cung cấp các tuyến tốc độ cao để di chuyển dữ liệu giữa và giữa các hệ thống thông tin. Để tuân theo sự tương tự đường cao tốc, vẫn còn nhiều công ty sử dụng hàng đợi tuyến tính, hoặc tiêu chuẩn cũ của ETL (trích xuất-chuyển đổi-tải); nhưng những con đường này có giới hạn tốc độ thấp, và có nhiều ổ gà; hơn nữa, chi phí bảo trì thường cắt cổ; biển báo kém.
Kafka cung cấp một phương pháp thay thế để cung cấp dữ liệu, một phương pháp được quyết định theo thời gian thực, có thể mở rộng và bền. Điều này có nghĩa là Kafka không chỉ là một phương tiện di chuyển dữ liệu, mà còn là một công cụ sao chép dữ liệu; và ở một mức độ nhất định, một công nghệ cơ sở dữ liệu phân tán. Chúng ta nên cẩn thận về việc đưa sự tương tự đi quá xa, vì có những đặc điểm của cơ sở dữ liệu tuân thủ ACID mà Kafka chưa thể thao. Tuy nhiên, sự thay đổi là có thật.
Đây là tin tuyệt vời cho bối cảnh thông tin, bởi vì dữ liệu hiện có thể tự do di chuyển về đất nước - và thế giới, cho vấn đề đó. Điều từng là một hạn chế đau đớn, cụ thể là đánh vào các cửa sổ hàng loạt cho các quy trình ETL, giờ đây đã tan đi nhiều khi sương mù nhường chỗ cho bầu trời dưới ánh mặt trời chói lọi. Khi việc di chuyển dữ liệu từ hệ thống này sang hệ thống khác trở nên liền mạch, một kỷ nguyên của những cơ hội mới bắt đầu.
Không lỗi, không căng thẳng - Hướng dẫn từng bước của bạn để tạo ra phần mềm thay đổi cuộc sống mà không phá hủy cuộc sống của bạn
Bạn không thể cải thiện kỹ năng lập trình của mình khi không ai quan tâm đến chất lượng phần mềm.
Con người có thể sẽ đại diện cho ma sát nhất trên con đường dữ liệu tương lai mới. Thói quen cũ khó thay đổi. Không có một CIO nào quá phấn khích về việc thay đổi bán buôn cho các hệ thống doanh nghiệp. Một người điều hành cấp cao hiểu biết về vai trò: "Hãy sẵn sàng để cô đơn." Trong vòng một năm sau nhận xét đó, ông là một nhà tư vấn. Đó không phải là một con đường dễ dàng, cố gắng quản lý thế giới dữ liệu doanh nghiệp khó sử dụng.
Tin tốt là Kafka cung cấp một đường nối tới tương lai. Bởi vì nó phục vụ như một chiếc xe buýt đa năng, công suất cao, nó tạo ra cầu nối giữa các hệ thống cũ và các đối tác hướng về phía trước của chúng. Do đó, các tổ chức nắm lấy cơ hội mới này với tư duy cởi mở và ngân sách đủ sẽ có thể bước vào thế giới mới, mà không phải bỏ lại phía sau. Đó là một vấn đề lớn.
Xuống kinh doanh
Mặc dù Apache Kafka là một công nghệ nguồn mở, miễn phí cho mọi người tải xuống và sử dụng, nhưng những người tạo ra phần mềm này cho LinkedIn đã loại bỏ một thực thể riêng biệt có tên Confluent, tập trung vào việc tăng cường cung cấp cho doanh nghiệp sử dụng. Giống như Cloudera, Hortonworks và MapR đã xây dựng các doanh nghiệp của họ xung quanh dự án nguồn mở của Apache Hadoop, vì vậy Confluent tìm cách kiếm tiền từ Kafka.
Trong một cuộc phỏng vấn gần đây của InsideAnalysis, CEO của Confluent và đồng sáng lập Jay Kreps đã giải thích nguồn gốc của nó tại LinkedIn:
"Chúng tôi đã cố gắng giải quyết một vài vấn đề khác nhau ở đó. Một là, chúng tôi có tất cả các hệ thống dữ liệu khác nhau với các loại dữ liệu khác nhau. Chúng tôi có cơ sở dữ liệu và chúng tôi có tệp nhật ký và chúng tôi có số liệu về máy chủ và chúng tôi có người dùng nhấp vào. Thu thập tất cả dữ liệu xung quanh - khi nó trở nên lớn - thực sự khó khăn. Sức mạnh của dữ liệu chỉ ở đó nếu bạn có thể đưa nó vào các ứng dụng, hoặc xử lý hoặc các hệ thống cần nó. Đó là một vấn đề lớn.
"Vấn đề khác chúng tôi gặp phải là chúng tôi đã áp dụng Hadoop và đó là điều tôi đã tham gia. Chúng tôi có nền tảng xử lý ngoại tuyến tuyệt vời này mà chúng tôi có thể mở rộng và chúng tôi có thể đưa tất cả dữ liệu của mình vào. Thời gian. Có sự phát sinh dữ liệu liên tục. Luôn luôn có sự không phù hợp này khi chúng tôi cố gắng thực sự xây dựng các phần chính của doanh nghiệp từ dữ liệu của chúng tôi, giữa một cái gì đó chạy một lần một ngày, có thể vào ban đêm và tạo ra kết quả vào ngày hôm sau, và loại dữ liệu liên tục này - thời gian tương tác ngắn - mà bạn phải theo kịp. Chúng tôi muốn có thể làm một cái gì đó đã tồn tại trong học viện trong một thời gian, nhưng thực sự không phải là một thứ chính thống, mà có thể chạm vào và xử lý các luồng dữ liệu khi chúng được tạo, thay vì khi chúng ngồi. "
Tốt. Đó chính xác là những gì Confluent hiện đang tìm cách làm với dữ liệu doanh nghiệp ở tất cả các hình dạng và kích cỡ. Cơ hội trong chơi? Cánh đồng xanh. Thành thật mà nói, trong toàn bộ lịch sử của phần mềm doanh nghiệp, người ta có thể lập luận rằng thị trường có thể đánh địa chỉ cho công nghệ này hoàn toàn lấy bánh. Không có một tổ chức lớn nào, hoặc thậm chí là doanh nghiệp nhỏ nặng dữ liệu, không thể hưởng lợi nhiều từ công nghệ này.
Điều này đặc biệt đúng vì khía cạnh thần kinh của công nghệ này; không chỉ là những bộ óc liên quan, mà bản chất của những gì Kafka làm cho các hệ thống thông tin. Bởi vì Kafka có thể được sử dụng để quản lý sự di chuyển dữ liệu trong toàn tổ chức, nên nó có thể được xem không chỉ là một cảnh sát giao thông, mà là bộ não của chính hoạt động. Đã ở giai đoạn đầu của tầm nhìn đó, nhưng hãy yên tâm, nó thực sự.
Kafka sẽ thay đổi quản lý dữ liệu như thế nào
Để hiểu cách Kafka sẽ thay đổi bản chất của quản lý dữ liệu, chỉ cần nghĩ về những cách mà LinkedIn đã thay đổi mạng. Tìm kiếm đồng nghiệp trở nên dễ dàng hơn nhiều; giữ liên lạc với mọi người bây giờ là một snap Kafka sẽ làm cho các hệ thống thông tin những gì LinkedIn làm cho doanh nhân: giữ cho chúng được kết nối trên phạm vi rộng nhất của trái đất này.
Sự kết hợp của Confluent là biểu tượng của một thứ mà chúng ta có thể gọi là Đổi mới, một phong trào được thúc đẩy bởi sự tách rời phát triển phần mềm và tâm lý nguồn đóng, được hướng dẫn bởi những người tạo ra công nghệ nguồn mở, được thúc đẩy bởi một lượng lớn vốn đầu tư mạo hiểm, được kiếm tiền từ các công ty vì lợi nhuận tìm cách cách mạng hóa cách các tổ chức và mọi người tạo ra, thu thập, phân tích và tận dụng dữ liệu.
Để trích dẫn Franz Kafka, "Từ một điểm nào đó trở đi, không còn bất kỳ quay lại. Đó là điểm phải đạt được."
Chúng tôi đã vượt qua Rubicon. Không có quay lại bây giờ.