Khám phá dữ liệu Trộm bằng Hadoop và Dữ liệu lớn

Tác Giả: Roger Morrison
Ngày Sáng TạO: 20 Tháng Chín 2021
CậP NhậT Ngày Tháng: 1 Tháng BảY 2024
Anonim
Khám phá dữ liệu Trộm bằng Hadoop và Dữ liệu lớn - Công Nghệ
Khám phá dữ liệu Trộm bằng Hadoop và Dữ liệu lớn - Công Nghệ

NộI Dung


Nguồn: Ximagination / Dreamstime.com

Lấy đi:

Sức mạnh kết hợp của dữ liệu lớn và Hadoop đang được kết hợp để xác định hành vi trộm cắp dữ liệu - và ngăn chặn nó.

Ngày nay, nguy cơ bị đánh cắp dữ liệu do tiếp xúc dữ liệu trong các công ty và cơ quan chính phủ đã gia tăng mạnh mẽ, với các trường hợp mới được xác định mỗi ngày. Loại trộm dữ liệu này có thể là một cú đánh lớn đối với các tổ chức, vì chúng tiết lộ thông tin bí mật và dẫn đến việc mất một khoản tiền lớn. Dữ liệu không thể được bảo mật dễ dàng và thậm chí nhiều kỹ thuật tiên tiến thất bại trong lĩnh vực này. Điều đáng sợ nhất về những vụ trộm này là chúng cực kỳ khó phát hiện. Đôi khi, có thể mất vài tháng hoặc thậm chí nhiều năm để phát hiện ra chúng. Đó là lý do tại sao các tổ chức phải thực hiện các biện pháp mạnh mẽ để đảm bảo rằng dữ liệu của họ luôn được an toàn. Một phương pháp như vậy là sử dụng kết hợp Hadoop và dữ liệu lớn để phát hiện các trang web tội phạm lừa đảo và để cảnh báo cho các tổ chức khác.


Tại sao chúng ta cần bảo mật dữ liệu?

Như đã nêu trước đó, các trường hợp trộm cắp dữ liệu mới được báo cáo mỗi ngày. Những kiểu đánh cắp dữ liệu này có thể xảy ra ở bất kỳ công ty nào, có thể là một tổ chức chính phủ, doanh nghiệp hoặc thậm chí là một trang web hẹn hò. Người ta ước tính rằng việc đánh cắp dữ liệu một mình có thể dẫn đến việc mất vốn đáng kể. Bao nhiêu, bạn có thể hỏi? Khoảng $ 455 tỷ hàng năm!

Mặc dù các hệ thống bảo mật hiện tại mà các công ty sử dụng có thể chống lại một số loại kỹ thuật đánh cắp dữ liệu đơn giản, nhưng chúng vẫn có thể chống lại các nỗ lực hoặc mối đe dọa phức tạp hơn trong các tổ chức. Thêm vào đó, vì những trường hợp này mất quá nhiều thời gian để xác định, bọn tội phạm có thể dễ dàng thao túng những sơ hở của hệ thống an ninh.


Làm thế nào để chống lại những mối đe dọa này

Khi số lượng và độ phức tạp của các loại trộm dữ liệu này ngày càng tăng, tin tặc đang tìm kiếm các kỹ thuật mới để thao túng các hệ thống bảo mật. Vì vậy, các tổ chức duy trì dữ liệu bí mật quan trọng phải thay đổi kiến ​​trúc bảo mật hiện tại của họ, chỉ có thể đáp ứng với các mối đe dọa đơn giản hơn. Chỉ có một giải pháp thực tế có thể hữu ích để tránh các loại trộm cắp này. Một công ty phải sẵn sàng cho bất kỳ hành vi trộm cắp nào mà họ sẽ lên kế hoạch trước. Điều này sẽ cho phép họ nhanh chóng ứng phó với tình huống như vậy và giải quyết nó.

Nhiều công ty đã chủ động cung cấp các giải pháp cho phép các công ty khác bảo vệ dữ liệu của họ trước kẻ trộm. Một ví dụ về một công ty như vậy là Terbium Labs, sử dụng phương pháp mới sử dụng dữ liệu lớn và Hadoop để phát hiện và ứng phó hiệu quả với các mối đe dọa đó.

Làm thế nào Terbium từ Kỹ thuật mới có thể giúp bảo mật dữ liệu?

Kỹ thuật mà Terbium sử dụng để giúp các công ty đối phó với các mối đe dọa một cách nhanh chóng được gọi là Matchlight. Công nghệ mạnh mẽ này có thể được sử dụng để quét Web, bao gồm cả các phần ẩn của nó, để tìm bất kỳ loại dữ liệu bí mật nào. Nếu nó tìm thấy dữ liệu đó, nó sẽ báo cáo ngay cho người dùng. Ứng dụng này là rất chính xác quá. Nó thực sự tạo ra các chữ ký duy nhất của công ty dữ liệu bí mật của Google, được gọi là các ngón tay của Google. Sau khi tạo các chữ ký duy nhất của dữ liệu bí mật của công ty, ứng dụng khớp chính xác dữ liệu với các ngón tay của các dữ liệu được tìm thấy trên Web. Do đó, ứng dụng dữ liệu lớn này có thể được sử dụng để xác định hiệu quả các trường hợp đánh cắp dữ liệu bằng cách tìm kiếm bằng chứng trên Web. Nếu dữ liệu được tìm thấy ở bất kỳ nơi nào ngoài nơi được ủy quyền, như trên Internet, Dark Web hoặc trên trang web của công ty cạnh tranh, nó sẽ thông báo ngay cho công ty mẹ về thông tin bị đánh cắp và về vị trí của nó.

Công nghệ ngón tay

Matchlight kết hợp một công nghệ đặc biệt gọi là ngón tay, với nó có thể khớp với lượng lớn dữ liệu mà không gặp rắc rối. Ứng dụng đầu tiên tìm thấy các ngón tay của dữ liệu bí mật. Sau đó, nó được lưu trữ trong cơ sở dữ liệu của nó và thường xuyên được so sánh với dữ liệu ngón tay được thu thập trên Internet. Dữ liệu này hiện có thể được sử dụng để phát hiện phơi nhiễm dữ liệu trên Web. Nếu tìm thấy chữ ký dữ liệu phù hợp, nó sẽ tự động cảnh báo cho công ty khách hàng, công ty có thể thực hiện các biện pháp bảo mật theo kế hoạch của họ ngay lập tức.

Những loại dữ liệu nào nó bao gồm?

Bất kỳ loại dữ liệu có thể được tìm thấy bởi Matchlight. Điều này có thể bao gồm các tập tin hình ảnh, tài liệu, ứng dụng và thậm chí mã. Giải pháp này mạnh đến mức có thể xử lý toàn bộ các tập dữ liệu rất phức tạp cùng một lúc. Vì điều này, nhiều công ty đang sử dụng Matchlight để bảo mật dữ liệu và cơ sở dữ liệu hiện tại của Terbium, chứa hơn 340 tỷ ngón tay, đang tăng lên mỗi ngày.

Không lỗi, không căng thẳng - Hướng dẫn từng bước của bạn để tạo ra phần mềm thay đổi cuộc sống mà không phá hủy cuộc sống của bạn

Bạn không thể cải thiện kỹ năng lập trình của mình khi không ai quan tâm đến chất lượng phần mềm.

Hadoop giúp như thế nào?

Để xử lý hiệu quả lượng dữ liệu khổng lồ trong cơ sở dữ liệu, Terbium yêu cầu một nền tảng xử lý dữ liệu lớn mạnh mẽ. Họ đã chọn Hadoop cho việc này. Tuy nhiên, họ cần một phiên bản Hadoop nhanh và hiệu quả, có thể được sử dụng để xử lý dữ liệu lớn hiệu quả. Đối với điều này, họ nghĩ rằng phân phối Hadoop cho các doanh nghiệp chạy bằng mã gốc sẽ là lựa chọn phù hợp nhất để đi cùng. Họ đã chọn một phiên bản JVM, vì nó làm cho việc phân phối trở nên nặng nề về tài nguyên.

Người đồng sáng lập Terbium, ông Danny Rogers, đã lưu ý đến tầm quan trọng của Hadoop. Ông nói rằng hiệu quả của Matchlight phụ thuộc vào hiệu quả của việc thu thập dữ liệu, phụ thuộc vào Hadoop. Điều này cho thấy tầm quan trọng của Hadoop trong việc đảm bảo an ninh dữ liệu trong các tổ chức.

Triển vọng của Hadoop trong lĩnh vực bảo mật dữ liệu

Terbium đang nhanh chóng trở nên phổ biến và một số công ty lớn trong Fortune 500 đã bắt đầu sử dụng dịch vụ Matchlight để theo dõi dữ liệu bị đánh cắp. Những công ty này bao gồm các công ty chăm sóc sức khỏe, nhà cung cấp công nghệ, ngân hàng và các nhà cung cấp dịch vụ tài chính khác. Kết quả thật đáng kinh ngạc. Các công ty đã phục hồi khoảng 30.000 hồ sơ thông tin thẻ tín dụng và 6.000 địa chỉ mới đã bị đánh cắp bởi những kẻ tấn công, và tất cả chỉ trong vài giây đầu tiên của ngày đầu tiên. Chúng rõ ràng là để bán trên Dark Web.

Lợi ích của việc sử dụng Hadoop để khám phá dữ liệu bị đánh cắp

Một kiểu tích hợp mạnh mẽ như vậy giữa học máy, cơ sở dữ liệu dựa trên đám mây và phiên bản Hadoop cấp doanh nghiệp có độ tin cậy và chính xác cao có thể mang lại lợi ích cho các công ty theo nhiều cách. Các cơ sở dữ liệu dựa trên đám mây này sẽ có thể tích lũy một lượng lớn dữ liệu, được ứng dụng sử dụng, với sự trợ giúp của Hadoop, để khớp các chữ ký qua Internet trong vài giây. Do đó, Hadoop sẽ có thể tăng cường đáng kể tốc độ tìm kiếm tổng thể. Bởi vì điều này, các công ty sẽ có thể tìm thấy dữ liệu bị đánh cắp của họ trong một thời gian rất ngắn, tức là vài giây, thay vì thời gian tìm kiếm trung bình hiện tại cần thiết, ở mức 200 ngày.

Tại sao chỉ phân phối MapR?

Matchlight chỉ sử dụng bản phân phối MapR của Hadoop. Điều này là do nhiều lý do. Lý do đầu tiên là phiên bản Hadoop cấp doanh nghiệp chạy trên mã gốc và kết quả là, nó sử dụng hiệu quả mọi tài nguyên một cách dễ dàng. Nó cũng sử dụng rất ít chi phí cho việc lưu trữ, xem xét rằng nó dựa trên đám mây. Hơn nữa, nó cực kỳ nhanh, vì vậy nó có thể dễ dàng giúp quản lý số lượng lớn các ngón tay dữ liệu. Nó cung cấp nhiều tính năng cấp doanh nghiệp bổ sung như bảo mật tiên tiến, độ tin cậy cao và dễ dàng sao lưu và phục hồi.

Phần kết luận

Hadoop đang chứng tỏ là cực kỳ hữu ích trong lĩnh vực bảo mật dữ liệu trong các tổ chức. Nhiều công ty sử dụng MapR để quản lý dữ liệu hiệu quả và lên kế hoạch thực hiện, trong trường hợp bị đánh cắp dữ liệu.Nhiều công ty mới cũng đang nổi lên hứa hẹn sẽ bảo mật dữ liệu của các tổ chức này và thậm chí xác định hành vi trộm cắp dữ liệu trong vài giây thay vì vài tháng.