NộI Dung
- Hiện tại và tương lai của bộ gen
- Nhu cầu của ngành lập bản đồ gen
- Điều gì được mong đợi trong Giải pháp?
- Tại sao Hadoop là giải pháp tốt nhất cho giải trình tự bộ gen
- Không lỗi, không căng thẳng - Hướng dẫn từng bước của bạn để tạo ra phần mềm thay đổi cuộc sống mà không phá hủy cuộc sống của bạn
- Những gì khác Hadoop có thể làm gì?
- Cơ hội cho Hadoop
- Crossbow: Nền tảng quản lý dữ liệu thế hệ tiếp theo
- Phần mềm genomics dựa trên Hadoop khác
- Phần kết luận
Nguồn: A3701027 / Dreamstime.com
Lấy đi:
Trình tự bộ gen cần các công cụ công nghệ mạnh mẽ để xử lý tất cả dữ liệu của nó và Hadoop hoàn thành nhiệm vụ.
Genomics lâm sàng là một chủ đề hấp dẫn, nơi mọi người đang làm việc trên các công nghệ tiên tiến để xử lý kết quả nhanh chóng và chính xác. Có rất nhiều trình tự bộ gen có sẵn trên thị trường và họ đang tạo ra hàng petabyte dữ liệu trình tự và sự tăng trưởng trong trình tự sẽ tạo ra exabyte dữ liệu trong tương lai gần. Ở đây, Hadoop là nền tảng hoàn hảo để xử lý luồng công việc genomics phức tạp. Hadoop có thể lưu trữ và sắp xếp lượng thông tin khổng lồ và cũng có thể đưa ra phân tích có ý nghĩa. (Để có ý tưởng về việc dữ liệu này thực sự đòi hỏi bao nhiêu, hãy đọc Hiểu về Bits, Byte và bội số của chúng.)
Hiện tại và tương lai của bộ gen
Ngày nay, bản đồ bộ gen đã đạt đến đỉnh cao của sự phát triển. Nhiều người liên quan đến ngành công nghiệp genomics đang bùng nổ sự tò mò và khi các cơ hội mới đang xuất hiện, công nghệ tốt hơn là nhu cầu của giờ. Giải trình tự bộ gen là một nhiệm vụ rất lặp đi lặp lại và tốn nhiều tài nguyên. Chỉ riêng trong năm 2013, khoảng 15 petabyte dữ liệu đã được tạo ra và chỉ có 2.000 phần tiếp theo. Số lượng hàm này bao gồm 300 KB dữ liệu bộ gen người được giải trình tự. Với tốc độ sản xuất dữ liệu này, có thể ước tính rằng vào năm 2018, khoảng một exabyte dữ liệu sẽ được sản xuất. Điều này sẽ là do sự tăng trưởng của các phần tiếp theo, sẽ tạo ra ngày càng nhiều dữ liệu trên mỗi lần chạy. Một lý do khác là sự ra đời của các máy giải trình tự bộ gen cực kỳ mạnh mẽ và chi phí thấp. Kể từ năm 2008, giá của các máy này đã giảm dần. Điều này là do các máy thế hệ tiếp theo mạnh mẽ đã thâm nhập vào thị trường.
Nhu cầu của ngành lập bản đồ gen
Các thuật toán phức tạp được sử dụng để xử lý dữ liệu được thu thập từ bộ gen của con người. Sau đó, thông tin này cần được lưu trữ. Nó có thể được xem xét trong tương lai để so sánh với dữ liệu gốc. Nhiệm vụ xử lý và lưu trữ 100 GB dữ liệu không quá khó, đặc biệt là khi bạn đang thực hiện với các máy mạnh mẽ được sử dụng tại các trung tâm giải trình tự. Các nghiên cứu cho thấy lượng dữ liệu này có thể được xử lý chỉ trong khoảng 1.000 giờ CPU, vì vậy rất dễ dàng. Với tốc độ tiến bộ kỹ thuật này, rõ ràng ngành công nghiệp bộ gen sẽ sớm xử lý hàng ngàn gigabyte chỉ sau vài giây.
Tuy nhiên, các kỹ thuật quản lý và lưu trữ dữ liệu được phát triển nhanh chóng, do đó, có thể mất một lượng lớn dữ liệu quý giá. Điều này thực sự không mong muốn, vì nó sẽ cản trở nghiêm trọng những tiến bộ đạt được trong bộ gen của con người. Vì vậy, nhu cầu về một kỹ thuật quản lý dữ liệu hiệu quả, có thể dễ dàng cập nhật, là rất cao. Điều này có thể có hiệu quả đặc biệt là trong tương lai gần, nơi ánh xạ bộ gen sẽ chuyển từ các phòng thí nghiệm lớn với máy tính mạnh mẽ sang các bệnh viện và phòng thí nghiệm nhỏ.
Điều gì được mong đợi trong Giải pháp?
Tốc độ mà các kỹ thuật giải trình tự bộ gen mới đang được phát hiện và phát triển là cực kỳ cao. Tốc độ này có thể rất có lợi cho khoa học y tế dưới dạng một bước mạnh mẽ để loại bỏ các bệnh lớn. Tuy nhiên, tốc độ này cũng có thể rất khó khăn.
Thách thức đến từ hình thức quản lý một lượng lớn dữ liệu được tạo ra bởi các dự án giải trình tự. Vì vậy, một giải pháp hiệu quả là cần thiết sẽ giúp lưu trữ và xử lý dữ liệu lớn. Giải pháp này phải rẻ và nhanh, trong khi cũng thích nghi. Phân tích được cung cấp bởi giải pháp này cũng phải chính xác và không đổi. Vì vậy, những gì giải pháp cho vấn đề? Không còn nghi ngờ gì nữa, đó là Hadoop. (Để biết thêm thông tin về việc sử dụng Hadoop, hãy xem 5 Thông tin chi tiết về Dữ liệu lớn (Hadoop) dưới dạng Dịch vụ.)
Tại sao Hadoop là giải pháp tốt nhất cho giải trình tự bộ gen
Những gì ngành công nghiệp genomics cần là một giải pháp ưu việt có thể giúp họ quản lý dữ liệu hiệu quả, xử lý và lưu trữ nó để sử dụng trong tương lai. Giải pháp này dường như là một kết hợp hoàn hảo với phần mềm Hadoop. Vì vậy, Hadoop có thể được coi là phần mềm quản lý dữ liệu lớn hoàn hảo có thể cải thiện đáng kể các kỹ thuật lưu trữ dữ liệu hiện tại của ngành công nghiệp genomics.
Các khả năng thời gian thực của Hadoop, giúp các trình sắp xếp bộ gen có thể phân tích và lưu trữ một lượng lớn dữ liệu cùng một lúc trong thời gian thực. Điều này cũng cho phép sử dụng dữ liệu trong tương lai. Hadoop có thể đánh bại nhiều hệ thống cũ, vì nó nhanh hơn và đáng tin cậy hơn nhiều so với chúng.
Không lỗi, không căng thẳng - Hướng dẫn từng bước của bạn để tạo ra phần mềm thay đổi cuộc sống mà không phá hủy cuộc sống của bạn
Bạn không thể cải thiện kỹ năng lập trình của mình khi không ai quan tâm đến chất lượng phần mềm.
Những gì khác Hadoop có thể làm gì?
Do Hadoop, một số lượng lớn các khả năng và cơ hội đã mở ra trong lĩnh vực genomics và giải trình tự gen. Hadoop cung cấp các tùy chọn tính toán song song do có thể giải trình tự nhanh hơn. Ngoài ra, bằng cách sử dụng chức năng MapReduce của Hadoop, số lượng lớn gen có thể được ánh xạ rất dễ dàng. Bởi vì điều này, việc giải trình tự với Hadoop sẽ thực sự trở thành thế hệ tiếp theo và sẽ ít phức tạp hơn nhiều.
Cơ hội cho Hadoop
Hadoop có một số cơ hội trong ngành công nghiệp bộ gen, nhưng cơ hội tốt nhất được lấy từ bài viết của Lynda Chin, một cách hiểu về dữ liệu gen của bệnh ung thư, trên tạp chí Genes & Development. Trong bài viết này, cô thảo luận về cách thức bộ gen hiện đại đã mở ra những cánh cửa mới và điều này đã dẫn đến nhiều kết quả tích cực như khám phá thông tin bộ gen về ung thư. Do đó, chúng ta gần hơn để khám phá ra cách chữa trị ung thư. Tuy nhiên, điều này cần thêm một chút chú ý và một ứng dụng quản lý dữ liệu mạnh mẽ để có khả năng nghiên cứu tốt hơn trong lĩnh vực này. Đây có thể là cơ hội tốt nhất để Hadoop chứng minh tốc độ, sức mạnh và độ chính xác của nó.
Crossbow: Nền tảng quản lý dữ liệu thế hệ tiếp theo
Crossbow, một đường ống phần mềm có nghĩa là để phân tích sắp xếp lại bộ gen, là một trong những giải pháp tốt nhất. Đó là kết quả của sự tích hợp trong Hadoop giữa một thuật toán nhanh để sắp xếp dữ liệu được giải trình tự, được gọi là Bowtie, và một thuật toán mạnh mẽ để so sánh và kiểm tra dữ liệu được giải trình tự, tức là một kiểu gen có tên SoapSNP. Nó được xây dựng trên Apache Hadoop và dựa trên việc triển khai khung MapReduce. Crossbow là thiết bị cầm tay, có thể mở rộng và cũng phù hợp như một công cụ điện toán đám mây.
Với sự tích hợp mạnh mẽ này, một bộ gen hoàn chỉnh có thể được kiểm tra chỉ trong một ngày trên một cụm cục bộ có 10 nút. Với cụm 40 nút, quá trình thậm chí còn nhanh hơn và hoàn thành chỉ trong ba giờ với tổng chi phí dưới 100 đô la! Một nghiên cứu được thực hiện để kiểm tra độ chính xác của Crossbow cho thấy nó có thể so sánh từng bộ gen với độ chính xác 99%. Một tính năng hữu ích khác của Crossbow là nó chạy trên đám mây. Do đó, Crossbow sẽ cho phép hàng ngàn trung tâm giải trình tự trong tương lai, như bệnh viện, sắp xếp một lượng lớn dữ liệu bộ gen mà không cần bất kỳ máy tính và công nghệ mạnh mẽ, tốn kém nào.
Phần mềm genomics dựa trên Hadoop khác
Nhiều công ty đã công nhận sức mạnh của Hadoop trong việc thay đổi thế giới genomics. Họ đã sửa đổi Hadoop một cách thích hợp để khai thác tiềm năng của nó để giải trình tự bộ gen tiên tiến. Một số ví dụ về các giải pháp giải trình tự bộ gen dựa trên Hadoop nổi tiếng được đưa ra dưới đây:
- Hadoop-BAM: Đây là một công cụ quản lý dữ liệu mạnh mẽ sử dụng chức năng MapReduce của Hadoop cho các hoạt động khác nhau liên quan đến genomics, như kiểu gen. Điều này hoạt động trong định dạng Binary AlVEL / Map.
- Cloudburst: Giải pháp dựa trên Hadoop này đã được tạo ra vào năm 2009. Nó cực kỳ hiệu quả trong việc so sánh trình tự bộ gen và lập bản đồ các gen riêng lẻ. Đây cũng là một trong những ứng dụng dựa trên Hadoop đầu tiên được thiết kế cho mục đích này.
Phần kết luận
Sự tích hợp giữa dữ liệu lớn và ngành công nghiệp gen đang chứng tỏ là một lợi ích trong thời hiện đại. Những nền tảng này có hiệu quả trong việc khám phá các phương pháp điều trị một số bệnh như ung thư. Dữ liệu được tìm thấy bằng bản đồ gen có thể được sử dụng để xây dựng thông tin phòng ngừa các bệnh đó. Sự ra đời của dữ liệu lớn có thể được coi là một bước ngoặt trong thế giới genomics, và nếu thông tin được sử dụng một cách khôn ngoan, thì có thể trong lĩnh vực chăm sóc sức khỏe rộng lớn hơn. Cách duy nhất để lĩnh vực này tiến lên là sử dụng các công cụ quản lý dữ liệu phù hợp như Hadoop.