Động cơ nguồn mở cho dự án dữ liệu lớn của Xứ Basque

Open source motor for Basque Country’s big data project

Submitted by Gijs Hillenius on November 27, 2014

Theo: https://joinup.ec.europa.eu/community/osor/news/open-source-motor-basque-country%E2%80%99s-big-data-project

Bài được đưa lên Internet ngày: 27/11/2014

Chính quyền Xứ Basque ở Tây Ban Nha đang dựa vào nguồn mở cho một nền tảng lưu trữ phân tán phạm vi rộng. Hệ thống đó quản lý hầu hết các nhu cầu về tệp của chính quyền vùng tự trị này, điều hành hơn 1 triệu yêu cầu trong một ngày.

Các hệ thống cho phép trao đổi tệp an toàn và được quản lý giữa các ứng dụng được đặt chỗ trong mạng máy tính của chính quyền Xứ Basque và trong các mạng của các tổ chức khác.

Triển khai dữ liệu lớn của Xứ Basque kết hợp Apache HBase, một hệ thống quản trị cơ sở dữ liệu phân tán và giải pháp lưu trữ phân tán Hadoop. Chức năng tìm kiếm được Elasticsearch cung cấp.

“Vài năm trước, sự trao đổi các tệp lớn giữa các cơ quan hành chính nhà nước từng gây ra sự đau đầu”, Oscar Guadilla Jimenez, một kỹ sư phần mềm làm việc cho nhà cung cấp dịch vụ ICT do chính phủ quản lý, EJIE (Eusko Jaurlaritzaren Informatika Elkartea), nói. “Các nhà quản trị CNTT có thể nói rằng các hệ thống hoặc các máy chủ của họ có thể không cho phép điều đó, hoặc một sự trao đổi như vậy từng là không thể. Nên chúng tôi đã xây dựng giải pháp của riêng chúng tôi - chỉ trong 6 tháng, bằng việc sử dụng nguồn mở”.

Hệ thống đó bây giờ dẫn dắt các dịch vụ tích hợp nền tảng Platea (Platea Integración Services) của Xứ Basque. Platea là viết tắt của nền tảng CPĐT của Xứ này. Vài trong số các thành phần được làm cho sẵn sàng như nguồn mở, một ví dụ là Platea Integración Files, được làm sẵn sàng bằng việc sử dụng giấy phép nguồn mở của Liên minh châu Âu, EUPL.

Giải pháp đó cũng được sử dụng cho dự án dữ liệu mở của Xứ Basque.

Dễ sử dụng

5 lập trình viên ở EJIE đặt trọng tâm vào dễ sử dụng, ông nói. “Sự trao đổi làm việc khắp tất cả các máy chủ và các máy để bàn”.

Giao diện web của hệ thống dữ liệu lớn cho phép những người sử dụng tải lên các tệp và truyền chúng tới những người sử dụng khác. Như một sự lựa chọn, một dịch vụ tệp đám mây cho phép những người sử dụng lưu trữ, đồng bộ và chia sẻ các tệp quá lớn để được gửi bằng thư điện tử, chia sẻ chúng với những người khác bằng việc sử dụng các URL. Một tính năng hay là giải pháp tải lên các tệp, Guadilla nói: “Nó cho phép những người sử dụng tải các tệp lên và cùng lúc điền vào các mẫu theo yêu cầu”.

“Hành lang dịch vụ (service bus) của chúng tôi điều khiển nhiều hơn 1 triệu yêu cầu tệp mỗi ngày”, Guadilla nói. Các yêu cầu theo tiến trình sẽ được lưu trữ trong Hbase, và được các lập trình viên ở EJIE giám sát, bằng việc sử dụng các báo cáo để sáng tạo, xây dựng và kiểm thử các trao đổi tệp bổ sung.

Có khả năng thay đổi phạm vi và vững mạnh

“Hệ thống của chúng tôi chỉ cho các nền hành chính nhà nước khác rằng nguồn mở là chín muồi cho các dự án dữ liệu lớn”, Guadilla nói. “Nền tảng đó có khả năng thay đổi được phạm vi và vững mạnh, và chúng tôi có thể theo dõi và lần vết mọi điều xảy ra cho một tệp, theo tất cả các chi tiết, tuân thủ các luật về tính riêng tư của chúng tôi”, kỹ sư Guadilla nói.

Lập trình viên phần mềm đã trình bày dự án dữ liệu lớn này ở LibreCon, một hội nghị về CNTT-TT mở, đã diễn ra ở Bilbao hôm 11-12/11.

The Government of the Basque Country in Spain is relying on open source for a large-scale distributed storage platform. The system manages most of the file needs of the autonomous region government, handling over one million requests per day.

The systems allows the secure and managed exchange of files between applications hosted in the computer network of the Basque government and in networks of other organisations.

The Basque Country big data implementation combines Apache HBase, a distributed database management system and the Hadoop distributed storage solution. Search functionality is provided by Elasticsearch.

“A few years ago, the exchange of large files between public administrations caused big headaches”, says Oscar Guadilla Jimenez, a software engineer working for the government-owned ICT service provider, EJIE (Eusko Jaurlaritzaren Informatika Elkartea). “IT administrators would say that their systems or servers would not permit it, or that such an exchange was just impossible. So we built our own solution - in just six months, using open source.”

The system now drives the Basque Country’s Platea Integración Services. Platea is the acronym for the country’s e-government platform. Several of its components are made available as open source, one example being Platea Integración Files, made available using the European Union’s open source licence, EUPL.

The solution is also used for the Basque Country’s open data project.

Easy to use

The five developers at EJIE put the emphasis on ease of use, he says. “The exchange works across all servers and desktops.”

The big data system’s web interface allows users to upload files and transfer them to other users. Alternatively, a cloud file service allows users to store, synchronise and share files that are too large to be sent by email, sharing them with others using URLs. One nifty feature is the file upload solution, says Guadilla: “It allows users to upload files and at the same time fill-in the required forms.”

“Our service bus handles more than a million file requests per day”, says Guadilla. The work flow requests are stored in Hbase, and is monitored by the developers at EJIE, using the reports to invent, build and test additional file exchanges.

Scalable and robust

“Our system shows other public administrations that open source is mature for big bata projects”, Guadilla says. “The platform is scalable and robust, and we can track and trace everything that happens to a file, in all detail, conforming to our privacy laws”, says engineer Guadilla.

The software developer presented the big data project at LibreCon, a conference on open ICT, which took place in Bilbao on 11 and 12 November.

Dịch: Lê Trung Nghĩa

letrungnghia.foss@gmail.com