НовостиОбзорыСобытияIT@WorkРеклама
Идеи и практики автоматизации:

Блог

Зачем шпионы софт донатят

Очередная мощная система обработки Big Data стала общедоступной. Обычно фонду Apache подобные технологии благотворительно "жертвуют" крупные корпорации, в значительной степени ради пиара, но этот случай особенный: система Accumulo поступила в апачевский инкубатор от Агентства национальной безопасности США.

[spoiler]Accumulo -- классическое распределенное хранилище ключ-значение, основанное на модели Google BigTable, и похожее на HBase. Написано на Java, 200 тыс. строк кода, управляемые апачевской системой управления программным проектом Maven. Ключевая его особенность -- в возможности сопровождать метаданными (метками) буквально каждую "ячейку" в базе! За счет этого становится возможным авторизованно обращаться к конкретным элементам записей, не загружая даже внутри движка остальные данные, относящиеся к конкретной сущности. Таким образом удастся обеспечить прежде всего высокую приватность информации -- например, анонимно собирать всевозможную статистику, не связывая ее с именами и фамилиями владельцев.

АНБ пояснило причину такой щедрости формальным намерением шире внедрять технологии Big Data с качественной защитой в госсектор, а также тесной связью Accumulo с другими проектами фонда: middleware Hadoop, Zookeeper (распределенная синхронизация и конфигурирование), и Thrift (стек для кросс-языковой разработки), но вот этот повод, очевидно, вторичен. Почему бы тогда вообще весь свой софт, основанный на open source, не сделать открытым?

Причина, скорее обратная: именно потому, что Accumulo тесно связана с проектами Apache (а в АНБ наверняка имеются и закрытые форки Accumulo), она заброшена в этот великий фонд, дабы, конечно, и попиариться, и госструктуры поддержать, и технологию на халяву посовершенствовать, и, главное, потенциальных помощников, спецов мирового класса, прямо или косвенно повербовать. Недаром агентство в дополнение к софту и документации организует обучающие курсы по Accumulo.