Лавинообразный рост неупорядоченных данных начал тревожить экспертов

03.12.2018      14246

Объем неструктурированных данных растет в 10 раз быстрее, чем упорядоченных. Специалисты опасаются, что без технологий обработки этого массива информации развитие цивилизации остановится.

Стремительный рост

Аналитики компании Igneous пришли к выводу, что почти половина ЦОДов Северной Америки сталкивается с задачей обработки большого объема неупорядоченных данных. 59% дата-центров управляют более чем 10 млрд файлов, а каждый год их объем растет на 23%. Такие сведения представлены в «Государственном докладе, посвященном анализу неструктурированных данных».

Всего в опросе приняло участие 200 руководителей ИТ-компаний. 55% респондентов рассказали, что их организациям приходится иметь дело с машинными данными: сведениями о работе приложений, серверов, гаджетов, мобильных устройств, объектов «интернета вещей», производственных датчиков. Объем неструктурированных данных в 10 раз превышает аналогичный показатель упорядоченных.

В среднем компания каждого опрошенного руководителя использует не менее семи серверов для хранения информации (NAS). У каждой третьей организации таких устройств более 10. Каждое двенадцатое предприятие имеет в своем распоряжении больше 50 NAS.

Вся ценность в данных

Большинство опрошенных предпринимателей уверены, что информация – одна из основных ценностей их бизнеса, наравне с клиентами и сотрудниками. При этом респонденты ставят ее выше бренда, интеллектуальной собственности и даже физических активов. По мнению руководителей, сведения составляют около 40% рыночной стоимости среднестатистического предприятия.

Больше всего респонденты обращают внимание на доступность информации и инструменты для ее анализа. Авторы опроса делают вывод, что это свидетельствует о необходимости повышения скорости доступа к неструктурированным данным и создания решений для их обработки. Исследователи отмечают, что сейчас на рынке достаточно устройств и программных комплексов для хранения неупорядоченных данных, но ощущается нехватка аналитических средств.

Надежды и опасения

Технический директор P1 Technologies Джефф Диниско весьма пессимистично оценивает будущее рынка обработки информации. По его мнению, без новых технологий для анализа неструктурированных нельзя сделать качественный скачок вперед. «Мы просто ничего не сможем сделать с таким массивом информации», – отметил он.

Топ-менеджер Igneous Киран Багешпар дает более оптимистичный прогноз. Он уверен, что, даже несмотря на нехватку аналитических инструментов, неупорядоченные данные находят все больше применения, их роль в развитии общества растет. В качестве примера эксперт приводит машинное обучение, которое на смогло бы существовать без изучения больших объемов информации.

Татьяна Бочарникова, глава представительства NetApp в России и странах СНГ, согласна с результатами исследования и тем фактом, что количество неупорядоченных данных растет по всему миру. Она также отметила тенденцию к оптимизации расходов компаний на ИТ-инфраструктуру, в том числе касающихся хранения информации.


Автор:
Аналитик


Какой объем дисковой памяти использует ваш домашний ПК?


Менее 256 ГБ (15.38%, 14 голосов)
15.38%
256-512 ГБ (19.78%, 18 голосов)
19.78%
512 – 1024 ГБ (20.88%, 19 голосов)
20.88%
1024 – 2048 ГБ (16.48%, 15 голосов)
16.48%
Более 2 ТБ (23.08%, 21 голосов)
23.08%
Нет домашнего ПК (4.4%, 4 голосов)
4.4%

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. Senator_I 13 03.12.18 10:08 Сейчас в теме
Двух дисков по 500 Гбайт не хватает ,периодически на внешние HDD информацию переношу.
Kochergov; +1 Ответить
2. trdm 03.12.18 10:37 Сейчас в теме
Достаточно научиться отсеивать важное от второстепенного и эта проблема исчезнет.
ccserg; Senator_I; +2 Ответить
3. Senator_I 13 03.12.18 11:01 Сейчас в теме
(2) Много раз были случаи, когда удаленные данные, которые даже стопроцентно не понадобятся, через время оказывались нужными позарез! Одну программу бесплатную, к примеру, полтора дня искал в интернете первый раз, когда попытался второй раз найти, так и не нашел, благо на другом компьютере сохранилась.
Kochergov; +1 Ответить
4. Поручик 4595 03.12.18 11:16 Сейчас в теме
(3) В облако запихивайте. Учётка на яндексе или мыл.ру есть у всех, тем более денег не просят
SITR-utyos; +1 Ответить
5. Senator_I 13 03.12.18 11:28 Сейчас в теме
(4) На Яндексе уже место закончилось, там самые необходимые "под рукой" данные, на майле есть еще немного места, но ненадолго.
22. Timur.V 57 04.12.18 11:54 Сейчас в теме
(5)
Можно создать несколько ящиков. Для каждого ящика место считается отдельно.
8. fd13 03.12.18 11:52 Сейчас в теме
(4) Учеток там не держу. Пользую гугловый диск (иногда) - совместная работа над документами неплохо организована, бывает полезно. Все основное в личном облаке на Synоlogy.
10. suepifanov 03.12.18 14:58 Сейчас в теме
(3) Плюшкины в наше время гигабайты копят)
ccserg; sergathome; Stref75; +3 Ответить
11. Senator_I 13 03.12.18 15:24 Сейчас в теме
(10) а промышленность идет навстречу, благо, цена нескольких гигабайт не соизмерима с автомобилем, как раньше.
15. spectre1978 59 04.12.18 09:14 Сейчас в теме
(3) у меня тоже такие случаи были. Но как по мне, все равно это ни разу не повод собирать весь хлам. Я лучше раз в десять лет помучаюсь с тем что "надо позарез", чем буду обрастать всем этим барахлом, в котором, если уж по чесноку, все равно ничерта не найдешь...
30. Healer 1 04.12.18 16:10 Сейчас в теме
6. Senator_I 13 03.12.18 11:29 Сейчас в теме
(2) P.S. кстати, тратить свой законный выходной на разбор данных вовсе не хочется! ;-)
13. Неопределено 86 04.12.18 04:25 Сейчас в теме
(6) Так не собирайте их. Ума не приложу чем можно было забить дома терабайт дискового пространства.
16. Senator_I 13 04.12.18 09:15 Сейчас в теме
(13) Ну во-первых там не только личные данные, но и софтина всякая, фильмы опять же и т.п. И не за один год скопилось, у меня ПК в 2001 появился.
17. Неопределено 86 04.12.18 09:32 Сейчас в теме
(16) Я, конечно, отстал на 3 года, но у меня тоже есть разный софт в виде игр по 20+Гб каждая и при этом занято всего гигабайт 300, а фильмы в наше время широкополосного доступа в сеть можно посмотреть и онлайн в 1080.
18. Senator_I 13 04.12.18 10:00 Сейчас в теме
(17) Вот перекроют доступ к онлайн фильмам,тогда посмотрим кто прав. )))
19. TODD22 18 04.12.18 10:18 Сейчас в теме
(17)человек пытается интернет скачать, а то вдруг отключат.
sergathome; +1 Ответить
21. Неопределено 86 04.12.18 11:03 Сейчас в теме
(19) Чего там качать? Эту штуку скинуть на дискету и готово.
33. Senator_I 13 04.12.18 16:58 Сейчас в теме
(21) Ну вот, я себя чувствую единственным виноватым в увеличении объема цифрового мусора. Я скачал файл из интернета, теперь он мне не нужен, как мне его закачать обратно??? ;-)
23. Timur.V 57 04.12.18 12:04 Сейчас в теме
(17)
(19)
Смотрел ролик с ютуба, кажется на Кубе трудно с интернетом.
Там у ~100 человек есть доступ в интернет. Они скачивают фильмы, музыку, может ещё что-то.
Затем к каждому такому человеку приходят люди со своими HDD и закачивают себе информацию.
Т.е. даже когда официально доступа к интернету нет, нашли способ обмениваться информацией.

А в России всё хорошо с интернетом? Поисковик Яндекс отбивается частично.
26. TODD22 18 04.12.18 14:19 Сейчас в теме
(23)
Затем к каждому такому человеку приходят люди со своими HDD и закачивают себе информацию.

Я так в начале нулевых ещё ходил, когда диалап был....
А в России всё хорошо с интернетом?

Вы не в РФ или у вас какие то проблемы с интернетом?
Вроде нигде с инетом проблем нет уже давно. У нас магазины даже в самых "зашореных" ПГТ и те с нормальным интернетом.
27. Timur.V 57 04.12.18 14:28 Сейчас в теме
(26)
У меня в Москве, интернет хорошо работает только через Tor браузер и VPN.
28. TODD22 18 04.12.18 14:58 Сейчас в теме
(27)у меня то же в Москве. И без тора нормально. Разве что на nnm через впн иногда захожу.
36. Неопределено 86 05.12.18 02:39 Сейчас в теме
(23) Мы раньше тоже ходили в гости с винтом, тут ничего нового. Не знаю, как в России в целом, но вчера общались со знакомым на тему интернета и оказалось что он на Кипре платит больше 30 евро за 10Мб/с, в то время как я плачу 10 за 100. Думаю, да, с интернетом у нас всё хорошо.
34. Senator_I 13 04.12.18 17:05 Сейчас в теме
(17) Ради интереса посмотрел что где на рабочем ноутбуке, так вот, папка 1cv8 в программных файлах, 1,28 Гбайт, установочник + развернутая пустая база почти 500 Мбайт. Всего, на диске С только винда и рабочие фалы с документами, 79 Гбайт занято, прочий софт, драйвера и прочее на диске D - 94,8 Гбайт, ноутбук использую только для работы, ни единого лишнего, развлекательного и т.п. файла.
38. katenok86 246 05.12.18 15:18 Сейчас в теме
(34)У меня временных файлов 1с, которые в \AppData\Roaming за месяц на 30 Гб накапливается, котрые 1с по идее сама должна чистить) Но приходится вручную
Senator_I; +1 Ответить
7. mkalimulin 719 03.12.18 11:30 Сейчас в теме
"...несмотря на нехватку аналитических инструментов..."
это мозгов что-ли?
shard; awk; +2 Ответить
12. Darklight 28 03.12.18 17:11 Сейчас в теме
(7)Автоматизированные адаптивные интеллектуальные обладающие как бинарной так нечёткой логикой анализа средства:
1. Поиска и классификации данных (массивов данных - здесь и далее)
2. Группировки, ранжирования и сравнения
3. Перераспределения расположения согласно заданным критериям
4. Ликвидации дублирующей и устаревшей информации
5. Версионирования, архивирования (в в прямом смысле, а не просто сжатие), распределение по динамичеcкой карте востребованности
6. Прогнозирования появления будущих структур информации/изменения текущих данных, их распределения по разным критериями (включая востребованность, конфиденциальность и занимаемое место)
7. Управления конфиденциальной и приватной информацией, а так же наоборот публичными и общими данными
8. Верификации, сличения, контроля и защиты данных

P.S.
Лично я уж без таких средств тону в объёме имеющихся у меня личных данных - а это десятки терабайт накоплений на HDD и терабайты на оптических дисках! Это только дома. А на работе - рабочие данные занимают ещё больше!
9. VmvLer 03.12.18 14:00 Сейчас в теме
необходимо разрабатывать и внедрять простые технологии самоуничтожения (self-destruction), т.е. каждый файл должен:
1. кроме системных свойств (дата создания, размер..) иметь свойство "период жизни".
2. задача администраторов принудительно задавать "период жизни" для типов файлов компании

аналитические данные и инструменты быстро устаревают. Пользователи просто забывают удалить хлам,
а сервера и дата-центры тонут в кучах г.

таким образом, спасение цивилизации заключается в том, что данные должны потерять особенность быть вечными
SKravchenko; Darklight; +2 Ответить
24. _wlad_ 04.12.18 13:54 Сейчас в теме
(9) Поджигатели Александрийской библиотеки такую сложную идеологию не придумывали, но результат похожий.
Senator_I; +1 Ответить
14. spectre1978 59 04.12.18 09:10 Сейчас в теме
А по-моему, неструктурированная информация - это по сути мусор, и большой вопрос, есть ли смысл ее вообще накапливать. Видимо, я не в тренде...
20. TODD22 18 04.12.18 10:39 Сейчас в теме
(14)
А по-моему, неструктурированная информация - это по сути мусор
для кого то мусор. А для кого то полезные для анализа данные.
25. _wlad_ 04.12.18 13:59 Сейчас в теме
(14) Вы предлагаете если в квартире вдруг бардак, то надо не наводить порядок, а просто всё вынести на помойку, сесть на полу и медитировать в пустой комнате как Будда ?

Но вы этого не знаете - мусор или нет, ведь она неструктурирована.
29. spectre1978 59 04.12.18 15:02 Сейчас в теме
(25) Нет, я предлагаю не накапливать мусор в процессе. Это довольно просто. Нужно просто класть на место то, что берете, и вовремя выносить ведро. Применительно к информации - это вопрос информационной культуры производителей и потребителей информации. К сожалению, с этим есть проблемы.
31. Healer 1 04.12.18 16:10 Сейчас в теме
Вообще на руборде есть практически всё.
32. sergathome 3 04.12.18 16:16 Сейчас в теме
Напомнило анекдот про гондурас.
35. ccserg 58 04.12.18 17:24 Сейчас в теме
накачают все подряд из сети , и потом места не хватает , это мусор а не данные )))
90 % этих данных никогда не понадобятся
37. vipetrov2 05.12.18 07:52 Сейчас в теме
Эта проблема существует уже давно, а решений нет. Анализировать не структурированные данные можно с помощью ИИ, но в этом направление развитие идет слабо. Зато всякую бребятину с помощью ИИ делают, а что надо запинывают в долгий угол. В этом плане интересно, правительства хотят следить за интернетом и записывают все подрят, а анализировать эти данные возможности нет. Там спецслужбы в ручном режиме по необходимости выдергивают информацию об одном человеке. Так что свободе в интернете ничего не угрожает.
Оставьте свое сообщение

См. также

GitHub опубликовал статистику по языкам и проектам за 2022 год

Новость ИТ-новость Языки программирования Разработка

В статистическом отчете репозитория названы самые популярные языки программирования среди пользователей платформы, а также данные об активности аудитории сервиса.

01.12.2022    1170    VKuser24342747    11       

Инспекторы смогут проводить дистанционные проверки через смартфон

Новость ИТ-новость Мобильные приложения

Минэкономразвития представило мобильное приложение, которое позволит осуществлять надзорные мероприятия бизнеса без посещения офиса. Программа работает через Госуслуги.

28.11.2022    1173    VKuser24342747    0       

«Яндекс» представил бесплатный сервис для быстрого поиска в облаке

Новость ИТ-новость Облачные технологии

Сервис Managed Service for OpenSearch от платформы Yandex Cloud предназначен для оптимизации поисковых систем и проверки стабильности и безопасности работы приложений. Услуга доступа в режиме Public Preview.

24.11.2022    1432    VKuser24342747    1       

В декабре начнут действовать новые правила регистрации доменов .RU и .РФ

Новость ИТ-новость Роскомнадзор

С 12 декабря Роскомнадзор получит право прекращать делегирование домена, если он оформлен нелегально, или на сайте содержится запрещенная в России информация.

23.11.2022    1190    VKuser24342747    1       

Stack Overflow запустил проект для оффлайн-доступа к форуму

Новость ИТ-новость Разработка

Проект под названием Overflow Offline позволяет скачать актуальную версию архива вопросов и ответов по разработке ПО. По объему данных база форума уступает только «Википедии».

02.11.2022    1159    VKuser24342747    1       

Минцифры запустило магазин российского ПО из реестра ИТ-решений

Новость Импортозамещение ИТ-новость

Маркетплейс «Руссофт» стал доступен для всех пользователей. С его помощью можно подобрать программы от отечественных разработчиков для решения корпоративных задач бизнеса.

21.10.2022    1638    VKuser24342747    4       

В ноябре начнется создание российского государственного аналога GitHub

Новость ИТ-новость

Правительство озвучило дату запуска эксперимента по разработке отечественного репозитория ПО. Исходники программ, в том числе разработанных для госорганов, будут публиковаться в нем под открытой лицензией.

19.10.2022    2381    VKuser24342747    14       

OpenAI опубликовала код системы распознавания речи Whisper

Новость Искусственный интеллект ИТ-новость

OpenAI открыла исходный код эталонной реализации на базе фреймворка PyTorch и набор уже обученных моделей для использования под лицензией MIT. Нейросеть используется для перевода речи в текст.

28.09.2022    2657    VKuser24342747    0       

Вторая версия среды разработки для плат Arduino вышла из бета-теста

Новость ИТ-новость Микроэлектроника

Arduino IDE 2.0 получила стабильную версию, в которой появилась поддержка автодополнения кода и темная тема. Разработка заняла несколько лет. Программа распространяется бесплатно.

23.09.2022    2650    VKuser24342747    0       

Основатель движения свободного ПО выпустил руководство по языку C

Новость Linux ИТ-новость Языки программирования

Ричард Мэттью Столлман, основатель Фонда свободного программного обеспечения, представил руководство по языку C и расширениям GNU. Пособие доступно всем желающим и предназначено как для опытных, так и начинающих программистов.

19.09.2022    2208    VKuser24342747    0       

«Ростелеком» предложил создать национальную экосистему на базе «Авроры»

Новость Импортозамещение ИТ-новость Мобильные приложения

Провайдер считает, что государственная мобильная экосистема поможет обеспечить технологическую независимость и экономический подъем страны. А ОС «Аврора» наиболее перспективная разработка для достижения этих целей.

15.09.2022    2154    VKuser24342747    5       

Яндекс выложил в открытый доступ инструмент для разработки мобильных приложений

Новость ИТ-новость Мобильные приложения Яндекс

Фреймворк DivKit от Яндекса стал доступен как open source решение. Инструмент позволяет менять интерфейс приложений без скачивания обновлений и значительно ускоряет мобильную разработку.

02.09.2022    1826    VKuser24342747    0       

Группа компаний «Астра» представила собственную мобильную ОС

Новость Linux ИТ-новость Мобильные приложения

Доработанная ОС Astra Linux Special Edition может быть запущена на большом числе мобильных устройств, в том числе на планшетах и смартфонах с процессорами на архитектурах ARM, «Эльбрус» и x86-64.

25.08.2022    1506    VKuser24342747    1       

В России разработаны меры для решения проблемы нехватки ИТ-специалистов

Новость ИТ-новость

Вице-премьер Дмитрий Чернышенко сообщил, что сейчас экономике страны не хватает 1 млн ИТ-специалистов. Способы преодоления дефицита закреплены в программе нацпроекта «Цифровая экономика»

05.08.2022    1659    VKuser24342747    11       

Яндекс открыл доступ к фреймворку для создания приложений с микросервисной архитектурой

Новость GitHub ИТ-новость Яндекс

Инструмент Userver опубликован как бесплатное open source решение. Яндекс уже несколько лет эффективно его использует в своих приложениях Go, «Еда», «Лавка», «Доставка» и другие. Фреймворк находится в стадии бета – переезда на открытую разработку.

02.08.2022    2508    VKuser24342747    19       

Бизнес сможет использовать повышающий коэффициент для расходов на покупку ПО

Новость ИТ-новость

Принят закон, который позволяет компаниям учитывать расходы на отечественные программы и радиоэлектронное оборудование с коэффициентом 1,5. Решения должны быть включены в соответствующие реестры и относиться к ИИ.

26.07.2022    2272    VKuser24342747    0       

Минэкономразвития тестирует миграцию с Windows 10 на Astra Linux

Новость ИТ-новость

Министерство проводит эксперимент, в ходе которого сотрудники используют российскую ОС Astra Linux вместо Windows 10. По словам главы департамента, эксперимент проходит успешно.

11.07.2022    1834    VKuser24342747    0       

Вышла версия открытого текстового редактора Vim 9.0

Новость ИТ-новость

В приложение добавлен скриптовый язык с поддержкой компилируемых функций для создания плагинов, улучшена проверка правописания и автодополнения, предоставлен выбор цветовых схем.

07.07.2022    2001    VKuser24342747    0       

 «Яндекс» открыл доступ к SmartCaptcha и нейросети по генерации текстов 

Новость ИТ-новость Яндекс

Компания открыла доступ к алгоритму SmartCaptcha, который защищает сайт от спама и DDoS-атак, а также к проекту YaLM 100B, способному писать тексты на английском и русском языках. 

29.06.2022    2252    VKuser24342747    0       

«Яндекс» предложил разработчикам пройти диагностику технических навыков

Новость Кадровые агентства, подбор персонала ИТ-новость Яндекс

Компания запустила сервис, при помощи которого можно получить оценку своих технических навыков от специалистов «Яндекса». Тестирование включает онлайн-интервью и решение задач с реальных собеседований. 

27.06.2022    2170    VKuser24342747    1       

GitHub открыл доступ всем разработчикам к ИИ-помощнику Copilot по подписке

Новость GitHub Искусственный интеллект ИТ-новость

Github Copilot стал общедоступным, но для его использования пользователю репозитория нужно приобрести подписку. Хотя некоторые разработчики могут пользоваться инструментом бесплатно.

24.06.2022    3820    VKuser24342747    1       

В России планируют учредить Федерацию спортивного программирования

Новость ИТ-новость

Минцифры и Минспорта подписали меморандум, в котором закреплено сотрудничество ведомств по развитию в стране спортивного программирования и проведение первого официального чемпионата.

21.06.2022    2763    VKuser24342747    6       

Microsoft окончательно прекратила поддержку Internet Explorer

Новость Интернет ИТ-новость

Microsoft прекратила выпуск обновлений для своего браузера Internet Explorer, а с августа начнет удалять приложение из актуальных версий Windows. Эксперты полагают, что из-за этого пострадает много бизнес-пользователей.

17.06.2022    3260    VKuser24342747    4       

В России начал работу отечественный сервис мониторинга сбоев

Новость Импортозамещение Интернет ИТ-новость

Российская компания BrandAnalytics запустила платформу «Детектор сбоев», предназначенную для отслеживания работоспособности сайтов и сервисов, в том числе русскоязычных.

16.06.2022    2115    VKuser24342747    0       

Минцифры запустило систему отслеживания поддельных сайтов

Новость Безопасность Интернет ИТ-новость

Информационная система под названием «Антифишинг» способна обнаруживать мошеннические веб-ресурсы, которые выглядят как официальные сайты госорганов, компаний и соцсетей.

14.06.2022    2962    VKuser24342747    0