{Коллеги! Если кто-то голосовал по прямым ссылкам, переголосуйте, пожалуйста, с сайта конкурса! По прямым счетчик не перебрасывается!!!
прескриптум: статья представлена на конкурс Минфина, и менять ее текст нельзя. Но писать на ту же тему в новой статье нельзя по редакторской политике ИС. Выход такой: новый текст я размещу в конце статьи после первоначального текста, пометив границу как-нибудь.
Отдельный эпик - это интрига вокруг "приза зрительских симпатий. Определенно - тема для "OpenData-3", а пока я только добавлю (8 марта на носу!) ссылку на фотки одного из своих "болельщиков"}
"Программы «Открытые государственные данные» часто сталкиваются с сопротивлением как со стороны бюрократических сил в правительстве, так и со стороны субъектов внутри и вне правительства, пользующихся привилегированным доступом к данным. С учетом этого, наличие сильного и устойчивого политического руководства является одной из важнейших предпосылок для преодоления вышеописанного сопротивления и обеспечения защиты от политических и других рисков, связанных с раскрытием государственных данных."
THE WORLD BANK, РАБОЧАЯ ГРУППА ПО ОТКРЫТЫМ ГОСУДАРСТВЕННЫМ ДАННЫМ
1. «Средний достаток семьи Макиавелли не позволил Никколо поступить в университет»
Написать эту статью я решил вот прямо сейчас, за неделю до конкурсного дедлайна осознав две или три очень неприятные вещи.
Что за конкурс, спросите вы, и будете совершенно правы. Спрашивать, что за неприятности могут случиться за неделю (!!!) до дедлайна, не стоит.
Но я вам все равно расскажу об этом. Кому-то это может спасти жизнь, почему нет?
В современном мире есть такая фича – открытые данные. Open data, если вы понимаете, что я хочу сказать. Если не понимаете, то сходите на Wiki , я не для того стал писать вам это, чтобы пережевать то, что давно уже пережевано. Я вам скажу то, что думаю об этом сам. Те мысли и тот опыт, который появился после того как сходил к организаторам конкурса на семинар и решил, что в этом не просто что-то есть, а, во-первых, вообще открытые данные – это хорошо, и, во-вторых, на 1С’е действительно можно сделать интересную и реально полезную вещь в тему.
Итак, вы уже сходили на Wiki и знаете, что такое open data. Теперь для консенсуса и связки слов я должен показать вам свою точку зрения. Сверить когнитивные карты, я всегда так говорю.
Open data – это информация.
Нет, рано еще. Вы не поняли. Это – не общее место, в смысле – не банальность.
Информация – это некая сущность, которую создает источник информации, и получает приемник информации. Прошу заметить, о каналах передачи в моем определении нет даже намека! И это правильно.
Со времен гигантов – Шеннона, Винера, Котельникова и Колмогорова – акцент всегда делался на слове передача. Вот как это выглядит:
Между двумя точками – поток некоторого массива нулей и единичек, вот что такое информация, к которой привыкло массовое подсознание. Количество информации при этом – просто размер передаваемого массива. С этой точки зрения картинка и поток слов от говорящей головы с экрана телевизора – тоже информация.
Очевидный, казалось бы, факт, что на стороне приемника должен быть известен формат передаваемого файла, на практике, конечно, учитывается. Но как? Скорость каравана в пустыне определяется самым медленным (lose) верблюдом. В случае телевизора, это означает, что передача превращается в набор пропагандистских штампов. А в хай-теке развивается паранойя по поводу утраты информации из-за устаревания носителей. И никаких «рукописи не горят»!
Думаете, со времен Шеннона что-то изменилось, и информация теперь уже рассматривается не только как кибернетическая сущность? С одной, теоретической, стороны, таки нет. Вот как это выглядит у современных теоретиков:
(с) Вяткин В.Б., «Синергетическая теория информации: пояснения и терминологические замечания»
А с другой стороны таки да!
Что случится, если мы будем рассматривать передачу информации не как попытку передатчика управлять процессами в приемнике, а как часть более общего общения между ними? И не только в смысле предварительной договоренности о протоколе.
А в смысле – внимание, здесь ключевое слово – РАВНОПРАВНОГО общения. В том смысле, что источник информации не рассматривается ни как благодетель, снисходящий до потребителя, ни как невозможный гуру и ни как манипулятор общественным мнением.
Источник информации открывает ее нам, как партнер. Смотрите, говорит он нам, я по-честному выполняю для вас свою работу, и вот вам результаты, ознакомьтесь.
Да, разумеется, остаются вопросы полноты, достоверности, актуальности открытой информации. Но все это – уже технические детали. Важно то, что концепция – прозвучала. И не просто прозвучала, а началось реальное воплощение. Вопреки тому, что…
В государственной деятельности, поучал Макиавелли, всегда в выигрыше те, кто имел лисью натуру, при этом нужно быть изрядным обманщиком и лицемером, чтобы умело прикрыть эту натуру.
Кто виноват?
2. Хотим как лучше
И вот, в рамках продвижения такой, со всех сторон хорошей идеи объявляется конкурс. Вы уже сходили по ссылке? Тогда я продолжу.
Но главное – эти люди не проводили «тендер». Они реально хотели, чтобы мы сделали что-нибудь.
Собственно, вернемся чуть выше, туда, где я говорил о равноправии в информационном поле. Проблема качества открытой информации – это одно. А другое – это кто и как использует эту информацию. Как он может использовать ту информацию, что уже есть. Настоящая проблема здесь. Если в обществе нет культуры использования доступной информации, то ты хоть весь пооткрывайся, толку не будет.
И я поверил тем людям, собравшим нас там на этот семинар. (Кстати, замечу в скобках, «нас» там собралось на удивление мало, мои ожидания обманулись как минимум на порядок.)
Они действительно хотят популяризации открытых данных, и именно за этим нас туда собирали. Это – хорошо, и это снова разогрело меня. И, ох уж это deja vu, они же снова и охладили.
То, как они себе представляют результат работы программиста в их конкурсе, это совсем не то, что я хотел (и мог) им предложить. Основным (и едва ли не единственным) из их семинарских слов было визуализация. Ну, возьмите же какую-нибудь табличку, - говорили они. Вставьте эту табличку в какую-нибудь общедоступную графическую оболочку и получите красивую картинку! Вуа-ля! Задание выполнено.
Вот примерные образцы того, что организаторы конкурса (со всем уважением!!) добивались от «нас», если конкретизировать их смысл слова «популяризация».
То есть, эти «приложения», если опустить детали, просто HTML-документы, напичканные собранными из сетки ява-скриптами. Эти скрипты должны вытянуть с сайта Минфина какую-нибудь табличку и красиво ее показать. С расшифровкой (детализацией) по event’у, разумеется.
И что тут делать 1снегу? Вывести табличку в диаграмму – это даже не тестовое задание при приеме 1снега на работу. Но! Тру-программисты, они потому и тру-программисты, что усердно собирают в свои проекты опенсосные скрипты. А за нас все это уже сделал вендор. Но! Их средства разработки, их платформа остается за кадром, к конечному пользователю отправляется только файл «приложения» (если не считать платформой «любимый брозер»). А наша платформа должна иметь место быть у пользователя. Такие дела. Пичалька.
Это – не считая того, что все мало-мальски пригодные таблички уже визуализованы. Ага. И не считая того, что нужную табличку надо взять именно у Минфина.
3. Главное – это участие
Перед тем, как продолжить, давайте вместе еще раз взглянем на то, как сформулированы условия конкурса. Это условия участия:
А это – положение о конкурсе:
Вот такая Сцилла&Харибда.
Разумеется, я отдам свою базу бесплатно, то есть даром. Но я не отдам свой ключ защиты, он очень дорог мне. А даже если бы и отдал – я не могу отдать свой ключ (один ключ, локальный) даже только членам жюри. Определенно, на всех не хватит.
Тот факт, что по распространенности с 1С может конкурировать только MS Office, не поставит 1С в одинаковые условия с классом веб-брозеров. Но, если кто не знает, вендор оставил нам маленькую лазейку в бесплатность.
С учетом ограничений учебной версии, на ее базе невозможно развернуть не то, что веб-сервис, но даже расшарить ее в интрасети. Это локальная платформа, на одного пользователя.
Но для одного пользователя из нее вполне можно сделать интернет-приложение. Это не будет аналогом веб-брозера, ни в коем случае. Кто хоть раз пробовал работать с интернетом в «ПолеHTMLДокумента», тот поймет. Не спасает и ActiveX WebBrowser Control.
Но то, что нам надо – отправить запрос и получить ответ с веб-сервера, мы сделаем. А уж из полученной таблички сделать диаграмму… см. выше, мы уже обсуждали это. И это будет интернет-приложение, что же еще?! И это будет бесплатное интернет-приложение.
И это еще не все. Нет, я не о том, чтобы получить с вендора денег за рекламу, забудьте, хотя направление правильное. Я том, что такая база данных является прототипом – работающим прототипом! – полноценного веб-проекта. Условия конкурса не требуют бесплатности ПО на стороне сервера, и все, что нам потребуется по сравнению с «обычными» веб-проектами, это прикупить лицензию на сервер 1С. Выглядеть это будет примерно так:
Итак, убедил ли я вас в том, что база 1С может быть и, что гораздо важнее, может считаться интернет-приложением? Тут ведь дело не в том, есть ли у членов жюри наша платформа, и если нет, захотят ли они скачивать и устанавливать у себя учебную версию. Дело, как было сказано выше, в наличии концептуальных барьеров: 1С – это бухгалтерия, а 1снеги – не программисты, точка. И действительно, у автора текста, который вы сейчас читаете, нет свидетельств, кроме сертификатов вендора, что он – программист. А вот корочка, что он – бухгалтер предприятия, есть.
Что делать?
4. Главное – это достижение цели конкурса
Цели достигаются решением задач, верно?
Можно ли на платформе 1С повысить вовлеченность граждан в деятельность Минфина? Странный вопрос, если учесть, что именно на платформе 1С граждане у нас массово вовлечены как раз именно в его деятельность, особенно в деятельность Федеральной налоговой службы. Не такой уж и странный, если учесть, что те граждане, которые вовлечены, они уже вовлечены, и отнюдь не в раскрытие данных.
По впечатлениям от семинара, и, особенно, по указанным выше образцам «приложений», привлекать Минфин хочет те широкие слои граждан, которые об 1С, может быть, и не услышат никогда, зато, полностью погрузившись в процесс, тыкают пальцами в экраны мобильных девайсов в вагонах метро. Признаюсь, осознание этого фактора и является для автора одним из основных демотиваторов, одной из тех неприятностей, с которых начиналась эта статья.
1С, господа-товарищи, это гораздо больше, чем бухгалтерия, расчет зарплаты и учет товара на складе. Но, как видим по факту, даже и самому вендору не очень-то удается вызвать у широкой публики когнитивный диссонанс в этом вопросе.
Но мы попробуем. Мы уверены, что публика, тыкающая в вагонах метро в мобильные девайсы, тыкает отнюдь не в образцы приложений, представленных выше. Мы уверены, что те граждане, кого способны увлечь открытые данные Минфина, предпочтут изучать их на десктопе, а не на экране мобильника. И мы уверены, что 1С – это готовый, прошедший апробацию инструмент автоматизированной обработки и представления … данных. Любых данных, в том числе и открытых государственных финансовых.
Что может быть лучше, чем популяризация данных на 1С? Все что от нас требуется – это предоставить образец, в котором сформированы методические подходы к аналитическому представлению и визуализации данных о состоянии финансово-бюджетной сферы.
Давайте, просто сделаем это.
5. Это база данных, парень
Признаюсь, увлекшись идеей открытых данных, автор не сразу обратил внимание на то, что в конкурсе требуются конкретно данные Минфина.
Первым, и, наверное, естественным, движением 1снега было желание собрать в кучку информацию обо всех открытых данных в мире и посмотреть, а что же там, собственно, есть. В сети были найдены многочисленные попытки свести такую информацию воедино, в России – с российскими государственными открытыми данными – это было сделано государством же.
Ни одна из этих попыток не претендует на полноту, и это плохо.
Вот скажите, как, по-вашему, должно выглядеть использование открытых данных конечным пользователем? Любых данных, не только Минфина.
Можно ли представить себе, что человек задумчиво смотрит в потолок и говорит, вот мол, были бы у меня вот такие-то данные, уж я бы сделал с ними что-нибудь? По-моему, человек, который так говорит, не сделает на самом деле ничего. Человек, который что-нибудь сделает, не станет так говорить. Он либо постарается раздобыть себе эту информацию, либо, что более вероятно, обойдется без нее. Нельзя сделать так, чтобы человек заинтересовался тем, чего нет.
С другой стороны, очень легко представить себе человека, который не знает, что ему делать, но у него есть много разной открытой информации, и он просто смотрит на нее. Вдруг – раз! Оба-на! А ведь с этой информацией можно сделать то-то и то-то! Или то-то, а если не получится, то – это!
То есть, первое, что надо сделать с информацией в целях повышения вовлеченности граждан – это просто дать ее. А уж граждане разберутся, надо им это или не надо.
Но автор согласится с тем, кто скажет: тебя позвали не пользоваться теми крохами информации, которую Минфин решил сделать открытой. Тебя позвали, чтобы ты донес до сограждан то, что есть. Твоя идея сделать всеобщий полный вселенский универсальный каталог opеn data хороша, интересна, и ты можешь со всей душой сделать это.
Но этот конкретный конкурс организован Минфином, и задание сформулировано очень просто: надо использовать ту информацию, которая уже дана.
Осталось меньше недели, но это больше, чем дают обычно на тестовое задание при приеме на работу, верно?
В конце концов, если вы просто сходите туда и посмотрите, что там есть, автор не зря все это здесь написал.
• http://budget.gov.ru/data/opendata
• http://minfin.ru/ru/opendata/
• http://bus.gov.ru/public/opendata.html
• http://nalog.ru/opendata/
• http://fias.nalog.ru/Public/NewsPage.aspx
• http://roskazna.ru/opendata/
• http://zakupki.gov.ru
***
{здесь закончился текст, представленный на конкурс. Дальше пошло продолжение уже.}
Конечно, я хочу победить в этом конкурсе.
Но с такой же определенностью понимаю бессмысленность призывов "поддержать коллегу". Поэтому никаких сантиментов, а только четкая логика "для пользы дела". Поэтому - не раздел life, а управление проектами.
Да, именно управление проектами.
Потому что моя конкурсная конфигурация - это не просто проект в том смысле, который вкладывают в этот термин организаторы конкурса. Эту конфигурацию (при всех ее недостатках, которых я вижу больше, чем достоинств) можно считать точкой отсчета целого направления. Или даже "отраслевого решения".
У так называемых "открытых данных" в России - своя судьба, как всегда. Но, не вдаваясь в политэкономию, можно сказать, что это направление в России появилось и будет продвигаться. Просто потому, что оно есть у буржуев, и приносит там реальный экономический эффект. И рано или поздно экономический эффект будет проявляться и в России. А значит появится бюджет.
Плюс к тому ж, проект может (и должен) охватывать - на русском языке - и буржуинские OpenData. А это уже серьезный бюджет, и не в неопределенном будущем, а вот прямо сейчас. Пока кто-то другой не успел монополизовать тему.
Правительственные (и не только) организации выкладывают в сеть текстовики (в разных форматах и кодировках) с нужной бизнесу информацией. Информации - море, и чтобы найти что-то нужное, надо знать, где и что искать.
Итак, первая тема - это сбор и систематизация информации об информации. Каталог. Библиотека. В множеством различных разрезов классификации. С продвинутыми фильтрами.
Вторая тема - это это обработка конкретных файлов, преобразование их к виду (формату), с которым можно работать, как с частью базы данных.
Третья - тема - "связывание" информации. То есть представление семантически связанной информации из разных источников в виде таблиц базы данных, связанных ссылками.
Полученную таким образом библиотеку, вместе с аналитических аппаратом, можно уже будет продвигать на рынок.
Есть ли что-то подобное уже сейчас? У буржуев - не знаю. В России есть попытки сделать что-то на уровне веб-сайтов. Результат (пока) не впечатляет. Рынок (пока) свободен.
Первая конкретная задача по проекту может быть поставлена уже сейчас: надо разработать два механизма парсинга сайтов с открытыми данными. Это "обычный" парсинг DOM, и парсинг на основе указателей, предоставляемых поставщиком информации.
Еще надо найти приемлемый способ борьбы с левыми кодировками текстовых файлов.
Надо привести в красивый и пригодный для расширения вид алгоритма преобразования CSV-файлов (с разными приколами) в таблицу значений.
И вообще переписать все с начала, следуя стандартам разработки вендора.
Единственный недостаток проекта в настоящее время - отсутствие бюджета. Но у нас твердое "может быть".
Таким образом, уважаемые коллеги, я призываю вас не просто поддержать проект голосованием, но принять в нем прямое и непосредственное участие. Разве не с этого начинается управление проектом?
Нет, автор не мобилизует вас на войну с хабра-хабром :)
Наша миссия - нести свет.
Например, на темной стороне хабры реальный головняк - парсинг текста с разделителем табуляцией.
Разве знание о том, что табуляция в 1С обрабатывается точно так же, как любой другой символ, не увеличит общее количество добра в мире? Мы с народом харбара говорим на разных языках: проблемы разделителя-табуляции в 1С просто не существует. Но настоящая разница в том, что мы о своей работе думаем разными уровнями абстракции: так когда я услышал там "связанные данные" - я услышал "семантическая связь между столбцами таблицы". А кульно по веб-программистски это - data binding - связь между XML и HTML таблицами.
Теперь представьте себе, насколько в сторону света продвинет хабру знание о том, что на этом конкурсе победил 1сный проект?! Страшно представить...
Но есть и более важный аргумент, тоже из области управления проектами. "Не имей сто рублей, а имей сто друзей", - это правило пришло нам от тех далеких предков, для которых "деловой" означало не блатного, а именно "хороший, проверенный менеджер проектов". "Он был в деле", - говорили наши предки.
Если вы проголосуте сами и пригласите проголосовать своих друзей, попросив, чтобы и они пригласили друзей... Такая рекурсия, если вы примете в ней участие, даст вам реальное основание рассчитывать на то, что, когда придет ваше время, и на ваш призыв откликнемся мы, и придем, и проголосуем.
Еще один аргумент я приберег на последок.
Этот проект расширяет область применения платформы. Не только в "отраслевом" расширении opendata, но в целом классе веб-приложений.
Такое расширение прямым следствием имеет ослабление давления рынка труда на каждого из нас. Небольшое, но отличное от нуля. Победа этого проекта в этом конкурсе повышает вашу востребованность как специалиста в 1С, примете вы непосредственное участие в проекте или не примете.
Ну, вот, я уже исчерпал все свои аргументы, просто проголуйте за мои проекты. Пожалуйста :)
Не надо лазить по каким-то сайтам, что-то искать, куда-то жамкать.
Подводим итоги работы в 1С за 2023 год. Все о вас: 4 подробных раздела с цифрами, графиками и ужасными цветами диаграмм (должна же где-то быть стабильность).
В процессе написания статей на тему Идеальное место работы ЗУПера нужен аргументированный текст про адекватного работодателя. Информации получилось много, поэтому выделю в отдельные 2 статьи. Рассмотрим все недостатки работодателей от момента собеседования до момента увольнения. Все этапы, как всегда, подкреплены реальными случаями из моего опыта.
В процессе написания статей на тему Идеальное место работы ЗУПера нужен аргументированный текст про адекватного работодателя. Информации получилось много, поэтому выделю в отдельные 2 статьи. Рассмотрим все недостатки работодателей от момента собеседования до момента увольнения. Все этапы, как всегда, подкреплены реальными случаями из моего опыта.
Импортозамещение увеличило потребность в архитекторах, аналитиках, разработчиках 1С, в т.ч. по ЗУП. Все их ищут всеми возможными способами, но не могут найти и не знают, чем же их завлечь к себе!? Давайте разберёмся в этом вопросе!
«Многие кандидаты хотят от собеседования простую вещь: чтобы оно длилось пять минут и брали сразу на 300 000 в наносекунду», — Эльдар Мингалиев, разрабатывает новые форматы собеседований.
Не раз сталкивался с тем, что пользователи сайта не очень понимают, как ставить плюсы и зачем. Многие думают, что поставить плюс = добавить публикацию в избранное. В статье будет кратко об этом.
По сабжу пришла мысль, сделать мобильное(или нет) приложение. Вбиваешь туда своё инн, и если в любых открытых данных родины встречается оно, то тебе приходит об этом алярм )
Ура. Я все-таки сделал это. Отправил свою шнягу на конкурс. Послезавтра можно ожидать появления проекта в голосовалке, и статьи в номинации "журналист", и шняги в номинации "разработчик".
Голосуя ЗА, ты способствуешь распространению света среди обитателей хабры-хабры.
(4) А что собственно комментировать? В статье есть все, кроме смысла который способен понять ее читатель. Очевидно что Вы-то понимаете о чем пишете, но среди читателей, практически нет практикующих вангователей. Вот и получается, стена текста есть, а вопросов нет. Если бы Вы не выложили свой юзер- и программер-гайд, то я бы так и не понял, о чем Вы пытались рассказать.
За список ресурсов в конце статьи, отдельное спасибо.
(5) dddxddd, Спасибо. Красиво сказано, если сообразить, что такое все, кроме смысла.
Можн уточняющий вопрос (задать)?
Вы знаете, что такое open data?
Или я должен был здесь пересказывать вики?
есть такой сайтик госзакупки.. вот была мысль сделать некую БД которая бы мониторила тендеры на определенные темы + вела статистику тендеров по суммам, выигрывавшим организациям и тд.. Поэтому ламерский вопрос: а вот эта OpenData там есть ? чтоб через нее все собрать
(8) AllexSoft, я сейчас только на свои проекты смотрю, пытаясь организовать голосование :)
но, кажется, по закупкам там глаз за что-то цеплялся
уж больно очевидная тема
(14) university, по ходу заморочки у них какие-то с голосовалкой
такое впечатление, что админы у них никогда такого не делали
хотя это не админская работа. короче, какой-то левый сайтопейсатель что-то напейсал
Похоже, разработчики сайта все-таки прикрыли дыру в голосовалке и учитывают теперь только уникальные ВК/ФБ аккаунты.
И мы оказались далеко не первыми.
Отставание в разы, как минимум в четыре раза.
Это плохо.
Посмотрел работу неожиданно рванувшего коллегу-конкурента на конкурсе среди разработчиков.
Заява впечатляет замахом:
В проекте используется «интеллектуальная визуализация»открытых данных, позволяющая пользователю системы быстро находить "болевые точки" экономики, используя результаты анализа собранных данных.
Также в проекте разработан механизм прогнозирования во времени на основе анализа открытых данных, прежде всего,для курса иностранной валюты (доллар) и активов банков, входящих в специальный перечень МинФина. Для активов показаны разные варианты настроек алгоритмов - на долгосрочное, краткосрочное и среднесрочное (сбалансированное) планирование.
И "болевые точки" экономики враз находит, и курс доллара "прогнозирует"...
Чё так скромно - конкурс... Чё не нобелевка?