Предложения по развитию информационной структуры ГНА

[storm]

отключаем спам-фильтры.
отключаем пересылку в внешние почтовики и прием с внешних почтовых серверов.

Если вы это сделаете, то почта функционировать не будет. Да и отключение спамфильтвов я бы не делал. Т. к. компьютер любого плательщика может участвовать в ботнете.

По теме:
В качестве примера берем MSExchange, (благо работать под виндой наши работники ГНАУ умеют - доказано ОПЗ и нотарем)

Зачем MS Exchange??? Ну не нужен он для почтового сервера! MSExchange — это проприетарная система в которой множество функций абсолютно не нужных для решения данной задачи. И Windows не нужна. Вы ознакомьтесь хотя бы с политикой лицензирования того же Exchange. Одно то что необходимо лицензировать каждое рабочее место... Опыт показывает, что надо двигаться в сторону продуктов с открытым исходным кодом.
Таким образом чиновникам будет труднее получить откаты, другими словами взятки за внедрение заведомо худшей системы (на которой можно освоить мои налоги!!!) для конкретно поставленной задачи!
Лично я склоняюсь все таки к Red Hat Linux (из-за поддержки 27x7 и рекомендованой ОС для работы оракла) и специалистов уровня RHCE, RHCDS, RHCSS. Опять таки устройство на такую вакансию через взятку будет затруднено.

Что будем иметь на выходе?
1. Снижение расходов, повышение эффективности и качества обслуживания
2. Существенная экономия на персонале (всех несунов флешек под сокращение)
3. Централизация и полный контроль
4. Повышение уровня специалистов
5. Повышение зарплат специалистам которые будут обслуживать созданную автоматизированную систему.


P. S. Как говорит мой директор: «Если они все это сделают чем же они будут заниматься???»

[storm]

Этим решается проблема прохождения почты, проблема не доставки писем адресатам, внесение в СПАМ, блокировка IP-адресов.
Кроме всего прочего доступ к этому почтовому серверу можно организовать и из локальной сети ГНИ, установив межсетевые экраны и т.д. Вот тогда исчезнет необходимость переносить отчеты вручную с одного ПК на другой, а прием отчетов можно будет полностью автоматизировать.

Этим не решается ничего.

отключить всякое взаимодействие этого почтового сервера с другими серверами интернета - пересылка почы только между пользователями внутри сервера.

К каким это серверам вы собираетесь блокировать доступ? Вы отдаете себе отчет как функционирует электронная почта? Как письма с отчетами будут доходить до вашего сервера, как будут уходить квитанции, если не будет взаимодействия с:
1.внешними ДНС серверами
2.внешними почтовыми серверами

[admin]

внешними почтовыми серверами

В том и прикол, что сеодинение будет по SMTP/POP3 с почтовым сервером, единым для всех участников документооборота. Зачем ему внешние сервера и ДНС, можно на конкретный IP подключаться по SMTP/POP3.

[storm]

внешними почтовыми серверами

В том и прикол, что сеодинение будет по SMTP/POP3 с почтовым сервером, единым для всех участников документооборота. Зачем ему внешние сервера и ДНС, можно на конкретный IP подключаться по SMTP/POP3.

Кого соединение и к кому? Сотрудника налоговой или плательшика? Мне кажется вы пытаетесь изобретать велосипед с квадратными колесами. Почему не воспользоваться системой которая себя зарекомендовала десятилетиями успешной работы? Предлагаю вам ознакомиться с содержанием следующих страниц:
https://ru.wikipedia.org/wiki/DNS (обратить внимание на то как работает DNS и записи MX)
https://ru.wikipedia.org/wiki/Электронная_почта (обратить внимание на Простейшую схему отправки почты)
https://ru.wikipedia.org/wiki/Почтовый_сервер

Или вы предлагаете один почтовый сервер для всех? Ну так это утопия. Заведомо неверный вариант. Вы только вдумайтесь сколько одновременно открытых соединений должен держать почтовый сервер. Да не один кластер с этим не справится! Да и к тому же. Мне надо отправить этот проклятый отчет в проклятую налоговую и я каждый раз должен перестраивать свой MUA со своего почтового сервера на ваш? Или как же быть с общедоступными почтовыми сервисами типа gmail.com или mail.ru?

[admin]

Я это так представляю: имеется почтовый сервер (допустим example.net) на нем ящики (ЄДРПОУ@example.net) для плательщиков и для ГНИ. Их почтовые КЛИЕНТЫ соединяются по smtp/pop3 для приема/отправки сообщений. Но отправить сообщения можно только на example.net и получть письма на эти ящики тоже только можно ТОЛЬКО с example.net.
Ничего не надо перенастраивать, просто в почтовом клиенте добавляется еще один ящик.
А общедоступные сервисы тут ни причем.

[storm]

Я не понимаю зачем строить уродливую систему для якобы псевдо безопасности? Какие преимущества перед классическим построением нормального сервиса обработки отчетности?

Я это так представляю: имеется почтовый сервер (допустим example.net) на нем ящики (ЄДРПОУ@example.net) для плательщиков и для ГНИ.

Каким образом клиенты будут резолвить ваш почтовый сервер? Как вы обойдетесь без ДНС? Все плательщики на своих ДНС или ДНС провайдера будут создавать записи вашего сервера? (ну так это неверно с точки зрения самой службы ДНС) Или на каждом компьютере будут прописывать записи в файле hosts?

Их почтовые КЛИЕНТЫ соединяются по smtp/pop3 для приема/отправки сообщений.

Вы отдаете себе отчет какая будет нагрузка на почтовый сервер и каналы связи если он будет взаимодействовать не с другими MTA, а напрямую с MUA? Отдаете себе отчет насколько будет нестабильной отправка сообщений на ваш почтовый сервер напрямую?

Ничего не надо перенастраивать, просто в почтовом клиенте добавляется еще один ящик.
А общедоступные сервисы тут ни причем.

Зачем мне добавлять еще один ящик? У меня есть, например, ящик на gmail.com, Как с него отправить отчет?

[admin]

Это ваши слова?

Кстати, меня, как системного администратора, умиляет бардак с почтовыми ящиками налоговой. Неужели нельзя в головном офисе, по всей видимости находящемся в Киеве, установить отказоустойчивый почтовый кластер который бы и обрабатывал бы всю корреспонденцию? Преимущества данного подхода очевидны. Видно невооруженным глазом некомпетентность руководства данной организации.

И это тоже:

Зачем мне добавлять еще один ящик?

Ну значит я вопрос непонял...

[storm]

Возможно мы действительно не поняли друг друга.
Я ратую за то, чтобы была централизация и единый домен налоговой с субдоменами. Почтовые ящики налоговой должны быть в данном домене.
Плательщик же в свою очередь мог отправить с любого ящика будь то ящик общественного сервиса почты, либо его собственный ящик из его собственного домена. Плательщиков то может быть десятки тысяч, а налоговиков с гулькин нос. Так что плательщики не должны на прямую взаимодействовать с сервером через свой MUA, а налоговоки это делать могут. Для большей отказоустойчивости можно размещать в крупных филиалах налоговой по серверу-два на котором будет субдомен, ДНС и почтовик который будут взаимодействовать с серверами в головном офисе. Естественно каждая налоговая может взаимодействовать только с головным офисом. К примеру чтоб выйти в инет запрос пойдет через головной офис и его прокси сервер.

Для всего этого налоговой необходимо создать нормальную, безопасную топологию сети. Желательно, чтоб кирпичиками нового сервиса (именно сервиса, а не сервера!) стали продукты на основе open sorce, как неоднократно доказавшие свою отказоустойчивость и низкую стоимость владения. При этом сервера налоговой в любом случае будут взаимодействовать с внешним миром, хотя бы для того, чтобы резолвить имена своих сервисов, получать и отправлять почту, для функционирования своего сайта, возможно фтп.

Можно все это построить. Можно перейти на качественно новый уровень обслуживания клиентов (плательщиков), можно сократить расходы...Можно многое. Но на все нужна воля топ менегеров. Думаю с таким топом как Сергей Буряк (читаем про него комментарий выше) этого ничего не будет.

[dimajest]

//offtopik
storm Linux форева ?

Exchange был приведен в качестве примера. Поскольку я не нашел данных для почтовых серверов типа ОпенСорс по требованию к железу.

Я написал пример почтового кластера, для обработки всех почтовых писем.
1. Создаем для каждой организации свой почтовый якщик, к оторому он подключается с своего почтового клиента.
2. Отправка писем может происходить только внутри домена, скажем mail.sta.gov.ua
3. в качестве аттачей можно использовать только хмл, остальные сервак сразу удаляет.

Админ - 1Мбайт, для всей отчетности. а ее может быть побольше чем на пару кил. по НДС, 1ДФ, Реестр налоговых накладных. Ща уже слышал что сами налоговые накладные нужно тоже высылать.

storm
Приведи пожалуйста для моего примера (данные выше) твой расчет на Oracule Linux Enterprise с почтовиком опенсорс.

И свой пример, как то более понятно. А то ссылатся на википедию - могут все.
Только в своем примере зделай одно условие:
скажи кого наказывать, если не прийдет отчет с твоего безплатного gmail ?
(в моем примере - это можно на конкреткного работника ГНАУ)

[storm]

//offtopik
storm Linux форева ?

Мы ведь собираемся "строить" действительно надежную, безопасную, производительную систему. Ведь так? Мы ведь с вами не Сергеи Буряки и не будем просто осваивать выделенные деньги? Посему необходимо ориентироваться на лидеров в области надежности, безопасности, отказоустойчивости и производительности. Вообщем вам сюда https://www.top500.org/stats/list/31/os

Top 500 суперкомпьютеров (думаю хороший пример для подражания)
Linux — 75.60 %
Остальные разновидности Linux и Unix - 23,4%
Windows — 1 %

Думаю комментарии излишни...

Далее по поводу почтового сервиса. Не должен быть он закрытым. Он должен взаимодействовать с внешними MTA и при этом напрямую не должен взаимодействовать с MUA плательщиков. То что вы предлагаете:
1.не удобно
2.не безопасно
3.не производительно

И свой пример, как то более понятно. А то ссылатся на википедию - могут все.

Ваши расчеты неверны

файл xml с отчетом в среднем 5..10 Кб

Письмо не более 50 Кб.
Плательщиков пусть будет 10 000 000. Хотя думаю их гораздо меньше
Итого максимальный суточный объем 476.84 Гб со всей Украины. При этом стоит помнить, что отчеты высылают все не в один час и даже не в один день.
Надо обработать в течение суток до 10 000 000 писем.
По объему. В секунду канал должен обрабатывать ~ 339 Мб. Соответственно необходимо как минимум два независимых канала по 3 Гбит/сек. Это необходимо для отказоустойчивасти и всплесков нагрузки на канал. Да еще должно работать все остальные, тот же сайт.
Один сервер способен обрабатывать свыше 10 000 писем в сутки. Приходим к тому, что необходимо 100 серверов. Соответственно необходимо разнести такие функции как прием почты, отправка почты, БД почтовых сообщений, обработка почтовых сообщений, занесение данных в БД отчетов, саму БД отчетов. Соответственно если разносить все по разным кластерам, то думаю на все про все будет не более 200 серверов. Думаю это не такой большой объем ЦОДа для обработки отчетности со всей страны.

Только в своем примере зделай одно условие:
скажи кого наказывать, если не прийдет отчет с твоего безплатного gmail ?
(в моем примере - это можно на конкреткного работника ГНАУ)

Очень просто ответить на ваш вопрос. Птательщик вовремя не сдал отчет. Его штрафанули. Он подает в суд на отделение налоговой. Суд дает санкцию на просмотр логов. В логах видим, что с такого то адреса плательщика тогда то пришло письмо. Также видим, что с такого то адреса налоговой в такое то время это письмо было получено. Налоговая возмещает плательшику штраф. И объявляет выговор работнику налоговой. Три выговора - увольнение.

Главная задача в данном случае, чтоб работники налоговой не имели доступ к логам сервера. А то всякие начальнички от мала до велика будут вести админа покурить и «просить» потереть логи. Соответственно для админа и просящего должна быть предусмотрена уголовная ответственность за противоправные действия.

К тому же можно существенно снизить нагрузку на ЦОД благодаря разнесению сдачи отчетности по дням для различных областей.

Может быть вам кажутся колоссальными затраты на данный ЦОД? А какие затраты идут на чиновников-дармоедов-взяточников в каждом отделении налоговой? Какие затраты идут на «несунов шлефек?» Какие затраты идут на соответствующее оборудование и ПО в каждом отделении налогой?

Мое мнение необходимо сокращать расходы путем централизации и автоматизации процесса.

[Shturm_N]

Вот вам похожий проект https://court.gov.ua/ (сверху кнопка "Единый державный реестр"). Не буду говорить как это все работает дабы не шокировать. При реализации можно с ними связатся и узнать как и что. Думаю одна ветка государственной машины найдет как договорится с другой.
Отдельный сервер со своим pop/smtp, с пересылкой писем только внутри - моветон. Попробуйте всем клиентам рассказать что надо настроить ещё одну учётку и между ними переключатся периодически. А если закрылось ЧП? А следить за появлением новых предприятий и создавать учетки... У вас через год столько мусора будет...
Реализация нормального варианта, с работой через стандартные почтовые сервера, вполне реализуема. При чем при грамотном построении понадобится минимум велосипедов. Основная масса реализуется вполне штатными средствами. Причем не такие уж и кластера понадобятся. В принципе в каждой ГНИ ставится свой МТА и завязывается на свою БД. Все БД реплицируются с главным сервером БД. А объём писем не такой уж и катастрофический. Сейчас сколько их приходит? Как то же каналы справляются. В конце концов мы в каком веке? Сколько уже можно с бумажками возится?.. Неужели это проще чем нормально автоматизированный проект?
ЗЫ вот вам в завершение история поучительная https://www.j4u.ru/2006/07/31/pechatnaja_istorija.html

[dimajest]

Птательщик вовремя не сдал отчет. Его штрафанули. Он подает в суд на отделение налоговой. Суд дает санкцию на просмотр логов.

А виноват был админ на Гмаил, который ребутнул почтовый сервак, и письмо потерялось.
Гмаил - безплатная почта, и мы принимаем все "как есть".

Посему необходимо ориентироваться на лидеров в области надежности, безопасности, отказоустойчивости и производительности. Вообщем вам сюда https://www.top500.org/stats/list/31/os

Там забыли указать колонку - количество сопровождающих специалистов.

Письмо не более 50 Кб.

Я думаю на этот вопрос лучше ответят специалисты из ГНАУ Сколько занимают ХМЛ файлы с всеми отчетами организаций, а не только кровососной декларацией по НДС.

"Единый державный реестр" - запрос на базу данных. Дабы не шокировать - это намного проще реализовывается.
Вот зделали бы так проверку плательщиков НДС - было бы очень хорошо!!!


Shturm_N
Есть почтовый сервер, на который и так шлют письма
staXXYY@sta.gov.ua
который отвечат твоим требованиям.
Может проще зделать почтового клиента ?
который будет выбирать из почтовых ящиков хмл файлы, и складывать их в базу ?
и не полоскать себе мозги с DOS атаками, непрохождением почты через mail.ru, gmail.com

и совсем вопросов не будет
ну подумаеш 20 числа была дос атака на почтовик ГНАУ, и письма с гмаил и маил.ру не дошли до почтовика ГНАУ.
И налоговики чистые руки имеют, и организация отчет "подала", и штраф будет сплаченый.
Все довольны.

[storm]

Уважаемый dimajest! Каков смысл в данной теме что то обсуждать когда вы и так все заранее знаете и глухи к довадам IT специалистов не из вашего круга? Мировая практика для вас абсолютно пустой звук. Вы как обычно хотите сделать как удобно вам. Вы не думаете о удобстве того кто вынужден отстегивать гос-ву свои кровно заработанные деньги. И при этом еще иметь огромный геморрой с этим отстегиванием, которое в большинстве сводится к вымогательству чиновников. Одно то что ваш самый самый налоговик - председатель ГНАУСергей Буряк занял данную должность являясь при этом владельцем Брокбизнесбанка говорит о многом. А как же разговоры в нашей державе об отделении чиновников от коммерции? Так при этом этот человек расставляет своих подчиненных на должности начальников областных ГНА. У нас к примеру эту должность в области занимает управляющий Брокбизнесбанка. О чем можно в данном случае говорить?????

Позволю процитировать себя самого

P. S. Зашел ко мне в кабинет директор. Разговорились. Так он говорит, что налоговая только декларирует, что идет навстречу плательщикам. А на самом деле цитирую его: «Пи**ят они всё. Нет обратной связи с плательщиками. Вот внедрили они XML. Собрали бы плательщиков и спросили: «Удобно ли вам этим пользоваться? А них*я не удобно!»

[admin]

Там забыли указать колонку - количество сопровождающих специалистов.

а также их заработную плату

Я думаю на этот вопрос лучше ответят специалисты из ГНАУ Сколько занимают ХМЛ файлы с всеми отчетами организаций

Каждый может сам прикинуть сколько и каких отчетов отправляется его организацией, а объем можно прикинуть для примера создав несколько отчетиков в OPZ

Вот зделали бы так проверку плательщиков НДС

Уже сделали!! см. тут https://opz.org.ua/index.php?name=News&op=article&sid=40

Может проще зделать почтового клиента ?

В Бесте (в демо тоже) есть почтовый клиент Zmail.exe он как раз и выбирает из писем файлы XML (и нетолько их PZF и др.), но правда складывает эти файлы просто в папку. Он к стати и отправкой файлов занимается...

ну подумаеш 20 числа была дос атака на почтовик ГНАУ, и письма с гмаил и маил.ру не дошли до почтовика ГНАУ.
И налоговики чистые руки имеют, и организация отчет "подала", и штраф будет сплаченый.

Судя по отзывам 20 числа атаки не только на почтовик ГНАУ но и на др. системы, на тот-же маил.ру или ukrpost.ua бывают.

[Shturm_N]

Там забыли указать колонку - количество сопровождающих специалистов.

а также их заработную плату

А что дешевле, платить 10и касиршам или одному админу? Могу сказать что в первом варианте будет дороже.
2dimajest
Проще? Да ну расскажи мне. Я учавствовал во внедрении сего. Там все очень не просто. Нужно бы ознакомится с архитектурой а потом уже говорить просто или нет.
2storm
+1