Кто-нибудь начинал разбираться с новым форматом выгрузки сведений об адресах ГАР БД ФИАС?

На какой предмет?

() Я еще КЛАДР не износил, дай бох ему долгих лет...

ФНС России планирует перейти на использование данного формата выгрузки адресных сведений с января 2021 года.

Они уже лет 5 планируют, только знают, что это чревато бардаком... Люди сидят, и руками конвертируют адреса из КЛАДР в ФИАС К тому же разница формата с КЛАДР минимальна, и идея ГУИД адреса не сработала. И наполняются обе БД из одного места, а именно ...хз откуда, несоответствий море в КЛАДР, и в ФИАС они же. Надеюсь еще лет дцать КЛАДР будет поставляться, а там видно будет

habr.com
Согласен с каждым грехом ФИАС/КЛАДР

Доб. habr.com вот еще ахи-вздохи

Доб. Аа, в ФНС формат xml 2НДФЛ меняют? А как конкретно? (Не слышал, еще далеко до конца года...)

Доб. fias.nalog.ru - что-то упомянуто в ФНС...



Исправлено 3 раз(а). Последнее : of63, 26.06.20 12:42

Не в восторге от нового формата.
Рыхло, громоздко. Ресурсов на обработку жрет не хило.
Приходилось для клиентов и своего софта делать веб-сервис для "чтоб как надо". Ибо клиентские машины порой не могут справиться с полным пакетом нового кладр.

of63
и идея ГУИД адреса не сработала

Почему? Очень даже работает. На pl/sql можно иерархическим запросом найти современное название улицы, если ее переименовали, а отправитель по каким-то причинам этого не знал.

Taran
Ресурсов на обработку жрет не хило.

Писал 2 года назад парсер адресов. Мне дали сырой проект, который обрабатывал 12000 записей около часа, и на выходе имел гарантированный разбор около 40-50%. В своем алгоритме (!) удалось много фич реализовать - поиск по алгоритму Левенштайна, поиск по таблице соответствий "кривое название - правильное название", алгоритм умел восстанавливать пропущенные элементы и прочее.. Для поиска использовал не всю базу, а предварительно делал выборки в темповые таблицы. В итоге алгоритм работал минуты 3 (да это и не предел на 12000 записях!) и давал точность около 90%.





Исправлено 1 раз(а). Последнее : sphinx, 01.07.20 09:56

sphinx
Мне дали сырой проект, который обрабатывал 12000 записей около часа, и на выходе имел гарантированный разбор около 40-50%.

Там человек сидел? Типа лилипут, спрятанный в большой корпус компьютера имитировал работу программы.

Типа такого: zen.yandex.ru





Исправлено 1 раз(а). Последнее : Crispy, 01.07.20 11:43

Crispy

sphinx
Мне дали сырой проект, который обрабатывал 12000 записей около часа, и на выходе имел гарантированный разбор около 40-50%.

Там человек сидел? Типа лилипут, спрятанный в большой корпус компьютера имитировал работу программы.

Типа такого: zen.yandex.ru

Ведущий этого проекта уперся в ряд моментов:
1) только по GUID искать (да ну? А если я предварительно сделаю выборку SELECT city, COUNT(*) as cnt FROM base_fias GROUP BY city и будет ТОЛЬКО один город - разве можно такое в отсев, если со 100% точностью определяем регион, если он пропущен?)

2) Искал по всей таблице, а я сделал несколько темповых.

По итогам он сказал, что этот проект будет сам допиливать, без моего алгоритма. Та не вопрос.. Вместо того, чтобы потестировать и идти ко мне с предложениями - один негатив был, мол не так делаю. Ну да, не так, только результаты сами о себе говорят. И да, оракловый пакет (реализующий алгоритм) имел кучу ключей - можно было его и ПО СТАРОЙ технологии при желании запустить. Но даже это оказалось не аргументом. Да пофиг ваще..





Исправлено 1 раз(а). Последнее : sphinx, 01.07.20 12:46

Цитата:

Они уже лет 5 планируют

Все равно перейдут рано или поздно. Выпустят приказ, мол с 01.01.20xx переходим на ФИАС. И твои проблемы, если не_можешь/не_хочешь/не_подумал.

Пока непонятен смысл перехода КЛАДР->ФИАС:
- ФНС (для кого этот ФИАС важен, больше не знаю кому) пока не изъявлял желания поменять формат адреса (10-компонентная строка в иерархии КЛАДР)
- ГУИД (не путать с полем code КЛАДР и ФИАС) каждого дома в ФИАС не обеспечен, причем стабильный ГУИД, присваиваемый при включении дома в ФИАС, и не меняющийся от версии к версии
- ФИАС однозначно и тривиально преобразуется в таблицы КЛАДР, так что программы, заточенные на КЛАДР можно использовать еще долго
- адреса Почты России (разноска корреспонденции, пенсии) как не соответствовали ФНС (КЛАДР,ФИАС) так и не соответствуют (например, в принадлежности почтовому отделению, ФИАС/КЛАДР заточены под ФНС, важнейшим элементом в ней является поле GniNmb принадлежность отделению ФНС, 4-х значный номер). ГНИ и ПР - это две разные конторы, им надо бы договориться, или держать 2 версии ФИАСа (что не есть удобно), но нет ни того ни другого.
- важнейшей единицей хранения является рукописный адрес, указанный клиентом, ну, немного обработанный руками оператора на этапе ввода, разбитый по иерархии (даже не важно какой, просто расположение элементов адреса по человеческому уподроблению) желательно по уточнению у клиента
- из этого рукописного адреса можно найти и корреляцию с ФИАС или КЛАДР, если нашел, то можно записать его code или ГУИД КЛАДР-а/ФИАС-а, можно заранее разместить рукописные адресные элементы в ячейки 10-элементной иерархии ФНС. Главное - чтобы рукописный адрес был, и был записан в БД. А дальше как карта ляжет, вопрос веры/практики - используй для выдачи в ФНС ранее вычисленный ГУИД или code (а они пока этого не хотят), коррелируй с текущей версией КЛАДР/ГУИД, Ливенштейнами или ИИ, также сервисы есть в интернетах, не совсем бесплатные но не дорогие.
- нафига ты заставляешь меня писать какой-то ненужный код, и эту писанину!

of63
нафига ты заставляешь меня писать какой-то ненужный код, и эту писанину!

Не пиши. КЛАДР не будет вечно совместим с ФИАС, если ты еще не понял. Вопрос времени.
И мы не разбираем РУКОПИСНЫЕ тексты, у нас не почтовое отделение, приходят данные в текстовом формате, далеко не всегда еще и правильный разделитель для адресных элементов используется, но тоже был режим, как можно поделить, чтоб потерь было минимум.

Ты что мне хочешь доказать? Что мой алгоритм не работал? Так его как минимум надо потестировать на большом объеме данных. И я не говорил, что проект мной был АБСОЛЮТНО завершен. Допилить все можно, если есть желание у тех, кто в этом ЗАИНТЕРЕСОВАН, ну никак не в разработчике.

Я и писал, что не перетрудился, хотя месяца 2 плотно занимался.
Ты сейчас в чем свой труд увидел? Почему мне претензии?

спс, ребят, как всегда.

ЦБ обязал переходить на фиас,
буду долбить за сохранение кода улицы,
так или иначе нормального сервиса для обновления так и не сделали.

То что я публиковал решение про iqy, скромно, но иного выхода я не вижу.

Как-то так.



Исправлено 2 раз(а). Последнее : alex;, 18.07.20 20:23

alex;
ЦБ обязал переходить на фиас

Алекс, привет, дружище!

Дак да, обязал. Но воз и ныне там. Это пока, все равно будет решение, что только в формате ФИАС (КЛАДР прикроют). Это время на раскачку/переписывание технологий еще дают время и орг.вопросы утрясают.

Можно в это не верить, вопрос религии.

Что снесли (и снесут еще) - мне в скайп пиши. Хотя бы знать буду.
Мой скайп знаешь, если что: inttrudder1

> Не пиши.
Не пишу

> И мы не разбираем РУКОПИСНЫЕ тексты, у нас не почтовое отделение, приходят данные в текстовом формате, далеко не всегда еще и правильный разделитель для адресных элементов используется, но тоже был режим, как можно поделить, чтоб потерь было минимум.
Да, под "рукописными" я имею ввиду не фото каракулей клиента конечно, а текстовую строку адреса, с запятыми между элементами или без

> Ты что мне хочешь доказать? Что мой алгоритм не работал?
Ничего. Про алгоритм не в курсе.
()90% попаданий - это не очень гуд на больших количествах, но смотря что за исходный материал...

> Ты сейчас в чем свой труд увидел? Почему мне претензии?
Это не претензия, просто ответ на "И твои проблемы". Да, мог бы наплевать на мои проблемы. Хотел написать "да, мои", а получилась портянка, проклятый Т9

of63
> Ты что мне хочешь доказать? Что мой алгоритм не работал?
Ничего. Про алгоритм не в курсе.
()90% попаданий - это не очень гуд на больших количествах, но смотря что за исходный материал...

Сделаешь больше? за пару месяцев? Ну давай. Если надо именно мои данные - вышлю. Потом посмотрим - гуд это или не гуд, без напильника. С напильником я и выше получил бы результаты. Ты хотя бы эти получи. "90 - не очень".

Уверен, ты и 80 не получишь.

Я не уверен

Позвольте представиться - месье Шартрёз. К вашим услугам, милостивые государи!



Исправлено 2 раз(а). Последнее : Simple777, 01.07.20 21:15

У мельницы пусть ... ждет!