Поиск корректной кодировки текста

12.10.20

Разработка - Универсальные функции

Обработка для поиска корректной кодировки текста.

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование По подписке [?] Купить один файл
Поиск корректной кодировки текста
.epf 7,94Kb
13
13 Скачать (1 SM) Купить за 1 850 руб.

Вообще задача была поднять WEB сервис, чтобы поставщик услуг, стучась к нам по API мог заносить некую информацию.
По API залетает XML, в которой кодировка кириллицы может быть не читабельной.

Пример:

  <owner>Standard</owner>
      <start_country_id>RU</start_country_id>
      <start_zip>450028</start_zip>
      <start_city>г. Уфа, Уфимский район</start_city>
      <start_region/>
      <end_country_id>RU</end_country_id>

 

Ну и в рамках задачи, надо было все это дело самому обрабатывать, чтобы в базу заходил корректный текст.

Для сего и была написана соответствующая функция. Эта функция и используется в обработке. Если кому надо, решать подобную задачу, то просто возьмите функцию из обработки.

Задача решается несложно.

  1. функция никуда не записывает файлы, работает в памяти со строкой. Это важно, в основном все пишут куда-то файл, потом читают в какой-либо кодировке. Считаю это не приемлемым. Если файл потом не требуется хранить, то с данными надо работать в памяти.
  2. Функция преобразует текст в разные кодировки (UTF8,windows-1251,koi8-r,koi8-u,cp866,iso-8859-5);
  3. Определяет, какая кодировка соответствует нормальному тексту, на основе рейтинга;
  4. Возвращает строку.
  5. Работает с кодировками: utf-8, windows-1251, koi8-r, koi8-u, cp866, iso-8859-5 (в самой функции, через запятую, без пробелов можно добавить сколько хотите кодировок (которые понимает 1С, но это может влиять на скорость работы).

Тестировал на платформе: 8.3.12.1790.

Кодировка текст

См. также

Универсальные функции Программист Платформа 1С v8.3 1C:Бухгалтерия Бесплатно (free)

Благодаря этим пяти строчкам можно больше не заморачиваться с загрузкой из внешних файлов. Пользуюсь везде, всегда и постоянно.

21.05.2024    31341    dimanich70    83    

152

Универсальные функции Программист Платформа 1С v8.3 1C:Бухгалтерия Абонемент ($m)

Задача: вставить картинку из буфера обмена на форму средствами платформы 1С.

1 стартмани

18.03.2024    5043    6    John_d    11    

57

Универсальные функции Программист Стажер Платформа 1С v8.3 1C:Бухгалтерия Бесплатно (free)

Пришлось помучиться с GUID-ами немного, решил поделиться опытом, мало ли кому пригодится.

12.02.2024    35441    atdonya    29    

62

Универсальные функции Программист Платформа 1С v8.3 Бесплатно (free)

На заключительных этапах, когда идет отладка или доработка интерфейса, необходимо много раз переоткрыть внешний объект. Вот один из способов автоматизации этого.

30.11.2023    6660    ke.92@mail.ru    17    

66

WEB-интеграция Универсальные функции Механизмы платформы 1С Программист Платформа 1С v8.3 1C:Бухгалтерия Бесплатно (free)

При работе с интеграциями рано или поздно придется столкнуться с получением JSON файлов. И, конечно же, жизнь заставит проверять файлы перед тем, как записывать данные в БД.

28.08.2023    18294    YA_418728146    8    

172

Пакетная печать Печатные формы Адаптация типовых решений Универсальные функции Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Абонемент ($m)

Расширение для программ 1С:Управление торговлей, 1С:Комплексная автоматизация, 1С:ERP, которое позволяет распечатывать печатные формы для непроведенных документов. Можно настроить, каким пользователям, какие конкретные формы документов разрешено печатать без проведения документа.

2 стартмани

22.08.2023    4893    80    progmaster    11    

4

Инструментарий разработчика Универсальные функции Платформа 1С v8.3 1C:Бухгалтерия 1С:Розница 2 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Абонемент ($m)

Копирует в буфер значения из списков, из ячеек отчетов, таблиц, настроек списков, других отборов и вставляет в выбранную настройку отбора. Работает с Объект не найден. Работает как в одной так и между разными базами 1С. Использует комбинации [Alt+C] Копировать список, [Alt+V] Вставить список. Также для копирования данных используется стандартная [Ctrl+C] (например из открытого xls, mxl, doc и т.п. файла скопировать список наименований)

1 стартмани

13.10.2022    19968    191    sapervodichka    113    

137
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. rusmil 263 12.10.20 18:26 Сейчас в теме
Определяет, какая кодировка соответствует нормальному тексту, на основе рейтинга
Можете пояснить детальнее, что за рейтинг применяется для распознавания кодировки?
2. madonov 263 13.10.20 02:32 Сейчас в теме
(1) думаю, что чем больше в итоговом тексте символов "а-я", тем выше рейтинг. Но это только догадка. Возможно автор реализовал иначе.
3. Jokemas 193 13.10.20 09:30 Сейчас в теме
(2) Слоги. Там тупо строка слогов через запятую, которые с помощью СтрРазделить превращаются в массив, после чего используются. Чем больше уникальных слогов встретилось в тексте, тем вышей рейтинг. В Русском языке ограниченное количество слогов и они все известны.

А по символам от "а-я" не будет работать. К примеру, если текст был в кодировке cp1251 и попытаться его перевести в koi8-r или koi8-u, то будет не пойми что, но кириллицей.

Фишка в том, что любой язык строится вокруг слов, которые состоят из слогов.
CyberCerber; +1 Ответить
4. gaglo 04.11.20 13:39 Сейчас в теме
(3)
В Русском языке ограниченное количество слогов и они все известны.

Уважаемый автор, буде Ваше на то Соизволение, поделитесь, как именно вы считали слоги (по какому акакадемику, к примеру), и сколько же их?
ЗЫ Я правда хочу знать эту фишку...
5. Jokemas 193 10.11.20 11:26 Сейчас в теме
(4)Просто все слоги начинающиеся на согласную и оканчивающиеся гласной, к примеру: "на,ну,но,ны,ни,не,ня" и т.д.Таблица слогов находится в поисковике. Я использую 193 слога.
6. dsdred 3818 17.06.21 13:02 Сейчас в теме
Была такая программа в 2000-х Шти́рлиц))

А вообще при чтении xml можно было указать кодировку и не сочинять функцию))
7. Jokemas 193 18.06.21 09:18 Сейчас в теме
(6) Да, вот только обработка собирала данные из разных API, где разная кодировка, при этом XML без блока <?xml version="1.0" encoding="*****?>. Прикинь, какая задача, когда ты не знаешь кодировку, а распарсить нужно =))). Это не я, это все они! =))
Оставьте свое сообщение