DataCleaner

DataCleaner является открытым исходным кодом и совершенно бесплатно решение для организаций и предприятий, желающих повысить и измерить качество данных.

С DataCleaner, пользователи смогут в профиль, сравнивать, проверять данные в отношении бизнес-правил, а также наблюдения за развитием этих измерений с течением времени.

Среди его особенностей можно упомянуть мониторинг данных, профилирование и анализ данных DQ, очистки данных и обогащения, выявления и слияния дубликатов, качество данных клиентов, а также супер-быстрый ETLightweight (Extract-Transform-Load).

Для того, чтобы узнать больше о функциях и возможностях DataCleaner-ые годы, а также как работать с ним, пожалуйста, обратитесь к http://eobjects.dk/docs

What новый в этом выпуске:

• Улучшения и новые функции:
• Мы сделали это возможным создавать и удалять таблицы с помощью настольного пользовательского интерфейса из DataCleaner. Следует отметить, что термин & Quot; таблица & Quot; здесь на самом деле охватывает больше, чем просто реляционных таблиц базы данных. Она также включает в себя листы в датасторов MS Excel, Коллекции в MongoDB, типы документов в CouchDB и ElasticSearch и так далее ... В основном все типы хранилища данных, которые поддерживают запись-операции, за исключением одной таблицы датасторов, таких как CSV, датасторов поддерживает эту функцию! Функциональность подвергается воздействию с помощью:
• & Quot; Создать таблицу & Quot; включен через меню правой кнопкой мыши схем в дереве на левой стороне приложения.
• & Quot; Создать таблицу & Quot; включен также через входы таблицы выбора в таких компонентов, как вставить в таблицу, таблицу поиска и таблицы обновления.
• & Quot; Drop Table & Quot; включен через меню правой кнопкой мыши таблиц в дереве на левой стороне приложения.
• Мы добавили (опционально) возможность задавать свой веб-сервис Salesforce.com Endpoint URL. Это позволяет использовать DataCleaner для подключения к песочнице средах Salesforce.com, а также для собственных пользовательских конечных точек.
• Поддержка ElasticSearch была улучшена, позволяя пользовательские отображения, а также повторное использование определений хранилищу данных ElasticSearch теперь также для поиска и индексирования.
• Выборка записей и отбора потенциальных дубликатов в функции обнаружения дубликатов была улучшена, что приводит к более быстрой конфигурации, так как решения, принятые во время тренировки являются более репрезентативными.
• Формат файла модели Дубликаты был обновлен, который снял необходимость в отдельном файле '' эталонным в целях экономии прошлых учебных решений. Совместимость со старым форматом был сохранен, но с использованием нового формата добавляет много преимуществ для пользователей.
• Bugfixes:
• проблема поток голодание был зафиксирован в DataCleaner мониторе. Воздействие этого вопроса была велика, но это произошло только в редких и очень индивидуальных случаях. Если пользовательские объекты слушателем на мониторе DataCleaner будет сгенерировано сообщение об ошибке, это приведет к ресурсу никогда не освободившись и занимая поток из пула Кварц-планирования на сервере. Если это будет происходить много раз сервер может в конечном счете бежать из потоков в этом пуле.
• Вертикальное меню на экране результатов теперь делает правильную работу показа метки компонентов, которые имеют результаты. Это делает его легче распознать, какой пункт меню указывает на какой элемент результата.

Что нового в версии 3.5.5:

• The 'Синоним поиска' преобразование теперь имеет опцию чтобы посмотреть каждый маркер входа. Это полезно, если вы делаете замену синонимов в пределах значений длинного текстового поля.
• Блокировка выполнения заданий DataCleaner через веб-службы монитора для этого иногда может завершиться с ошибкой, вызванной блокирующего потока. Эта проблема была исправлена.
• Улучшение было сделано в том, как рабочие места и последовательность компонентов закрыты / очищены после выполнения.

<Литий> The JNLP / Java WebStart версия DataCleaner подвергалось ошибкой в ​​среде выполнения Java вызывает определенные JAR-файлы не быть признаны WebStart пусковой установки, при определенных обстоятельствах. Эта проблема была решена путем незначительных изменений в этих JAR-файлов.
• Несколько мертвые ссылки в документации была исправлена.

Что нового в версии 3.5.4:

• Теперь можно скрыть выходные столбцы преобразований , Скрытие не повлияет на поток обработки на всех, а просто скрыть их от пользовательского интерфейса, и, таким образом, потенциально делает опыт более чистым, при взаимодействии с другими компонентами.
• Новый веб-сервис был добавлен в мониторинг веб-приложение, которое обеспечивает способ опрашивать состояние выполнения определенной работы.
• Исправлена ​​ошибка, в результате чего отчет HTML потерпеть неудачу для определенных типов анализа, если записи не были обработаны.
• И 6 других незначительная ошибка была адресована.

Что нового в версии 3.5.1:

• Захват измененные записи:
• Новый фильтр был добавлен для того, чтобы инкрементный обработку записей, которые не были обработаны до, например, для профилирования или копирования только измененные записи. Название новых фильтров является захват измененные записи, ссылаясь на концепцию отслеживания измененных данных.
• Выполнение Queued заданий:
• Монитор DataCleaner теперь очередь выполнение той же работы, если срабатывает несколько раз. Это гарантирует, что вы случайно не запустить ту же работу одновременно, что может привести к разного рода вопросам, в зависимости от того, что делает работу.
• Незначительные исправления ошибок:
• Несколько исправлений был реализован.

Что нового в версии 3.5:

• Несколько волшебников теперь доступны для регистрации датасторы; в том числе файл-загрузить на сервер для CSV-файлов, запись подключения к базе данных, управляемой регистрации учетных данных Salesforce.com и многое другое.
• В работу строительные мастера также были расширены с несколькими расширенными функциями; Выбор распределения значений и модели нахождения полей в мастере быстрого анализа, совершенно новый мастер создания EasyDQ на основе очищающих клиентов рабочих мест и новый мастер задания для стрельбы заданий Pentaho Data Integration (далее ниже).
• Вы можете теперь одноранговой запрос любой хранилищу непосредственно в веб-интерфейсе пользователя. Это позволяет легко получить быстрые или спорадические понимание данных без создания рабочих мест или других управляемых подходов обработки данных.
• После того, как рабочие места или датасторы созданы, пользователь руководствуется принять меры с вновь построенного объекта. Например, вы можете очень быстро запустить работу сразу после того, он построен, или сделать запрос хранилищу после того, как он зарегистрирован.
• Теперь администраторы могут напрямую загружать рабочие места в хранилище, что особенно удобно, если вы хотите вручную редактировать содержимое XML-файлов заданий.
• Много технического хлама теперь спрятаны в пользу показа простых диалогов. Например, когда задание запускается большой указатель нагрузки показан, и когда закончил результат будет показан. Развитая протоколирование экран, который ранее был там еще может отображаться при нажатии на ссылку для получения дополнительной информации.

Что нового в версии 3.1.2:

• Мы добавили веб-службы в мониторинге заявка на получение (список) метрических значений. Это делает мониторинг еще более удобным для использования в качестве ключевого компонента инфраструктуры, как способ контроля данных (качество) и обнажить результаты приложений сторонних разработчиков.
• Компонент "Таблица поиска" была улучшена путем добавления присоединиться к семантику как конфигурируемый свойства. Использование присоединиться к семантику вы можете настроить, если вы хотите, чтобы поиск работать семантически как LEFT JOIN или INNER JOIN.
• Компоненты EasyDQ были модернизированы, добавляя дополнительные параметры конфигурации и богаче дедупликации результата интерфейс.
• Повышение производительности были конкретизация этого выпуска. Улучшения были сделаны в двигателе DataCleaner для дальнейшего использовать подход потоковой обработки в некоторых случаях угловых, которые не были покрыты ранее.

Что нового в версии 3.1.1:

• Дата и варианты анализа, связанных со временем были расширены , добавив, анализаторы распределения по неделям чисел, месяцев и лет. Все анализаторы, связанные с указанием даты и времени теперь сгруппированы в подменю под названием & Quot; дата и время & Quot; под & Quot; Анализировать & Quot;.
• Необязательное & Quot; описательная статистика & Quot; добавлена ​​опция для анализатора Номер и анализатора даты / времени. Эта опция добавляет дополнительные показатели к результатам этих анализаторов, таких как медиана, асимметрию, процентили и эксцесса. Эти показатели не являются обязательными, так как их объем памяти несколько больше, чем существующие метрики.
• Линии на временной шкале графиках веб-приложения мониторинга теперь имеют маленькие точки в них. Это особенно полезно для диаграмм с несколькими (или даже только один) наблюдений в них. - Указать, где именно точки наблюдения являются
• Анализатор запросов при вызове выпонять запросы также были существенно улучшены. В настоящее время запросы могут содержать неповторяющиеся статьи, * -wildcards, подзапросов и отказоустойчивая по отношению к проблемам текста дела.
• Два новых трансформаторов, которые были добавлены для генерации UUID, и для генерации меток времени.

Что нового в версии 3.1:

• метрические формулы - разработаны данных ключевых показателей качества:
• Теперь можно построить гораздо более усложняются данных ключевых показателей качества в веб-приложение мониторинга DataCleaner в. Пользовательский интерфейс позволяет создавать сложные формулы в табличном виде формулы стиля; с помощью переменных, собранных рабочими местами DataCleaner.
• метрические формулы можно объединить любое количество метрик, констант и операций, до тех пор, как он может быть выражен в математическом уравнении.

<Литий> Например - измерить скорость повторяющихся записей в процентах от общего числа записей. Или измерить количество кодов продуктов, которые согласуются с набором нескольких шаблонов строк.
• Ad-Hoc Запрос - любого хранилища данных:
• С DataCleaner 3.1 теперь вы можете выполнять незапланированные запросы к любому датасторе! Запросы могут быть выражены в виде обычного SQL и будет применяться к базам данных, а также файлов, баз данных NoSQL и многое другое, обеспечивая по-настоящему полезный механизм запросов для расширения в ваше открытие и данные профилирования опыта.
• Опция запроса также доступна через веб-сервис для мониторинга пользователей с ролью администратора. Запрос предоставляется в качестве параметра HTTP POST или тела, а результат предоставляется в качестве таблицы XHTML.
• Значение сличитель - новый вариант анализа:
• Часто у вас есть твердое представление, на котором значения должны быть разрешены и ожидаемый для конкретного поля. В DataCleaner там всегда был вариант Значение анализа распределения, который поможет вам отстаивать свои предположения. В DataCleaner 3.1, хотя, у вас есть более точное предложение - стоимость Искателя. Этот параметр анализ позволяет определить набор ожидаемых значений, а затем выполнить распределение значений, как анализ, в частности, для проверки и определить неожиданные значения.
• Копирование, удаление и управление заданий:
• Управление рабочих мест и результатов в области применения монитора DataCleaner была значительно улучшена. Теперь вы можете нажать на работу в странице планирования монитора, а также найти варианты управления, доступные для таких операций, как переименование, копирование, удаление и многое другое. Каждая операция уважает связи с другими артефактами в мониторе, например, результаты анализа, графики и многое другое. Это означает, что управление репозиторием мониторинга стало намного проще и пожилые.
• Управление историей качества данных:
• Иногда вы сталкиваетесь с ситуациями, когда вы на самом деле хотите сделать мониторинг с историческими данными! Может быть, что у вас есть исторические свалках или резервные копии баз данных, которые вы хотите показать и рассказать историю. Теперь вы можете сделать анализ этого исторические данные, загрузить его на монитор DataCleaner, и с помощью нового веб-сервиса, установить исторические данные этого конкретного результата анализа. Это означает, что ваши сроки будет правильно построить результаты, используя их предполагаемую дату, но с результатами, которые вы собрали, возможно, в более поздний момент времени.
• Кластерный поддержка планировщика (только EE):

<Литий> Планировщик DataCleaner монитор был экстернализированы, так что он может быть заменен на средства простой конфигурации. В Enterprise Edition (EE) из DataCleaner, мы предоставляем кластерный планировщик, обеспечивая возможность балансировки нагрузки и распространять свои расстрелы на кластере машин.
• Single-вход в систему (SSO) с использованием CAS (EE только):
• В Enterprise Edition (EE) из DataCleaner мы теперь обеспечивают возможность работы в одномодовом SIGNON для применения монитора. Теперь DataCleaner может быть неотъемлемой частью вашей ИТ-инфраструктуры, также с точки зрения безопасности.
• ... И многое другое:
• Выше только резюме. Более тридцати вопросов были решены в этом выпуске. Мы решили несколько запросов, поступающих от форумов и сообщества, и мы призываем всех использовать это средство в качестве средства для изменения. Мы очень рады, чтобы сделать развитие DataCleaner быть под сильным влиянием потоков в обществе.

Что нового в версии 3.0.3:

• Добавляет сервис для переименования рабочих мест в хранилище мониторинга .
• Вы можете получить доступ к этому в качестве веб-службы RESTful или в интерактивном режиме в пользовательском интерфейсе.
• Веб-служба была добавлена ​​для изменения исторической даты результата анализа в хранилище мониторинга.
• Веб-приложение было сделано совместимо со старыми JSF контейнеры.
• Кэширование конфигурации в веб-приложения был значительно улучшен, что приводит к более быстрой загрузки страниц и инициализация задания времени.

Что нового в версии 3.0.2:

• При срабатывании на работу в веб-приложение мониторинга, панель автоматически обновляется каждую секунду, чтобы получить последнюю состояние выполнения.
• на основе файлов датасторы (например, CSV или Excel таблицы) с абсолютными путями теперь правильно решены в мониторинге веб-приложения.

<Литий> The & Quot; Выберите один из ключей карты и Quot / значение; Трансформатор теперь поддерживает вложенные выражения типа выберите & Quot; Address.Street & Quot; или & Quot; OrderLines [0] .product.name & Quot;.
• Механизм таблица поиска были оптимизированы для работы с использованием подготовленных операторов при работе с базами данных JDBC.
• Администраторы теперь могут загрузить датасторы основе файлов непосредственно из & Quot; DataStores & Quot; стр.
• Обработка исключений в мониторинг веб-приложения был улучшен немного, что делает сообщения об ошибках более точным и интуитивным.

Что нового в версии 3.0.1:

• Основная багфикс в этом выпуске было о восстановлении отображение столбцов и конкретных перечислимых категоризации. Например, в новом анализаторе Полнота, мы обнаружили, что после перезагрузки сохраненного задания, отображение не всегда правильно.
• Далее несколько внутренних улучшений были сделаны, что упрощает развертывание DataCleaner монитора веб-приложений в средах с использованием Spring Framework.
• И последнее, но не в последнюю очередь, параметры визуализации в настольном приложении, были улучшены за счет автоматического взглянуть на работу быть визуализированы и переключение отображаются артефакты на основе размера экрана и количества деталей, необходимых, чтобы показать это красиво.

Что нового в версии 3.0:

• Отображение временной шкалы и тенденции показателей качества данных
• Централизованное хранилище для управления и содержащий задания, результаты, временные рамки и др.
• Планирование и аудит заданий DataCleaner
• Предоставление веб-служб для вызова DataCleaner преобразований
• Безопасность и мульти-аренды
• Предупреждения и уведомления, когда показатели качества данных из их ожидаемых зон комфорта.
• Существует новый Полнота анализатор, который очень полезен для простой идентификации записей, которые имеют неполные поля.
• Теперь вы можете экспортировать DataCleaner результаты в симпатичной HTML сообщает, что вы можете дать своему менеджеру, или отправить на свой XML парсер!
• Новая среда мониторинга также тесно интегрирован с настольным приложением. Таким образом, приложение для рабочего стола теперь имеет возможность публиковать работу и результаты в хранилище монитора, а также использоваться в качестве интерактивного редактора контента уже в хранилище.
• Новая дата-ориентированные преобразования теперь доступны: Диапазон дат фильтр, который позволяет подмножество наборов данных на основе диапазонов дат, и формат даты, который позволяет отформатировать дату с помощью маски даты
.
<Литий> The Regex парсер (который ранее был доступен только через ExtensionSwap) теперь включен в DataCleaner. Это делает его очень удобным для разбора и стандартизировать богатые текстовые поля с использованием регулярных выражений.
• Там новый случай трансформатора Текст доступен. С помощью этого преобразования вы можете легко конвертировать между верхним / нижним регистром и правильной капитализации предложений и слов.

были добавлены
• Два новый поиск / замена преобразования:. Обычный поиск / замена и поиск Regex / заменить
• Опыт пользователь настольного приложения была улучшена. Мы добавили несколько сообщений справки в-приложения, сделанные цвета выглядят ярче и яснее и улучшили управляемость шрифта.

Что нового в версии 2.5.2:

• поддержка Apache CouchDB:
• Мы добавили поддержку для базы данных NoSQL Apache CouchDB. DataCleaner поддерживает как чтение из, анализа и записи ваших экземпляров CouchDB.
• Обновление таблицы Автор:
• После наши предыдущие усилия по приведению возможностей ETLightweight стиля в DataCleaner, мы добавили писатель, который обновляет записи в таблице. Вы можете использовать эту функцию, например, для вставки или обновления записей на основе конкретных условий.
• Как и вставки в таблицу писатель, новый DataCleaner Обновление таблицы писатель не ограничивается базами данных SQL на основе, но любой тип хранилища данных, который поддерживает запись (в настоящее время реляционных баз данных, CSV-файлы, электронные таблицы Excel, MongoDB базы данных и базы данных MongoDB), но семантика такие же, как с традиционным утверждением UPDATE TABLE в SQL.
• Сверло к более детальной информации сохраняются в файлах результатов:
• При использовании сохранить результат особенность DataCleaner 2.5, некоторые пользователи испытали, что их бурильных к деталям информация была потеряна. В DataCleaner 2.5.2 мы теперь также сохраняются эту информацию, делая ваши DQ архивы гораздо более ценным при исследовании исторических данных инцидентов.
• Улучшена обработка ошибок EasyDQ:
• Компоненты EasyDQ были с точки зрения обработки ошибок улучшилось. Если проблема была вызвана кратковременными сеть происходит или другой подобный вопрос вызывает несколько записей, чтобы потерпеть неудачу, компоненты EasyDQ теперь корректно восстановить, и самое главное -. Ваша партия работа будет преобладать даже несмотря на ошибки
• Таблица отображения для NoSQL датасторов:
• Так как CouchDB и MongoDB не основанного на таблице, но имеют более динамическую структуру, мы предоставляем два подхода к работе с ними: по умолчанию, который должен позволить DataCleaner автоопределение структуру таблицы, и расширенный, который позволяет вручную указать желаемой структуры таблицы. Ранее расширенный вариант был доступен только через конфигурации XML, но теперь пользовательский интерфейс содержит соответствующие диалоги для делать это непосредственно в приложении.

Что нового в версии 2.4.1:

• добавлены новые функции:
• функции пакетная загрузка мы значительно улучшены при записи данных в таблицах базы данных. Ожидайте увидеть много порядков величины улучшений здесь.
• Запись данных было более удобно доступны путем добавления опции в меню окна.
• Теперь вы можете легко переименовать компоненты задания, дважды щелкнув их вкладки.

<Литий> The Javascript трансформатор теперь имеет подсветку синтаксиса, так что ваши Javascripts легче проверить и изменить.
• Bugfixes:
• При чтении и записи на том же хранилище данных (например. Площадь промежуточной DataCleaner) мы убедились, что кэш таблицы этого хранилища данных обновляется. Ранее некоторые сценарии позволили вам увидеть вне даты вид таблиц.
• Потенциальный тупик при запуске приложения была решена. Этот замкнутый круг был следствием вопроса в виртуальной машины Java, но мы работали вокруг него путем синхронизации всех вызовов конкретного API в Java.

Что нового в версии 2.4: (. Ака дедупликации или нечеткое соответствие записей)

• Дубликаты , который может свободно использовать до 500000 значений.
• проверка данных адресов и очищение. Это позволяет проверить, существуют ли адреса, если они правильно и даже предложить исправления в случае, если есть ошибки.
• проверка данных имя и очищение. С помощью службы имен, EasyDQ не только форматировать имена последовательно, но также проверяет орфографические и интерпретирует части имени.
• Электронная почта и телефон проверки и чистки. Эти службы обеспечивают проверку электронной почты и телефона данных, убедившись в том, что почтовые домены существуют, что коды стран являются правильными и многое другое.

Что нового в версии 2.3:

• Международная поддержка данных:
• Если вы работаете с международными данными, то вы можете иметь различные наборы символов в данных, например, китайский или иврит. Мы добавили символьный набор анализатора распределения, который представляет собой вариант профилирование, который позволяет выяснить, какие наборы символов используются в ваших данных.
• Работа с данными, содержащими различные наборы символов может быть проблематичным. Используя новый транслитерации трансформатор теперь вы можете транслитерации строк из разных систем письма до латинских символов.
• Существует также новый веб-трансляция демонстрации, ориентируясь на международные возможности данных DataCleaner 2.3 в разделе документации.
• Группировка результатов анализа вторичной колонки:
• Анализатор шаблон теперь имеет возможность группе шаблонов на основе вторичного столбца. Это полезно для анализа, как:
• Получите шаблоны телефонных номеров, которые сгруппированы по странам.
• Получить модели имя пользователя электронной почты на основе почтового домена.
• Нечто подобное было сделано для анализатора Значение распределения; это позволяет для анализа, такие как:
• Все ли названия городов различны, когда сгруппированы по почтовому индексу?
• Что такое распределение пола в рамках конкретных типов клиентов?
• Улучшение графики:
• Результаты шаблона поиска теперь могут быть показаны на графике. Это делает распределение видимым и показывает, сколько из & Quot; длинный хвост & Quot; узоров есть.
• Выход анализатора распределения значений в нескольких областях было улучшено:
• Удобочитаемость графика была улучшена.
• Это показывает общее количество строк и подсчет различных над этими строками: число различных значений, которые существуют в строках. Это помогает выяснить, как часто существуют повторяющиеся значения.
• Если есть пустые строки, мы используем ключевое слово для него, так что легче распознать их.

<Литий> Вывод:
• Рядом с уже существующих форматов вывода (CSV файлов и датасторов H2) мы добавили записи выходных данных в электронные таблицы Excel.
• После записи в хранилище данных, теперь можно предварительно просматривая вывод, так что вы можете проверить, является ли выход в соответствии с вашими ожиданиями.

<Литий> Теперь также можно добавить вывод как новый датасторе, так что он может быть использован в качестве входных данных для новой работы.
• Другие улучшения:
• Документация была в целом улучшилось. В частности, лесозаготовительных и интерфейс командной строки описания, которые были добавлены.
• Механизм расширения была улучшена за счет модульности несколько частей приложения и внедрения Google Guice как правило, доступной рамках инъекции зависимостей для разработчиков расширений.
• И, конечно, мы сделали более двадцати мелких улучшений и исправлений ошибок.

Что нового в версии 2.2:

• Основной движущей силой этого выпуска был рассказ о расширяемости , При выпуске приложения мы Simultaniously выпускает новый веб-сайт DataCleaner который показывает важную новую зону: ExtensionSwap. Идея ExtensionSwap, чтобы позволить совместное использование расширений DataCleaner и установки, просто нажав на кнопку в браузере!
• Расширение API DataCleaner была улучшена много в этом выпуске, что позволяет создавать свои собственные трансформаторы, анализаторы и фильтры. Если вы чувствуете, что ваши расширения могут быть интересны другим пользователям, пожалуйста, поделитесь им на ExtensionSwap и мы обеспечиваем канал для вас легко распространить его на тысячи пользователей. Расширение API и ExtensionSwap дополнительно разъясняется в нашем новом веб-трансляции демонстрации для разработчиков и других технарей с интересом.
• Мы также выпускаем набор начальных расширений на ExtensionSwap: The HIquality Контакты для расширения DataCleaner, который предоставляет расширенные имя, телефон и e-mail очищение, основанный на человеческих умозаключений на естественном языке веб-сервисов обработки DQ. Мы также отправка расширение образца, который будет служить в качестве примера для разработчиков, которые хотят попробовать себя разработки расширений. В ближайшие месяцы мы удостоверимся, чтобы получить возможность отправлять еще больше расширений, происходящих из нашего внутреннего набора инструментов, которые мы используем при сборе знаний команд Human умозаключение в.
• В дополнение к растяжимости мы также упором на вложимости. Мы хотим, чтобы иметь возможность вставлять DataCleaner легко в другие приложения, чтобы сделать профилирование и анализ данных можно в любом месте! Мы создали новый самонастройки API, который позволяет приложениям связывать DataCleaner и инициализировать ее с динамической конфигурации или запустить его в & Quot; одномодовому датасторов & Quot ;, где приложение настроенным по отношению к только проверке единого хранилища данных (как правило, определяется приложением что вкладывается DataCleaner). У нас уже есть некоторые действительно интересные случаи вложения DataCleaner в работах. - Как и в других приложениях с открытым исходным кодом, а также коммерческих приложений
• Мы добавили поддержку для анализа наборов данных SAS. Это то, что мы очень гордимся, как и мы, насколько нам известно, первое крупное приложение с открытым исходным кодом для обеспечения такой функциональности, в конечном счете, высвобождая много пользователей SAS. Совместимость часть SAS была создана как отдельный проект, SassyReader, поэтому мы ожидаем принятия в бесплатные открытым исходным кодом сообщества DataCleaner скоро тоже!
• Мы также добавили поддержку для другого типа хранилища данных: Фиксированная ширина файлов. С фиксированной шириной файлы представляют собой текстовые файлы, в которых каждый столбец имеет фиксированную ширину. Там нет разделителя или кавычки, как CSV файлов, вместо того, чтобы каждая строка равны по длине, и каждая линия будет метках в соответствии с набором длин значений.
• Опцион на & Quot; провалиться по несоответствиям & Quot; был добавлен в CSV-файл и фиксированной ширины датасторов файлов. Эти флаги добавить проверку целостности формат при использовании этих датасторы на основе текстового файла.
• Исправлена ​​ошибка, в результате чего параметры CSV-разделители не быть удержана в пользовательском интерфейсе, при редактировании датастор CSV.
• Японские и другие символы не поддерживаются в пользовательском интерфейсе. Это & Quot; ошибка & Quot; был вопрос об исследовании имеющихся шрифтов в системе и выбора шрифта, который может вынести конкретные символы. В большинстве современных систем будут способны шрифты доступными, но в некоторых отраслях Unix / Linux все еще могут быть ограничения.
• В разделе документация была обновлена! С тех пор первоначальной версии 2.0 документации были далеко позади, но мы, наконец, удалось получить его в актуальном состоянии. Есть еще штук отсутствующие в документации, но это должно быть определенно полезно для базового использования, а также в качестве эталона для большинства тем.
• Время запуска приложений была улучшена за счет распараллеливания загрузки конфигурации и путем задержки инициализации этих частей конфигурации, которые не нужны для первоначального отображения окна.
• фонетический анализатор подобия искатель были удалены от основного распределения, как это было довольно экспериментальным и служит в основном как доказательство концепции и закуску к сообществу, чтобы создать более продвинутые анализаторы соответствия. Теперь вы можете найти и установить фонетического подобия искатель на ExtensionSwap.
• Отменено или errornous обработка работа была улучшена, и пользовательский интерфейс реагирует правильно, отключив кнопки и индикаторы прогресса, если работа остановлена.
• Исправлено несколько незначительных проблем пользовательского интерфейса, относящиеся к таблице размеров и использования скроллинга.

Что нового в версии 2.1.1:

• Улучшения:
• Добавлен текстовое поле поиска / фильтрации в списке датасторов. Это позволяет быстро найти хранилище данных, если вы зарегистрировали более датасторы, чем доступно на экране.
• Исходные данные для кодов стран была добавлена ​​к стандартному распределению, спасибо идет к Graham Ринда для обеспечения их.
• Добавлена ​​горизонтальная полоса прокрутки данных при предварительном просмотре окна там более 10 столбцов.
• Возможность добавления пакета расширения с новыми функциональными возможностями в диалоговом окне Параметры во время выполнения. Больше внимания на расширений будет следовать в последующих выпусках.
• Мы выставлены ранний предварительный просмотр нашего интерфейса командной строки (CLI), позволяя запустить приложение с & Quot; -usage & Quot; параметр, который будет показывать параметры CLI.
• Добавлен ряд опций для форматирование & Quot; Преобразовать Number & Quot; трансформатор.
• Bugfixes:
• Исправлена ​​вне памяти проблема при запросе таблиц с большим количеством столбцов (150 +).
• Исправлена ​​ошибка, которые вызывают & Quot; анализ Limit & Quot; флажок, чтобы не быть проверены правильно, когда работа была вновь открыта после сохранения.
• Не совсем багфикс, как это никогда не было официальной чертой, но теперь мы поддерживаем восстановление пользовательских настроек (файл userpreferences.dat) из предыдущих версий DataCleaner.

Что нового в версии 2.1:

• Был много работы, проделанной на пользовательском интерфейсе ( см медиа-страницу):
• Мы решили снять с левой стороны окна, содержащего параметры конфигурации окружающей среды.
• Вместо того, чтобы все эти варианты были теперь перемещены в окно здания работу, так что пользователь только должен сосредоточиться на одном окне для всех взаимодействий, необходимых для создания задания.
• Диалог Добро пожаловать / Войти также был удален в пользу более дискретной панели, которые могут быть втягиванию или скрыты от главного окна.
• Выбор хранилища данных и управление считается первым мероприятием в заявке, и именно поэтому он также является первым шагом для обработки в главном окне.