DataCleaner

DataCleaner является открытым исходным кодом и совершенно бесплатно решение для организаций и предприятий, желающих повысить и измерить качество данных.
С DataCleaner, пользователи смогут в профиль, сравнения, валидации данных от бизнес-правил, а также контролировать прогрессирование этих измерений с течением времени.
Среди его особенностей можно упомянуть мониторинг данных, профилирование и анализ данных DQ, очищение и обогащение данных, обнаружения и объединить дубликаты, качество данных клиентов, а также супер-быстрый ETLightweight (экстракт-Transform-Load).
Чтобы узнать больше о функции и возможности DataCleaner годов, а также о том, как с ней работать, пожалуйста, обратитесь к http://eobjects.dk/docs

What новый В этом выпуске

• Улучшения и новые возможности:
• Мы сделали это возможным создавать и удалять таблицы с помощью настольного пользовательского интерфейса в DataCleaner. Обратите внимание, что срок и Quot; таблицы и Quot; здесь на самом деле охватывает больше, чем просто реляционных таблиц баз данных. Это также включает в себя листы в хранилищах данных MS Excel, коллекции в MongoDB, типы документов в CouchDB и ElasticSearch и так далее ... В принципе все виды хранилища данных, поддерживающие запись-операции, кроме одной таблице хранилищ данных, таких как CSV хранилищ данных, поддерживает эту функцию! Функциональность подвергается через:
• & Quot; Создать таблицу & Quot; включен в меню правой кнопкой мыши схем в дереве на левой стороне приложения.
• & Quot; Создать таблицу & Quot; включен также с помощью таблицы выбора входов в такие компоненты, как вставить в таблицу, таблица поиска и обновления таблицы.
• & Quot; Drop Table & Quot; включен в меню правой кнопкой мыши таблиц в дереве на левой стороне приложения.
• Мы добавили (опционально) возможность задавать свой веб-сервис Salesforce.com Конечная точка URL. Это позволяет использовать DataCleaner для подключения к песочнице средах Salesforce.com, а также для собственных пользовательских конечных точек.
• Поддержка ElasticSearch была улучшена, позволяя пользовательские отображения, а также повторное использование определения хранилища данных ElasticSearch теперь также для поиска и индексирования.
• Выборка записей и подбору потенциальных дубликатов в дублированием функции обнаружения была улучшена, что приводит к более быстрому конфигурации, потому что решения, принятые в ходе тренировки являются более представительным.
• Формат файл модели дубликатов была обновлена, который снял необходимость в отдельном файле '' справочной чтобы спасти прошлые решения обучения. Совместимость с старом формате была сохранена, но с использованием нового формата добавляет много преимуществ для пользователей.
• Исправления:
• проблема нить голодание было зафиксировано в DataCleaner монитора. Влияние этого вопроса было здорово, но это произошло только в редких и очень индивидуальных случаях. Если заказ слушатель объектов на мониторе DataCleaner бы бросить ошибку, это приведет к ресурсу никогда не освободившись и занимая нить из бассейна Кварц-планирования на сервере. Если это случится много раз сервер может в конечном итоге закончились потоков в этом пуле.
• Вертикальное меню на экране результатов теперь делать надлежащую работу отображения метки компонентов, которые имеют результаты. Это делает его легче распознать, какой элемент меню указывает на какой результат пункта.

Что нового в версии 3.5.7:

• The 'Синоним поиска "трансформация в настоящее время вариант смотреть каждую фишку на входе. Это полезно, если вы делаете замену синонимов в пределах значений длинного текстового поля.
• Блокировка выполнение работ DataCleaner помощью веб-службы монитора для этого иногда может завершиться с ошибкой, вызванной блокирующего потока. Эта проблема была исправлена.
• Улучшение было сделано в способе работы и последовательность компонентов закрыты / очищены после выполнения.
• The JNLP / Java WebStart версия DataCleaner подвергался ошибкой в ​​Java Runtime вызывает определенные файлы JAR не быть признанные WebStart пусковой, при определенных обстоятельствах. Эта проблема была решена путем небольших изменений в этих JAR-файлов.
• Несколько мертвые ссылки в документации не зафиксировано.

Что нового в версии 3.5.4:

• Это стало возможным, чтобы скрыть выходные столбцы преобразований , Скрытие не повлияет на поток обработки на всех, а просто скрыть их от пользовательского интерфейса, и, таким образом потенциально делает опыт более чистый, при взаимодействии с другими компонентами.
• Новый веб-сервис был добавлен в мониторинг веб-приложения, который обеспечивает путь к опрашивать состояние выполнения определенной работы.
• Исправлена ​​ошибка, в результате чего отчет HTML сбой для некоторых типов анализа, если записи не были обработаны.
• И 6 другие незначительные ошибка была адресована.

Что нового в версии 3.5.1:

• Захват измененные записи:
• Новый фильтр был добавлен для того, чтобы добавочной обработки записей, которые не были обработаны перед, например, только для профилирования или копирования изменен записи. Имя новые фильтры является захват измененные записи, ссылаясь на концепции отслеживания измененных данных.
• В очереди выполнение работ:
• The DataCleaner монитор теперь очередь выполнение той же работы, если срабатывает несколько раз. Это гарантирует, что вы случайно не запустить ту же работу одновременно, которые могут привести к разного рода вопросов, в зависимости от того, что работа делает.
• Небольшие исправления:
• Несколько исправлений был реализован.

Что нового в версии 3.5:

• Несколько волшебников теперь доступны для регистрации хранилища данных; в том числе файл-загрузки на сервере для CSV файлов, запись подключения к базе данных, управляемой регистрации Salesforce.com полномочий и больше.
• Строительные работы мастера были расширены с несколькими расширенными функциями; Выбор распределения значений и рисунок нахождения поля в мастере быстрого анализа, совершенно новый мастер создания EasyDQ основе чистки клиентов рабочих мест и новый мастер задания для стрельбы Pentaho интеграции данных рабочих мест (читайте об этом ниже).
• Теперь Вы можете одноранговой запрос любой хранилище данных непосредственно в веб-интерфейсе пользователя. Это делает его легко получить быстрые или спорадические понимание данных без создания рабочих мест или других управляемых подходы обработки данных.
• После работы или хранилищами данных создаются, пользователь руководствуется принять меры с недавно построенного объекта. Например, вы можете очень быстро запустить работу сразу после он построен, или сделать запрос хранилища данных после регистрации.
• Администраторы теперь могут напрямую загружать рабочие места в хранилище, которое особенно удобно, если вы хотите, чтобы вручную редактировать содержимое XML файлов работы.
• Много технического хлама теперь спрятаны в пользу показывая простые диалоги. Например, когда работа срабатывает большой показатель загрузки показывается, а когда закончил Результат будет показан. Передовая экран регистрации, который был ранее там еще может быть отображен на нажатии на ссылку для получения дополнительной информации.

Что нового в версии 3.1.2:

• Мы добавили веб-сервис в мониторинге Приложение для получения (список) метрических значений. Это делает мониторинг еще более удобным в качестве ключевого компонента инфраструктуры, как способ контроля данных (качество) и выставить результаты в сторонних приложений.
• Компонент "Таблица поиска" была улучшена путем добавления присоединиться семантику как конфигурируемый собственности. Использование присоединиться семантику можно настроить, если вы хотите, поиск работать семантически как LEFT JOIN или INNER JOIN.
• Компоненты EasyDQ были модернизированы, добавляя дополнительные параметры конфигурации и богаче результата интерфейс дедупликации.
• Улучшена производительность были Особое внимание этого выпуска. Улучшения были сделаны в двигателе DataCleaner для дальнейшего использовать подход обработки потокового в некоторых случаях угловых, которые не покрыты ранее был.

Что нового в версии 3.1.1:

были расширены
• Дата и время, связанные с опции анализа , добавив, анализаторы распределения для номера недель, месяцев и лет. Все анализаторы, связанные с датой и временем теперь сгруппированы в подменю под названием & Quot; Дата и время & Quot; под & Quot; Анализ и Quot;.
• Дополнительный & Quot; описательная статистика и Quot; Опция была добавлена ​​к анализатору номер и анализатора даты / времени. Эта опция добавляет дополнительные показатели с результатами этих анализаторов, таких как медиана, асимметрия, эксцесс процентили и. Эти показатели не являются обязательными, так как их объем памяти несколько больше, чем существующие метрики.
• Линии на временной шкале графиков веб-приложения мониторинга теперь маленькие точки в них. Это особенно полезно для диаграмм с несколькими (или даже только один) наблюдений в них -., Чтобы указать, где именно точки наблюдения являются
• Парсер запросов при вызове запросы одноранговых также существенно улучшена. Теперь запросы могут содержать положения, DISTINCT * -wildcards, подзапросы и отказоустойчивой к вопросам Текст случае.
• Два новых трансформаторов, которые были добавлены для генерации UUID, и для генерации временных меток.

Что нового в версии 3.1:

• Метрическая формулы - разработаны качества данных КПЭ:
• Теперь можно построить гораздо более подробно Data Quality КПЭ в мониторинга веб-приложения DataCleaner в. Пользовательский интерфейс позволяет создавать сложные формулы в табличном виде формулы стиля; с помощью переменных, собранные DataCleaner рабочих мест.
• Метрическая формулы можно объединить любое количество метрик, констант и операций, так долго, как это может быть выражено в математическом уравнении.
• Например - измеряют скорость повторяющихся записей в процентах от общего количества записей. Или измерить количество кодов продуктов, которые соответствуют набору нескольких шаблонов строк.
• Специальная Запросы - любой хранилище
• С DataCleaner 3.1 теперь вы можете выполнять незапланированные запросы любого хранилища! Запросы могут быть выражены в виде обычного SQL и будет применяться к базам данных, а также файлов, баз данных NoSQL и более, обеспечивая по-настоящему полезную механизм запросов, чтобы расширить ваш опыт в открытие и данные профилирования.
• Возможность запроса также доступны через веб-сервис для мониторинга пользователей с ролью администратора. Запрос предоставляется в качестве параметра HTTP POST или тела, и результат предоставляется в качестве таблицы XHTML.
• Значение совпадений - вариант Новый анализ:
• Часто у вас есть твердое представление, на котором значения должно быть разрешено и ожидаемое для конкретной области. В DataCleaner там всегда был вариант анализ Значение распространения, которые помогут вам отстаивать свои предположения. В DataCleaner 3.1, хотя, у вас есть более точная предложение - значение Искатель. Эта опция анализ позволяет определить набор ожидаемых значений, а затем выполнить распределение значение, как анализ, в частности, для проверки и выявления неожиданные значения.
• Копирование, удаление и управление рабочих мест:
• Управление рабочих мест и результатов в применении DataCleaner монитора была значительно улучшена. Теперь вы можете нажать на работу на странице Планирование монитора, и найти варианты управления, доступные для таких операций, как переименование, копирование, удаление и многое другое. Каждая операция уважает связей с другими артефактами в мониторе, например, результатов анализа, графиков и многое другое. Это означает, что управление мониторинга хранилища стало намного проще и зрелым.
• Управление историей качества данных:
• Иногда вы столкнулись с ситуациями, когда вы на самом деле хотите, чтобы сделать мониторинг с историческими данными! Это может быть, что у вас есть исторические свалки или резервные копии баз данных, которые вы хотите, чтобы показать и рассказать историю. Теперь Вы можете сделать анализ этого исторического данных, загрузить его на мониторе DataCleaner, и с помощью нового веб-сервиса, установить исторические данные конкретного результата анализа. Это означает, что ваши сроки будет правильно построить результаты с помощью предполагаемой даты их, но с результатами, которые вы, возможно, собранных на более поздний момент времени.
• поддержка кластерной планировщик (только ЭО):
• Планировщик DataCleaner мониторе была вовне, так что он может быть заменен на средства простой конфигурации. В Enterprise Edition (EE) в DataCleaner, мы предоставляем кластерный планировщик, обеспечивая возможность загрузки баланса и распространять свои казней на кластере машин.
• Single-входа в систему (SSO) с помощью CAS (EE только):
• В Enterprise Edition (EE) из DataCleaner мы в настоящее время обеспечивают возможность одного SIGNON для применения монитора. Теперь DataCleaner может быть неотъемлемой частью ИТ-инфраструктуры, также с точки зрения безопасности.
• ... И многое другое:
• Выше только резюме. Более тридцати вопросы были решены в этом выпуске. Мы решили несколько запросов, поступающих от форумов и сообщества, и мы призываем всех использовать эту среду в качестве средства для изменения. Мы очень рады, чтобы сделать развитие DataCleaner быть в значительной степени под влиянием потоков в обществе.

Что нового в версии 3.0.3:

• Добавляет сервис для переименования рабочих мест в хранилище мониторинга .
• Вы можете получить доступ к этому как RESTful веб-службы или в интерактивном режиме в пользовательском интерфейсе.
• Веб-служба была добавлена ​​для изменения историческую дату результата анализа в хранилище мониторинга.
• Веб-приложение было сделано совместимым с наследием JSF контейнеры.
• Кэширование конфигурации в веб-приложения значительно улучшилось, что приводит к быстрой загрузки страниц и инициализации работа.

Что нового в версии 3.0.2:

• При срабатывании работу в веб-приложения мониторинга, панель автоматически обновляется каждую секунду, чтобы получить последнюю состояние выполнения.
• на основе файлов хранилища данных (например, CSV или Excel таблицы) с абсолютными путями теперь правильно решена в мониторинг веб-приложения.
• The & Quot; Выберите из ключ / значение карте и Quot; Трансформатор теперь поддерживает вложенные выберите выражения, как и Quot; Address.Street & Quot; или & Quot; OrderLines [0] .product.name & Quot;.
• Механизм таблица поиска были оптимизированы для работы с использованием подготовленных операторов при работе с базами данных JDBC.
• Администраторы теперь могут скачать файл на основе хранилища данных непосредственно из & Quot; хранилищ данных и Quot; страница.
• Обработка исключений в мониторинг веб-приложения была улучшена немного, что делает сообщения об ошибках точнее и интуитивно понятным.