Duplicator

Дубликатор это утилита, которая удаляет повторяющиеся строки из текстового файла. Он использует очень мало памяти. Если у вас есть ограничения, как: большой список слов разделенных п - одно слово в каждой строке. Размер файлов в диапазоне от 2 ГБ до такого размера, как 10 Гб. Нужно удалить дубликаты строк. Процесс может сортировки списка в ходе удаления дубликатов, но не обязательно. Существует достаточно места на разделе, чтобы держать новый уникальный список слов выводится. Это было проверено на 500 мб файл ~ ~ с 8mil линий и потребляется 30 Мб оперативной памяти, чтобы удалить 10 Мб дублированных строк.