Как удалить дубликаты строк в файле?
Рубрика: Shell
Метки: shell | команды Linux
Суббота, 20 сентября 2008 г.
Просмотров: 7328
Подписаться на комментарии по RSS
Метки: shell | команды Linux
Суббота, 20 сентября 2008 г.
Просмотров: 7328
Подписаться на комментарии по RSS
Вопрос. Мне необходимо отсортировать данные в лог файле, но в нем очень много дублированных строк. Как я могу удалить все дублированные линии из текстового файла под Linux.
Ответ. Вам необходимо использовать 2 команды шелл, перенаправив вывод одной в другую:
a] команда sort - сортирует строки в текстовом файле
b] uniq command - уведомляет или пропускает повторяющиеся строки
Удаляем дубликаты строк используя команды Sort и Uniq.
Используем следующий синтаксис:
sort {file-name} | uniq -u
sort file.log | uniq -u
Например у нас есть файл garbage.txt:
this is a test food that are killing you wings of fire we hope that the labor spent in creating this software this is a test unix ips as well as enjoy our blog
Введите следующую команду:
$ sort garbage.txt | uniq -u
Результат исполнения:
food that are killing you unix ips as well as enjoy our blog we hope that the labor spent in creating this software wings of fire
Где,
- -u : удаляет все дубликаты строк
Постовой
Интернет-магазин - в продаже зимние шины и литые диски для любых марок автомобилей.
Еще записи по теме
- iRedMail: Установка полноценного почтового сервера с LDAP, Postfix, RoundCube, Dovecot, ClamAV, DKIM, SPF в CentOS 5.x, часть 2
- 5 практических примеров для удаления директорий в Linux
- Как посмотреть какие группы принадлежат пользователю Linux
- Смертоносные команды Linux
- Замораживаем сессию vi
- Включаем автоматический вход в Ubuntu 9.10
- Как использовать команду DsQuery для поиска контроллеров домена?
Комментариев: 2
Такое тоже работает
$ sort -u file.ext
недорогие грузчики Одесса только тут