Удалить повторяющиеся слова в excel

Поиск и удаление

Найти и удалить значения таблицы, которые дублируются, возможно разными способами. В каждом из этих вариантов поиск и ликвидация дубликатов – это звенья одного процесса.

Способ 1: простое удаление повторяющихся строк

Проще всего удалить дубликаты – это воспользоваться специальной кнопкой на ленте, предназначенной для этих целей.

  1. Выделяем весь табличный диапазон. Переходим во вкладку «Данные». Жмем на кнопку «Удалить дубликаты». Она располагается на ленте в блоке инструментов «Работа с данными».

Открывается окно удаление дубликатов. Если у вас таблица с шапкой (а в подавляющем большинстве всегда так и есть), то около параметра «Мои данные содержат заголовки» должна стоять галочка. В основном поле окна расположен список столбцов, по которым будет проводиться проверка. Строка будет считаться дублем только в случае, если данные всех столбцов, выделенных галочкой, совпадут. То есть, если вы снимете галочку с названия какого-то столбца, то тем самым расширяете вероятность признания записи повторной. После того, как все требуемые настройки произведены, жмем на кнопку «OK».

Excel выполняет процедуру поиска и удаления дубликатов. После её завершения появляется информационное окно, в котором сообщается, сколько повторных значений было удалено и количество оставшихся уникальных записей. Чтобы закрыть данное окно, жмем кнопку «OK».

Способ 2: удаление дубликатов в «умной таблице»

Дубликаты можно удалить из диапазона ячеек, создав умную таблицу.

  1. Выделяем весь табличный диапазон.

Находясь во вкладке «Главная» жмем на кнопку «Форматировать как таблицу», расположенную на ленте в блоке инструментов «Стили». В появившемся списке выбираем любой понравившийся стиль.

Затем открывается небольшое окошко, в котором нужно подтвердить выбранный диапазон для формирования «умной таблицы». Если вы выделили все правильно, то можно подтверждать, если допустили ошибку, то в этом окне следует исправить

Важно также обратить внимание на то, чтобы около параметра «Таблица с заголовками» стояла галочка. Если её нет, то следует поставить. После того, как все настройки завершены, жмите на кнопку «OK»

«Умная таблица» создана

После того, как все настройки завершены, жмите на кнопку «OK». «Умная таблица» создана.

После этого, открывается окно удаления дубликатов, работа с которым была подробно расписана при описании первого способа. Все дальнейшие действия производятся в точно таком же порядке.

Этот способ является наиболее универсальным и функциональным из всех описанных в данной статье.

Способ 3: применение сортировки

Данный способ является не совсем удалением дубликатов, так как сортировка только скрывает повторные записи в таблице.

  1. Выделяем таблицу. Переходим во вкладку «Данные». Жмем на кнопку «Фильтр», расположенную в блоке настроек «Сортировка и фильтр».

Фильтр включен, о чем говорят появившиеся пиктограммы в виде перевернутых треугольников в названиях столбцов. Теперь нам нужно его настроить. Кликаем по кнопке «Дополнительно», расположенной рядом все в той же группе инструментов «Сортировка и фильтр».

Открывается окно расширенного фильтра. Устанавливаем в нем галочку напротив параметра «Только уникальные записи». Все остальные настройки оставляем по умолчанию. После этого кликаем по кнопке «OK».

После этого, повторяющиеся записи будут скрыты. Но их показ можно в любой момент включить повторным нажатием на кнопку «Фильтр».

Способ 4: условное форматирование

Найти повторяющиеся ячейки можно также при помощи условного форматирования таблицы. Правда, удалять их придется другим инструментом.

Как избавиться от дублей страниц, проиндексированных в Яндексе и Google

Итак, с различными методами разобрались, пришло время узнать пошаговый план удаления дубликатов в Яндексе и Гугле. Перед тем, как проводить зачистку, необходимо найти все дубли страниц — об этом я писал в прошлой статье. Нужно перед глазами видеть, какие элементы адресов страниц отражены в дублях. Например, если это страницы с древовидными комментариями или с пагинацией, то мы фиксируем содержащие в их адресах слова «replytocom» и «page»:

Замечу, что для случая с replytocom можно взять не это словосочетание, а просто вопросительный знак. Ведь он всегда присутствует в адресе страниц древовидных комментариев. Но тогда нужно помнить о том, что уже в урлах оригинальных новых страниц не должно быть символа «?», иначе и эти станицы уйдут под запрет.

Чистим Яндекс

Для удаления дублей в Яндексе создаем правила блокировки дубликатов с помощью директивы Disallow. Для этого совершаем следующие действия:

  1. Открываем в Яндекс Вебмастере специальный инструмент «Анализ robot.txt».
  2. Вносим в поле директив новые правила блокировки дублей страниц.
  3. В поле «список URL» вносим примеры адресов дубликатов по новым директивам.
  4. Нажимаем кнопку «Проверить» и анализируем полученные результаты.

Если мы все верно сделали, то данный инструмент покажет о наличии блокировки по новым правилам. В специальном поле «Результаты проверки URL» мы должны увидеть красную надпись о запрете:

Чистим Google

С Гуглом не все так просто. Запретные директивы в robots.txt  не удаляют дубли в индексе этой поисковой системы. Поэтому нам придется все делать своими силами. Благо для этого есть отличный сервис Google вебмастер. А конкретно нас интересует его инструмент «Параметры URL».

Именно благодаря этому инструменту, Google позволяет владельцу сайта сообщить поисковику сведения о том, как ему нужно обрабатывать те или иные параметры в урле. Нас интересует возможность показать Гуглу те параметры адресов, страницы которых являются дублями. И именно их мы хотим удалить из индекса. Вот что нам нужно для этого сделать (для примера добавим параметр на удаление дублей с replytocom):

  1. Открываем в сервисе Гугла инструмент «Параметры URL» из раздела меню «Сканирование».
  2. Нажимаем кнопку «Добавление параметра», заполняем форму и сохраняем новый параметр:

В итоге у нас получается прописанное правило для пересмотра Гуглом своего индекса на наличие дублированных страниц. Таким образом дальше мы прописываем следующие параметры для других дубликатов, от которых хотим избавиться. Например, вот так выглядит часть моего списка с прописанными правилами для Гугла, чтобы он подкорректировал свой индекс:

На этом наша работа по чистке Гугла завершена, а мой пост подошел к концу. Надеюсь, эта статья принесет Вам практическую пользу и позволит Вам избавиться от дублей страниц Ваших ресурсов.

Поиск и удаление дубликатов файлов с помощью CCleaner Pro

Это очень эффективная программа по чистке компьютера. Она позволит не только очистить реестр от ошибок, но еще и проанализировать диски на предмет того, какие файлы занимают место (видео, картинки, музыка, документы), найти и удалить дубликаты на носителях информации. Однако имейте в виду, что мы не рекомендуем чистить реестр и на постоянной основе использовать CCleaner. Достаточно один раз проверить диски на наличие дубликатов файлов и после использования удалить программу.

  1. Cкачайте и установите CCleaner Pro.
  2. Перейдите в раздел меню “Инструменты”.
  3. Выберите “Поиск дублей”.
  4. В открывшемся окне можно указать параметры поиска дубликатов файлов: критерии поиска, условия исключений файлов из поиска.

В подразделе “Критерий поиска” можно выбрать, по каким параметрам искать дубликаты файлов: по имени, размеру, дате изменений, содержимому.

По умолчанию активированы первые три свойства файла: имя, размер и дата изменения. То есть программа будет искать файлы с одинаковыми названиями, размером и датой изменения. Чем больше критериев поиска выбрано, тем точнее поиск и тем меньше будет найдено дубликатов.

Мы рекомендуем оставить стандартные значения критериев поиска и перейти к следующему подразделу под названием “Игнорировать”.

Здесь можно указать, какие файлы искать не требуется. По умолчанию CCleaner не будет искать системные файлы, файлы только для чтения (которые нельзя перезаписать или изменить) и пустые файлы, не занимающие место на диске. При желании можно исключить из поиска скрытые файлы, а также задать размер игнорируемых файлов. Например, не меньше 1 мегабайта и (или) не более 5 гигабайт.

Выбор размера файла может быть удобен людям, которые не желают тратить время на удаление дубликатов небольших по объему файлов. Исключив файлы до 1 мегабайта, вы наверняка не увидите в выдаче поиска текстовые документы и сможете удалить более весомые копии.

Далее необходимо выбрать диск или папку, в которой будет производиться поиск дубликатов. Здесь же можно исключить определённые диски или папки.

Определив параметры поиска, можно приступить к самому поиску. Нажмите кнопку “Найти”, и программа приступит к поиску дубликатов файлов по заданным критериям.

По окончании поиска появится окно с результатами. У исходного файла будет как минимум одна копия. Дубликатов может быть и два, и три, и располагаться они могут в разных местах. Поэтому мы рекомендуем всегда смотреть, в каком расположении вы оставите файл, а в каких папках будете удалять.

Проставляя галочки напротив дубликатов, вы будете выбирать файлы на УДАЛЕНИЕ.

Выбрав необходимые файлы, и удостоверившись, что все сделали правильно, можно нажать кнопку “Удалить выбранные”. Имейте ввиду, что удаление будет произведено окончательно, без удаления в корзину.

Вот так просто, используя CCleaner, можно освободить свободное место на диске, избавиться от дубликатов файлов в разных местах на дисках и привести свои каталоги в порядок.

Поиск и выделение дубликатов цветом

Чтобы выделить дубликаты на фоне других ячеек каким-то цветом, надо использовать условное форматирование. Этот инструмент имеет множество функций, в том числе, и возможность выставлять цвет для обнаруженных дубликатов. 

В одном столбце

Условное форматирование – это наиболее простой способ определить, где находятся дубликаты в Excel и выделить их. Что нужно сделать для этого?

  1. Найти ту область поиска дубликатов и выделить ее.

  2. Переключить свой взор на Панель инструментов, и там развернуть вкладку «Главная». После нажатия на эту кнопку появляется набор пунктов, и нас, как уже было понятно исходя из информации выше, интересует пункт «Повторяющиеся значения».

  3. Далее появляется окно, в котором нужно выбрать пункт «Повторяющиеся» и нажать на клавишу ОК.

Теперь дубликаты подсвечены красным цветом. После этого нужно их просто удалить, если в этом есть необходимость. 

В нескольких столбцах

Если стоит задача определить дубликаты, расположенные больше, чем в одной колонке, то принципиальных отличий от стандартного использования условного форматирования нет. Единственная разница заключается в том, что необходимо выделить несколько столбцов. 

Последовательность действий, в целом, следующая:

  1. Выделить колонки, в которых будет осуществляться поиск дубликатов.
  2. Развернуть вкладку «Главная». После этого находим пункт «Условное форматирование» и выставляем правило «Повторяющиеся значения» так, как это было описано выше. 
  3. Далее снова выбираем пункт «Повторяющиеся» в появившемся окошке, а в списке справа выбираем цвет заливки. После этого кликаем по «ОК» и радуемся жизни.

Дубликаты строк

Важно понимать, что между поиском дублей ячеек и строк есть огромная разница. Давайте ее рассмотрим более подробно

Посмотрите на эти две таблицы.

1718

Характерная особенность тех таблиц, которые были приведены выше, заключается в том, что в них приводятся одни и те же значения. Все потому, что в первом примере осуществлялся поиск дубликатов ячеек, а во втором видим уже повторение строк с информацией. 

Итак, что нужно сделать для поиска повторяющихся значений в рядах?

  1. Создаем еще одну колонку в правой части по отношению к таблице с исходной информацией. В нем записывается формула, которая выводит объединенную информацию со всех ячеек, входящих в состав строки. =A2&B2&C2&D2
  2. После этого мы увидим информацию, которая была объединена.

  3. После этого следует выбрать дополнительную колонку (а именно, те ячейки, которые содержат объединенные данные).
  4. Далее переходим на «Главная», а затем снова выбираем пункт «Повторяющиеся значения» аналогично описанному выше. 
  5. Далее появится диалоговое окно, где снова выбираем пункт «Повторяющиеся», а в правом перечне находим цвет, с использованием которого будет осуществляться выделение. 

После того, как будет нажата кнопка «ОК», повторы будут обозначены тем цветом, который пользователь выбрал на предыдущем этапе.

Хорошо, предположим, перед нами стоит задача выбрать те строки, которые располагаются в исходном диапазоне, а не по вспомогательной колонке? Чтобы это сделать, нужно предпринять следующие действия:

  1. Аналогично предыдущему примеру, делаем вспомогательную колонну, где записываем формулу объединения предыдущих столбцов. =A2&B2&C2&D2
  2. Далее мы получаем все содержащиеся в строке значения, указанные в соответствующих ячейках каждой из строк.

  3. После этого осуществляем выделение всей содержащиеся информации, не включая дополнительный столбец. В случае с нами это такой диапазон: A2:D15. После этого переходим на вкладку «Главная» и выбираем пункт «Условное форматирование» – создать правило (видим, что последовательность немного другая).

  4. Далее нас интересует пункт «Использовать формулу для определения форматируемых ячеек», после чего вставляем в поле «Форматировать значения, для которых следующая формула является истинной», такую формулу. =СЧЁТЕСЛИ($E$2:$E$15;$E2)>1

Для дублированных строк обязательно установить правильный формат. С помощью приведенной выше формулы можно осуществить проверку диапазона на предмет наличия повторов и выделить их определенным пользователем цветом в таблице.

23

Навигатор по конфигурации базы 1С 8.3 Промо

Универсальная внешняя обработка для просмотра метаданных конфигураций баз 1С 8.3.
Отображает свойства и реквизиты объектов конфигурации, их количество, основные права доступа и т.д.
Отображаемые характеристики объектов: свойства, реквизиты, стандартные рекизиты, реквизиты табличных частей, предопределенные данные, регистраторы для регистров, движения для документов, команды, чужие команды, подписки на события, подсистемы.
Отображает структуру хранения объектов базы данных, для регистров доступен сервис «Управление итогами».
Платформа 8.3, управляемые формы. Версия 1.1.0.75 от 15.01.2021

3 стартмани

Удаление дубликатов в Microsoft Excel

Для меня человека который проводит время в отпуске и работает с мобильного интернета скорость которого измеряется от 1-2 мегабита, прокачивать в пустую такое кол-во товара с фотографиями смысла не имеет и время пустое и трафика сожрет не мало, поэтому решил повторяющиеся товары просто удалить и тут столкнулся с тем, что удалить дублирующиеся значения в столбце не так то и просто, потому как стандартная функция excel 2010 делает это топорно и после удаления дубликата двигает вверх нижние значения и в итоге у нас все перепутается в документе и будет каша.

В данной статье будет представлено два варианта решения проблемы.

1 Вариант — Стандартная функция в эксель — Удалить дубликаты

Я не могу пропустить этот вариант, хоть он и самый примитивный но может это то, что именно Вы искали для своей ситуации, поэтому давайте рассмотрим тот функционал который идет из коробки самого экселя

Для этого выделим те столбцы или область в какой надо удалить дубликаты и зайдем в меню Данные и потом выберем Удалить дубликаты, после чего у нас удаляться дубликаты, но будет сдвиг ячеек, если для вас это не критично, то этот способ Ваш!

2 Вариант — Пометить дубликаты строк в Лож или Истина

Этот вариант самый простой и отсюда сразу вылетает птичка которая ограничит этот вариант в действии, а именно в том, что им можно воспользоваться если у вас все дублирующие значения идут по порядку, а не в разнобой по всему документу

для примера возьмем два столбика с данными, в одном (пример1) дублирующие значения повторяются, а в (примере2) в разнобой и не идут друг за другом.

В примере1 мы должны в стоящей рядом ячейки нажать знак ровно и выбрать первое и нижние значение что бы формула была такая:

и нажимаем энтер, и у нас в этой ячейки в зависимости от данных должно появится значение Лож или Истина

Истина — если А1 будет ровно А2

если применить этот вариант на столбце Пример2, то как вы поняли везде будет значение Лож

Этот вариант хорош только в редких случаях, но его тоже надо знать, его ограничение в том что эта формула сравнивает себя и следующее значение, тоесть она применима только одновременно к двум ячейкам, а не ко всему столбцу. Но если у вас данные как с столбце Пример2, тогда читайте дальше )

3 Вариант — Удалить дубликаты в столбе

Вот этот вариант уже более сложный, но он решит вашу проблему на все 100% и сразу ответит на все вопросы.

Как видим у нас имеется столбец в котором все значения идут не по порядку и они перемешаны

Мы как и в прошлый раз в соседнюю ячейку вставляем следующую формулу

После применения которой у нас будет либо пуская ячейка, либо значение из ячейки напротив.

из нашего примера сразу видно, что в этом столбце было два дубля и эта формула нам значительно сэкономила времени, а дальше фильтруем второй столбец и в фильтре выбираем пустые ячейки и дальше удаляем строки, вот и все)

Таким образом я в документе который который скачал у поставщика создал перед артикулом пустой столбце и далее применил эту формулу и после отфильтровав получил документ который был на 6-8 тыс строк меньше и самое главное после удаление дубликатов у меня не поднимались значения вверх, все стояло на своих местах

Надеюсь статья была полезная, если не поняли я прикрепил к каналу видео смотрите его или задавайте вопросы,

Удаление дублей при помощи бесплатной программы Text Duplicate Killer

Для начала скачайте и установите утилиту. Скачать её можно здесь. Сразу после установки запустите её и сделайте следующее:

  1. Укажите ссылку на файл со списком
  2. Укажите выходной файл, нажав на волшебную палочку (файл сохранится в той же папке, что и основной список).
  3. Нажмите кнопку «Старт»

Дождитесь завершения работы программы и наслаждайтесь результатом.

Вывод: способ очень хорош тем, что не имеет ограничений по объёму списка, весьма стабилен, не требователен к памяти, а также тем, что позволяет работать с файлами без их предварительного открытия, что избавляет от дополнительного ожидания в самом начале в отличии от первого способа с Excel. Однако по причине того, что программа разбивает список на множество мелких подсписков, работает она со средней скоростью, которую иногда хотелось бы подувеличить

Создание сводной таблицы

Избавиться от повторяющихся значений можно и с помощью сводной таблицы. Способ этот сложнее, чем две первых методики — зато подходит даже для старых версий Excel с меньшим количеством функций.

О том, как создать сводную таблицу в Excel, мы писали в отдельной статье. В кратце, для ее формирования нужно сделать следующее: 

  • Добавить дополнительный столбец, назвав его, например, «Счетчик», и заполнить его единицами до конца таблицы. 
  • На вкладке «Вставка» в группе таблиц выбрать «Сводную таблицу» и установить галочки так, чтобы она оказалась на новом листе. 
  • Перетащить мышкой названия всех столбцов, кроме последнего, в поле названий. 
  • Перетащить «Счетчик» в поле значений. 

Теперь у пользователя получится сводная таблица, в которой все дубликаты будут сгруппированы вместе. Узнать о том, что среди информации есть повторы, можно по цифрам в последнем столбце. Если там будет не единица — значит, есть дубликаты. 

  • Как сделать рамку в Ворде: 2 простых способа
  • Как отключить спящий режим и гибернацию в Windows 10

Другие способы

Также есть сторонние сервисы, которые позволяют искать и удалять дубли ключевых слов. Поиск Google выдает немало результатов, но среди них есть те, которые распознают и удаляют только полное совпадение как по морфологии, так и по порядку слов.
 
Мы выбрали 3 сервиса.

KeyCollector

Чтобы провести поиск дублей, добавьте список фраз, например:
 

 
Выберите «Анализ неявных дублей»:
 

Появляется список всех повторов. Нажмите «Выполнить умную групповую отметку», чтобы KeyCollector выделил дубли для удаления:
 

 
Подобную функцию предлагает следующий онлайн-сервис.

VK-site

 
Введите список фраз в поле и нажмите «Обработать»:
 

 
Сервис удаляет все фразы с дублями:
 

 
Возвращать нужный вариант и выбирать, какой именно вариант вернуть, приходится самостоятельно вручную кликом по нему:
 

 
Существенный минус – не учитывается морфология. Но это позволяет сделать следующий сервис в нашем обзоре.

PPC-HELP

Ссылка на сервис здесь.
 
Для работы в нем нужно создать аккаунт или авторизоваться через соцсети:
 

 
В бесплатной версии можно обрабатывать до 1 000 фраз.
 

Как видите, и правда сервис учитывает морфологию:
 

К сожалению, онлайн-сервисы не распознают типы соответствия. В этом их опережают KeyCollector, редактор Google Ads и Директ.Коммандер.
 
Рекомендуем сразу удалять дубли во всем аккаунте – это значительно упростит управление.
 
Высоких вам конверсий!

Функция удаления дубликатов

Проще всего избавляться от повторов, доверив удаление автоматической встроенной в программу функции. Этот способ удаления повторяющихся строк в Excel самый быстрый и простой. Хотя не исключена вероятность того, что программа удалит что-то лишнее — или, наоборот, пропустит «неполные» повторения. 

Использовать такую методику стоит, если пользователю нужно быстро убрать дублирующиеся данные — или если таких дубликатов слишком много. 

Порядок действия для устранения повторов в таблице следующий: 

  • Выделить область таблицы и открыть вкладку «Данные». 
  • Перейти к группе команд «Работа с данными». 
  • Найти иконку функции удаления дубликатов, которая выглядит как два расположенных рядом цветных столбца. 
  • Кликнуть по ней и, если в столбцах есть заголовки, поставить галочку напротив соответствующего пункта в открывшемся окне. 
  • Нажать «ОК» и получить в результате файл без дубликатов. 

С помощью такой методики можно удалить те строки, которые полностью совпадают друг с другом. Обычно это происходит при копировании информации из 2-3 и более файлов в одну таблицу. Но иногда возникает необходимость удалить дубли в Экселе, где информация совпадает только частично. Это может быть, например, каталог товаров, где есть одни и те же наименования с отличающимися ценами. 

Простое удаление не позволит устранить повторы, если стоимость будет другой. Избежать ошибки можно, выбрав при настройке удаления дубликатов только те столбцы, которые будут сравниваться. Например, «Название» и «Марка» — но без «Цены» и «Количества». 

Сводные таблицы для обнаружения повторяющихся значений

Сводная таблица – это еще один инструмент Excel, использование которого возможно для удаления дублей. Давайте откроем таблицу, которая находится выше (ту, которая с тремя столбцами, и сделаем еще один). Назовем его «Счетчик». В качестве содержимого ячеек будем использовать единицу. После этого вся таблица выделяется. Далее ищем кнопку «Сводная таблица». Найти ее можно на вкладке «Вставка».

11

Далее нужно настроить таблицу. Сперва открывается поле «Название строк», где размещается три столбца. Затем в качестве содержимого поля «Значения» выбираем колонку, в которой будет располагаться счетчик.

После этого будет сгенерирована таблица, где те записи, которые содержат число, превышающее единицу, будут обозначать дубликаты. При этом сама цифра будет показывать, сколько значений повторяется. Чтобы было более понятно, давайте сделаем сортировку значений по колонке «Счетчик», чтобы все дубликаты находились вместе.

12

Удаление повторяющихся значений

При использовании функции Удаление дубликатов

повторяющиеся данные удаляются безвозвратно. Чтобы случайно не потерять необходимые сведения, перед удалением повторяющихся данных рекомендуется скопировать исходные данные на другой лист.

Выделите диапазон ячеек с повторяющимися значениями, который нужно удалить.

Совет:

Перед попыткой удаления повторений удалите все структуры и промежуточные итоги из своих данных.

На вкладке Данные

нажмите кнопкуУдалить дубликаты и в разделеСтолбцы установите или снимите флажки, соответствующие столбцам, в которых нужно удалить повторения.

Например, на данном листе в столбце «Январь» содержатся сведения о ценах, которые нужно сохранить.

Поэтому флажок Январь

в полеУдаление дубликатов нужно снять.

Оцените статью
Рейтинг автора
5
Материал подготовил
Илья Коршунов
Наш эксперт
Написано статей
134
Добавить комментарий