Что такое шингл?++


18.04.2015 19:292379

Что такое шингл? Шингл – это отдельный фрагмент текста длиной в определенное количество слов, с которым работает сервис по проверке уникальности текста. Суть заключается в том, что весь текст разбивается на отдельные фрагменты заданной фиксированной величины (от трёх до восьми слов), а программа, определяющая уникальность текста, проверяет наличие таких же фрагментов текста (шинглов) в размещённых ранее документах в сети.

Уникальность проверяемого документа зависит от длины шингла. Например, если вы зададите размер шингла в одно слово, то в интернете всегда найдётся документ, в котором будет встречаться каждое слово, существующее в проверяемом документе. Как следствие - уникальность такого документа будет нулевой. А если, к примеру, создать выборку из девяти слов, то уникальность проверяемого контента резко возрастёт - найти два документа, которые содержат одинаковые фрагменты текста из девяти слов, очень сложно.

Программы-антиплагиаты составляют шинглы по своим заданным алгоритмам. Одним из таких правил является составление шингла внахлёст, т.е. каждый последующий шингл захватывает часть предыдущего.



Пример:

Исходный текст: Рецепт этой маски невероятно прост: достаточно взять две ложки мёда и смешать с таким же количеством голубой глины.

Шингл 1: рецепт этой маски
Шингл 2: этой маски невероятно
Шингл 3: маски невероятно прост

В примере размер шингла составляет три слова, а сами шинглы нарезаются внахлест.

Существует большое количество сложных алгоритмов нарезки шинглов. Давайте рассмотрим два наиболее популярных из них:

- без очистки текста от стоп-слов и символов;
- с очисткой текста от стоп-слов и символов.


Суть первого алгоритма заключается в проверке исходного документа без внесения каких-либо изменений. При использовании второго алгоритма из текста убираются символы, а также слова, которые не несут никакой смысловой нагрузки (междометия, предлоги, союзы и прочее).

Пример:

Исходный текст: Рецепт этой маски невероятно прост: достаточно взять две ложки мёда и смешать с таким же количеством голубой глины.
После очистки от символов и стоп-слов: Рецепт маски невероятно прост достаточно взять две ложки мёда смешать количеством голубой глины.





«Что такое шингл?++» - Похожие страницы

Что такое дескрипшен? Что такое дескрипшен?++ Дескрипшеном (description) называется краткое описание статьи. Увидеть его можно при выдаче результатов поисковой системой , сразу же под тайтлом. Для того, чтобы посетитель принял решение о переходе на сайт...
Веб-сайт: что это такое? Веб-сайт: что это такое?++ Сегодня понятие "сайт" плотно вошло в наш лексикон, и становится еще более распространенным, чем было. Во многом это связано непосредственно с развитием интернета, с его активным использованием. Стоит челове...
Что такое рефбек Что такое рефбек? Каждый, кто работает в сети, рано или поздно, хотя чаще всего это случается почти сразу, сталкивается с разнообразными партнерскими программами. Чаще всего реферальная (партнерская) система состоит из "рефер...
Что такое домен ? Что такое домен ?++ О доменном имени Что такое доменное имя ? - поисковый запрос начинающие пользователи вводят довольно часто. Домен является очень важным аргументом для сайта, ведь без домена сайт в интернете никто не найдет...
Что такое домен + Ну во-первых, что такое домен? Домен (или доменное имя) - это имя Вашего сайта в глобальной сети Интернет.  Еще можно сказать, что доменное имя - это уникальный адрес сайта в сети. Ведь двух одинаковых дом...

Комментарии отсутствуют
Добавление комментариев доступно только зарегистрированным пользователям