Topic: [Антиплагиат] Полный список омографов (Read 203 times)

Это не новшество какое-то. Простейший рерайт в копирайтинге строится на этом.

Видимо генерировать "свежий" контент ботофермам все сложнее и сложнее. Вот и пускают в ход СЕО-шные инструменты типа СловоЁБа.

В результате получаются посты типа: "Мы думаем что криптовалюта вырастут, но возможно и упадет, но я точно не знал"  

Интересно. Оказывается, даже в баунти-таблицах мошенники уже омографы используют.

Сейчас, кстати, на форуме плагиаторы начали применять так называемые "спиннеры", которые заменяют ключевые слова в исходном предложении на синонимы. При этом примерный смысл текста остаётся неизменным.

Пару дней назад увидел несколько одинаковых аккаунтов в SPREADSHEET моей подписной. Что интересно - мошенники использовали букву B из этого списка и при сортировке по алфавиту аккаунты оказывались в разных частях таблицы что затрудняло их обнаружение.

Яндекс ещё лет 20 назад, когда он был просто одним из поисковиков, умел определять фразы, где русские буквы были заменены латинскими, аналогичными по написанию.

Да, правильнее будет "омографы", поправлю название темы. На мой взгляд, "омоглифы" - это, скорее, относится к изображениям, "омографы" - более широкое понятие.



Здесь есть ещё одно "но": для SEO-сервиса нужно знать, на каком языке написано сообщение, так как алгоритму анализа нужно привести потенциальный плагиат к одинаковому формату со сравниваемым текстом. В любом случае, для работы SEO-сервису нужен полный список омографов, которые могут использоваться в текстах на данном языке. Могу сказать, что поисковые системы в общем случае хранят найденную в Интернете текстовую информацию "как есть", то есть без изменений.

---

Да, на форуме в англоязычных ветках некоторые недобросовестные баунти-хантеры занимаются подменой ASCII-символов в постах. Сообщения перед отправкой можно модифицировать простым JS-скриптом за одну секунду. Это не занимает много времени.

Оказывается, буквально недавно проблема была решена ретроспективной заменой таких символов при показе постов в англоязычных секциях, но, по-моему, ещё не все омографы были добавлены в тот список.

неужели такими подменами кто-то занимается для набивания постов, на мой взгляд подмена символов займет больше времени чем написание своего поста и поэтому бессмысленна или преследуются другие цели.

"Омографы", а если еще корректнее - омоглифы. Омографы - это вообще-то про слова. Хотя хакерская атака с подменой букв в URL-адресах и называется "омографической".


И это замечание превратило бы данную тему в пособие для начинающих копипастеров, если бы не одно "но": продвинутые системы распознавания плагиата и работы с текстом таки выявляют омоглифы. К примеру, российская система Антиплагиат выявляет (по крайней мере так утверждает ее исполнительный директор). Google Chrome (который браузер) "палит" смесь кириллицы и латинницы просто при проверке орфографии (т.е. можно тупо включить проверку и перекопировать текст в любое поле в браузере - "спорные" места будут подсвечены). LanguageTool (что английский, что русский) показывает слова с омоглифами как "имеющие возможную ошибку в написании". А известный сайт-антиплагиатор text.ru и вовсе с омоглифами обходится жестко: неизвестные ему (вроде македонских символов) выбрасывает, известные подсчитывает в "SEO-анализе текста" (пункт "Замена символов") - и, естественно, все равно находит источник.

Кому интересно - может поковыряться в упомянутых с этой вот фразой (в которую специально понапихана куча разных омоглифов):


(Первоначально фраза взята отсюда.)

Зарезервировано.

Список омографов для ASCII:

	Символ ASCII	Номер Unicode	Комментарий	Verdana	Arial	Sans Serif	Courier New
1)	A (65)	0x0391 (913)	Греческий	A  Α	A  Α	A  Α	A  Α
2)	B (66)	0x0392 (914)	Греческий	B  Β	B  Β	B  Β	B  Β
3)	E (69)	0x0395 (917)	Греческий	E  Ε	E  Ε	E  Ε	E  Ε
4)	Z (90)	0x0396 (918)	Греческий	Z  Ζ	Z  Ζ	Z  Ζ	Z  Ζ
5)	H (72)	0x0397 (919)	Греческий	H  Η	H  Η	H  Η	H  Η
6)	I (73)	0x0399 (921)	Греческий	I  Ι	I  Ι	I  Ι	I  Ι
7)	K (75)	0x039A (922)	Греческий	K  Κ	K  Κ	K  Κ	K  Κ
8)	M (77)	0x039C (924)	Греческий	M  Μ	M  Μ	M  Μ	M  Μ
9)	N (78)	0x039D (925)	Греческий	N  Ν	N  Ν	N  Ν	N  Ν
10)	O (79)	0x039F (927)	Греческий	O  Ο	O  Ο	O  Ο	O  Ο
11)	P (80)	0x03A1 (929)	Греческий	P  Ρ	P  Ρ	P  Ρ	P  Ρ
12)	T (84)	0x03A4 (932)	Греческий	T  Τ	T  Τ	T  Τ	T  Τ
13)	Y (89)	0x03A5 (933)	Греческий	Y  Υ	Y  Υ	Y  Υ	Y  Υ
14)	X (88)	0x03A7 (935)	Греческий	X  Χ	X  Χ	X  Χ	X  Χ
15)	o (111)	0x03BF (959)	Греческий	o  ο	o  ο	o  ο	o  ο
16)	c (99) [4]	0x03E2 (994)	Греческий	c  ϲ	c  ϲ	c  ϲ	c  ϲ
17)	j (106) [2]	0x03E3 (995)	Македонский	j  ϳ	j  ϳ	j  ϳ	j  ϳ
18)	C (67) [4]	0x03E9 (1001)		C  Ϲ	C  Ϲ	C  Ϲ	C  Ϲ
19)	S (83)	0x0405 (1029)	Македонский	S  Ѕ	S  Ѕ	S  Ѕ	S  Ѕ
20)	I (73)	0x0406 (1030)		I  І	I  І	I  І	I  І
21)	J (74)	0x0408 (1032)	Македонский	J  Ј	J  Ј	J  Ј	J  Ј
22)	A (65)	0x0410 (1040)	Русский	A  А	A  А	A  А	A  А
23)	B (66)	0x0412 (1042)	Русский	B  В	B  В	B  В	B  В
24)	E (69)	0x0415 (1045)	Русский	E  Е	E  Е	E  Е	E  Е
25)	K (75) [1]	0x041A (1050)	Русский	K  К	K  К	K  К	K  К
26)	M (77)	0x041C (1052)	Русский	M  М	M  М	M  М	M  М
27)	H (72)	0x041D (1053)	Русский	H  Н	H  Н	H  Н	H  Н
28)	O (79)	0x041E (1054)	Русский	O  О	O  О	O  О	O  О
29)	P (80)	0x0420 (1056)	Русский	P  Р	P  Р	P  Р	P  Р
30)	C (67)	0x0421 (1057)	Русский	C  С	C  С	C  С	C  С
31)	T (84)	0x0422 (1058)	Русский	T  Т	T  Т	T  Т	T  Т
32)	X (88)	0x0425 (1061)	Русский	X  Х	X  Х	X  Х	X  Х
33)	a (97)	0x0430 (1072)	Русский	a  а	a  а	a  а	a  а
34)	e (101)	0x0435 (1077)	Русский	e  е	e  е	e  е	e  е
35)	o (111)	0x043E (1086)	Русский	o  о	o  о	o  о	o  о
36)	p (112)	0x0440 (1088)	Русский	p  р	p  р	p  р	p  р
37)	c (99)	0x0441 (1089)	Русский	c  с	c  с	c  с	c  с
38)	y (121) [3]	0x0443 (1091)	Русский	y  у	y  у	y  у	y  у
39)	x (120)	0x0445 (1093)	Русский	x  х	x  х	x  х	x  х
40)	s (115)	0x0455 (1109)	Македонский	s  ѕ	s  ѕ	s  ѕ	s  ѕ
41)	i (105)	0x0456 (1110)		i  і	i  і	i  і	i  і
42)	j (106)	0x0458 (1112)	Македонский	j  ј	j  ј	j  ј	j  ј
43)	Y (89)	0x04AE (1198)		Y  Ү	Y  Ү	Y  Ү	Y  Ү
44)	h (104)	0x04BB (1211)		h  һ	h  һ	h  һ	h  һ
45)	I (73) [2]	0x04C0 (1216)		I  Ӏ	I  Ӏ	I  Ӏ	I  Ӏ
46)	l (108) [2]	0x04CF (1231)		l  ӏ	l  ӏ	l  ӏ	l  ӏ
47)	G (71) [1]	0x050C (1292)		G  Ԍ	G  Ԍ	G  Ԍ	G  Ԍ
48)	Q (81)	0x051A (1306)		Q  Ԛ	Q  Ԛ	Q  Ԛ	Q  Ԛ
49)	q (113)	0x051B (1307)		q  ԛ	q  ԛ	q  ԛ	q  ԛ
50)	W (87)	0x051C (1308)		W  Ԝ	W  Ԝ	W  Ԝ	W  Ԝ
51)	w (119)	0x051D (1309)		w  ԝ	w  ԝ	w  ԝ	w  ԝ

^[1] почти одинаковы во всех шрифтах
^[2] одинаковы во всех шрифтах, кроме "Verdana" (v5.02)
^[3] одинаковы во всех шрифтах, кроме "Courier New" (v5.11)
^[4] одинаковы только в шрифте "Arial" (v5.06)

Примечание: Изначально эта тема была создана в корневом разделе русского локального форума Мета, но была перенесена модератором сюда. Читайте также английскую версию в основном разделе Meta.

---

Обычно в подписных кампаниях BitcoinTalk баунти-хантерам требуется написать определённое количество постов в неделю, за эту активность участникам начисляются стейки. Иногда недобросовестные пользователи копируют чужие сообщения или абзацы из сторонних статей в Интернете и постят их здесь на форуме. Такие посты могут быть легко сравнены и отслежены SEO-сервисами, поэтому для усложнения обнаружения эти баунти-хантеры начали использовать омографы.

Говоря упрощённо, омографы - это символы в международной таблице Unicode, которые выглядят визуально одинаково. В английском алфавите используются только ASCII-символы.

Если смешать в тексте омографы из разных языков, то при чтении человек не заметит никакой разницы, однако системы анализа не смогут выявить плагиат, просто сравнивая тексты в кодировке UTF-8.

Например:

• "SEO". Здесь все символы ASCII, омографы не используются. Длина слова в UTF-8 равна 3 байтам.
• "ЅΕО". Здесь первый символ "Ѕ" взят из македонского алфавита, второй символ "Ε" из греческого алфавита, а третий символ "О" из русского алфавита. Эти неанглийские буквы выглядят так же как ASCII-символы, но кодируются двумя байтами, поэтому длина слова в UTF-8 равна 6 байтам.

Таким образом некоторые пользователи, используя омографы, пишут посты на форуме, просто копируя и изменяя тексты других людей. Поэтому мне захотелось создать полный список омографов, которые могут использоваться в текстах на английском языке.

---

Судя по HTML-коду, на форуме используется следующий CSS-стиль:
Итак, в постах используются три шрифта: "Verdana", "Arial" и "Sans Serif". Также для моноразмерных текстов используется "Courier New".

В таблице ниже представлены ASCII-символы и рядом их омографы, написанные всеми этими четыремя шрифтами. Смотрите мой следующий пост ниже.