Мы переехали!
Ищите наши новые материалы на SvobodaNews.ru.
Здесь хранятся только наши архивы (материалы, опубликованные до 16 января 2006 года)
  |
          |
|
21.11.2024
|
||||||||||||||||||
|
|
|||||||||||||||||
|
|
[14-12-04]
Что такое спам и как с ним боротьсяАвтор и ведущий Александр Костинский Александр Костинский: Последние полтора-два года для тех, кто постоянно пользуется электронной почтой, главной проблемой стал спам - нежелательные рекламные почтовые рассылки. Сейчас они занимают в общем потоке почты 90%. То есть на одно полезное письмо приходится десять писем со спамом. Что такое спам и как с ним бороться в нашей сегодняшней передаче расскажут: Игорь Ашманов, руководитель компании "Ашманов и партнеры" и Илья Сегалович, технический директор компании "Яндекс". Вначале я попросил Игоря Ашманова дать определение спама. Игорь Ашманов: Вообще говоря, нужно просто давать правильное формальное определение, потому что публика обычно спамом старается назвать все, что ей не нравится. Пришло письмо - не нравится, назову ее спамом. Спам - это не просто нежелательные письма, у него есть признаки. Александр Костинский: Какие? Игорь Ашманов: Признаки основные такие - это нежелательная почта, это массовая рассылка и это нежелательная рассылка. Это значит, что невозможно установить, кто ее послал, не того, кого рекламирует, а кто послал. Потому что эти признаки достаточно точно идентифицируют бизнес по рассылке спама. Когда просто начальник написал, что вы уволены, конечно, нежелательное письмо, но это не спам. Если старый друг написал тебе, что давно не виделись, приглашаю тебя на собрание выпускников - это не спам, хотя он, может быть, послал 500 писем всем выпускникам. Даже если вам прислали коммерческое предложение - это тоже не спам, если оно имеет валидный обратный адрес, и если он его послал в десяти экземплярах. Если это признать спамом и запретить, тогда получиться, что невозможно будет получить предложение на работу от кадрового агентства, неожиданное бизнес-предложение от кого-нибудь. Вот это все запрещать нельзя. Интересно запретить и бороться с бизнесом. А бизнес - это всегда скрытый исполнитель. Неизвестно, кто отсылает, исполнитель рассылки всегда прячется. Во-вторых, он всегда рассылает массово и, в-третьих, это нежелательная реклама. Александр Костинский: Илья, скажите, пожалуйста, можно дать датировку, когда этот спам от неприятных мелочей стал определяющим? Илья Сегалович: Вообще спам, как массовое явление, заметное, примерно можно датировать годом 97. Российский спам чуть позже пошел, примерно с 99-2000. А когда доминировать начал? А доминировать он начал не тогда, когда возник, а когда появилась массовая возможность по рассылке спама. Я ее датирую примерно два-полтора года назад. Александр Костинский: В России? Илья Сегалович: Это во всем мире. Александр Костинский: А какая это возможность? Илья Сегалович: Это возможность использовать компьютеры, про которые хозяева не знают, что они используются как сервера по рассылке спама. Александр Костинский: То есть это компьютеры, которые заражены. Там стоят троянские программы? Илья Сегалович: Да. Игорь Ашманов: Сколько таких компьютеров? Илья Сегалович: Это сотни тысяч и, наверное, миллион. Игорь Ашманов: Мы подсчитывали, Алексей Тотубалин занимается, он говорит, что примерно в мире появляется 30 тысяч зараженных компьютеров в день. Они попадают в черные списки, на них вычищают Трояны. Причем в черные списки попадают примерно не больше половины, остальные остаются неопознанными. Но всего, я думаю, несколько миллионов. Александр Костинский: Эти компьютеры используются, с одной стороны, для массовых спам-рассылок, а с другой - для так называемых доз-атак, распределенных атак на какие-то серверы, когда запросы. Игорь Ашманов: Это те же самые компьютеры. Александр Костинский: Я даже слышал такое, что эти люди продают не только услугу по рассылке спама, что известно, но и услуги, что давайте завалим, грубо говоря, какой-то сервер. Игорь Ашманов: Более того, это две разных категории людей, два разных бизнеса. Тот бизнес, который занимается продажей этих списков, он нелегальный полностью, а тот бизнес, который рассылает спам, он почти легальный. Надо понимать, что одно дело, когда спам запрещен, анонимная массовая рассылка запрещена, доказывает, что массовый, ущерб можно подсчитывать. Другое дело, использование зомби-компьютеров. Это во всем мире является уголовным преступлением фактически везде, у нас тоже. Это несанкционированный доступ к ЭВМ. Но связь доказать довольно сложно. Захватил компьютер и написал вирус один человек, продал другому, тот продал услугу третьему и так далее. Александр Костинский: А команда подается в какую-нибудь рассылку или в какой-то чат. Илья, у вас открыт "Яндекс-мейл". Скажите, пожалуйста, сколько у вас сейчас писем спамовских? Илья Сегалович: 90%. Александр Костинский: То есть 90% тех писем, которые приходят сейчас - это спам. То есть в девять раз больше, чем полезной? Илья Сегалович: Эта доля растет, свежие относительно цифры, год назад такого не было. Александр Костинский: И что делать? Илья Сегалович: Мы делаем все, что можно, чтобы оградить ящики наших пользователей от спама. Причем стараемся делать дружественным образом. Александр Костинский: Что вы делаете конкретно? Илья Сегалович: Образовалась некоторая социальная практика, как с этим жить. Путь один - читать все письма подряд, боясь потерять хотя бы одно письмо, и удалять плохие письма. Этот путь был нами лично пройдет года три назад, когда утро начинается с удаления трехсот нежелательных писем. Во время этой процедуры ежедневно случайно удалялось хорошее письмо. Невыносимо высокий процент ошибки, нужно было предпринимать какие-то решения против этой нетерпимой ситуации. И мы сначала в рамках своей компании, потом частичное решение у нас было в рамках большой почты и, наконец, примерно год работает относительно полное и качественное решение для пользователей. В чем оно состоит? Мы пытаемся проанализировать текст письма и выделить в нем признаки, характерные для спама, и текст письма и заголовки, всевозможные метрики, которые можем использовать, сведения. Совсем спам мы вообще не принимаем, а то, что считаем, что пользователь имеет право прочитать, складываем в специальную папочку. У пользователя есть возможности по управлению этой папочкой. Может от нее отказаться, не принимать письма, удалять. Суть социального механизма, который возник - человек в обычном состоянии читает обычную почту, а раз в сутки, раз в трое суток заходит в специальную папочку и бегло просматривает, не попало ли туда что-то плохое, плохое в смысле по отношению к нашему алгоритму, а с точки зрения пользователя как раз хорошее. Александр Костинский: Какое количество вы отсеиваете? Илья Сегалович: Порядка 90%, чуть больше мы отсеиваем. Александр Костинский: Но у вас есть такая штука, которая называется "пожаловаться на спам". И я честно эти три письма, которые прорвались, я жалуюсь на спам, надеясь, что это обучает вашу машину. Расскажите. Игорь Ашманов: Мы делаем фильтр спама не только для "Мейл.Ру", просто "Мейл.Ру" наш самый крупный клиент. Недавно рапортовали, что у них 20 миллионов зарегистрированных ящиков. Как понять, что это спам? Есть самые разные способы и есть самые разные спамерские приемы, чтобы обойти. Во-первых, это известное высказывание, у спамера есть одно уязвимое место -это сообщение. Он может делать все, что угодно, но он должен как-то донести сообщение до читателя. Поэтому в сообщении всегда есть текст. Он может быть зашифрован каким-то ужасным способом, довольно сильно искажен. Это началось как раз, когда фильтры стали повсеместно распространяться. Александр Костинский: Например, можно после каждой буквы ставить звездочку. Игорь Ашманов: Замечу, что это такой пример, спамеры впервые пожертвовали читаемостью сообщения где-то примерно год назад осенью, впервые появились искаженные тексты довольно сильно. Естественно, строятся лексические фильтры, которые по фразам письма распознают тему письма, то есть то, что это спам. Мы, например, распознаем что-то порядка 55 рубрик спама. Александр Костинский: Вы просто делаете лингвистический анализ текста? Игорь Ашманов: Не только. У нас примерно 15 методов разных. Есть анализ графики, есть анализ заголовка письма, пути которое оно прошло, кто послал, через кого и так далее. Например, у нас есть сигнатура письма, некий отпечаток пальца, такое сжатое его изображение, а есть термины, которые характерны для спама вообще. У нас таких фраз тысяч 90 сейчас. Их пишут руками лингвисты. А сигнатуры возникают таким образом: у нас идет большой поток жалоб от наших клиентов, жалоб именно на новый спам, и у нас сидит круглосуточная лаборатория, которая, вообще говоря, ночной лингвист, есть теперь такая профессия. Александр Костинский: Это то, что когда я отмечаю "пожаловаться на спам", это письмо к нему приходит. Игорь Ашманов: И самые зловредные письма лингвист смотрит глазами, но все, что ему сделать - это просто поставить галочку - да, это спам. По тому спаму, который не схватился всякими правилами, формальными, неформальными, лингвистическими, по нему человек должен сделать только одно решение - спам, не спам. Дальше превращается в правило уже автоматически и улетает к клиенту примерно три раза в час. Поэтому мы, как правило, успеваем заметить рассылку и обрезать ей хвост. Сейчас, правда, спамеры посылают сильно быстрее. Они стараются скорость реакции побороть, чтобы успеть за эти 20 или 40 минут послать эти миллионы письма. Илья Сегалович: У меня чуть-чуть другая технология. У нас нет 90 тысяч правил, у нас их существенно меньше и у нас нет ночных лингвистов. У люди, работающие с контентом есть. Почему мы немножко не верим в это? Потому что мы считаем, что число правил лингвистических должно быть управляемым, но это отдельная тема. Тут есть еще такой момент, только хозяин владелец ящика точно понимает, письмо это спам или не спам. Если вы посмотрите на самые популярные письма, на которые жалуются - да, это спам, и если посмотрите, которые говорят - нет, это не спам, окажется, что это примерно одни и те же письма. Открытки от "Яндекса" или открытки от "Мейл.Ру", они массовые, вполне добропорядочные, но на них жалуются в обе стороны. Что мы делаем? Когда жалуетесь, мы обязательно внимательно смотрим на это письмо. Мы проверяем адрес, с которого пришло это письмо, и мы смотрим на сигнатуру этого письма. И если мы проверяем эту машину, с которой пришло письмо, и обнаруживается, что это взломанная машина, мы помечаем это письмо: а) на него пожаловались, б) оно пришло со взломанной машины. Нет, это спам. И вот тут контент этого письма чисто статистически, механически, без участия человека используем во всех наших хитромудрых алгоритмах расчета разных сигнатур писем для того, чтобы передать все эти знания по цепочке на все другие письма, которые содержат эти сигнатуры. Александр Костинский: Если у Игоря Ашманова это больше лингвистический алгоритм, то у вас больше математический, то есть можно так сказать. Илья Сегалович: Можно отчасти так. Хотя мы пересекаемся процентов на 90. Александр Костинский: Я тоже просматривал папки, мои адресаты публичные, конечно, не смотрю все триста писем, которые на меня за три дня свалились или пятьсот, но я просматриваю наугад, и ни одного письма я не вижу ценного. Игорь Ашманов, удается? Игорь Ашманов: Удается. Но надо было сразу сказать, что процент детекции спама - это не главный показатель. Главный показатель - это отсутствие ложных тревог, сколько хороших писем попадает в папку. Александр Костинский: Это главный параметр. Игорь Ашманов: Конечно. Я иногда читаю обзоры, индустрия анти-спам средств очень сырая. Там еще совершенно никто не понимает, что такое хороший фильтр спама и так далее. Я читаю в серьезных журналах обзоры, и меня поражает, что в прошлом году совершенно серьезно обсуждали качество анти-спам фильтров, где, скажем, процент ложных тревог был 2%. Александр Костинский: То есть на сто писем два полезных выброшено. Игорь Ашманов: Совершенно невероятный процент. Нормальный процент - это одно на сто тысяч. Александр Костинский: Как-то оптимистично звучит. Игорь Ашманов: Нет, почему, это нормально. Один процент или десятая доля процента - это очень много, особенно на большом сервисе. Представьте себе, что есть компания, где работает сто человек, каждый из них получает сто, двести писем в день, десять тысяч. Сколько вы хотите важных писем, чтобы ваши сотрудники, которые деньги зарабатывают, потеряли из этих десяти тысяч? Александр Костинский: Ноль. Игорь Ашманов: Ноль. А если это процент, значит они потеряют сто писем. Представляете, в компанию сто писем важных не дойдет за день. То есть делаешь корпоративный фильтр на большой поток рассчитанный, там должны быть десять в минус пятой. Поэтому это главный параметр, конечно. Но вообще, похоже, что справиться со спамом можно. Хотя есть разные мнения. На нашей конференции Федотов хороший сделал доклад о том, что происходит эскалация конфликта. От невинных достаточно шалостей спамеры превратились в закоренелых преступников, которые захватывают машины, платят вирусописателям. Но и антиспамеры матереют, все больше денег в это вкладывают, все больше зарабатывают на этом и так далее. Причем там до личного доходят. Нас несколько раз подставляли. От нашего имени, с рекламой наших услуг делали массовую рассылку, чтобы нам оборвали телефон. Я получал по 500 писем в день с матом, криком, что мы спамеры. Александр Костинский: То есть они вашего имени делали рассылку, чтобы вам навредить? Но это уже ниже пояса. Игорь Ашманов: А вот сейчас, между прочим, идет рассылка про ручку с невидимыми чернилами и имя файла там такое: "Мейл.Ру. Луз. Ашманов козел". Дело в том, что мы читаем спамовские формы регулярно, они довольно сильно прыгают по миру, потому что их закрывают. Там есть категория серьезных спамеров, солидных пацанов, которые говорят: так настоящие спамеры не поступают. Зачем вы наезжаете? У нас свой бизнес, у них свой. Причем на конференцию к нам по борьбе со спамом, в сентябре она проходит, приезжают всегда, они первыми платят. Мы их уже знаем. Они, конечно, под личинами всякими появляются. Но это молодые, энергичные, веселые ребята, явно у них с деньгами все хорошо, технологически очень грамотны. Они обычно считают, что не надо таких подстав делать и так далее. Илья Сегалович: Мне кажется, что подавляющее большинство спамеров, да, они знают о существовании спамареских средств, да, они знают, что "Яндекс.Ру" и "Мейл.Ру" полтора процента их пользователей или два обладают очень приличными антиспамерскими программами, и плевать. Потому что основная масса людей не знают и не умеют их ставить. Очень приличные фирмы не могут их поставить по миллиону причин. Поэтому они вполне себе процветают. Кое-кто особенно въедливый думает о нас. Игорь Ашманов: Все-таки ты не прав. "Мейл.Ру" с "Яндексом" - это довольно большой объем почтовых ящиков. Дело в том, что, наверное, корпоративных ящиков много. Но, наверное, кто имеет ящик на работе корпоративный ящик, имеет "Мейл.Ру" для личной переписки. Александр Костинский: Кто на "Яндексе". Игорь Ашманов: А уж работать по "ХотМейлу", это полтора миллиона или двести миллионов ящиков, для них это обязательно. И очень много спамеры, которые нам пишут, у нас есть форум, и туда спамеры иногда пишут, причем иногда с просьбой поделиться технологиями. Вот я вам расскажу, как буду делать, а вы мне расскажите, поймаете вы или нет. Они говорят, что в России бизнес не очень большой, мы в основном по "ХотМейлу", по "Яхе" шарашим, иногда заглядываем в Рунет. Александр Костинский: Выводы - что будет? Илья Сегалович: Я думаю, что такие технически вооруженные антиспамовые средства будут развиваться и сдерживать в той части Интернета, которые себя оборудовали этими средствами, будут прилично, пристойно сдерживать этот поток, но будущее за организационными мерами. То есть пора государству как-то шевелиться, пора Интернет-сообществу более координировано действовать. Этим летом была попытка принять некий стандарт, и она провалилась из-за нескоординированности. Александр Костинский: Какой стандарт? Илья Сегалович: SPF. Он имеет разные имена. Это некий стандарт по идентификации отправителей, некий почтовый паспорт, сервер, с которого отправляется письмо. Он не сложный в реализации, достаточно понятный, казалось бы. Микрософт и другие компании, которые начали бодро поддерживать этот стандарт, в какой-то момент не смогли договориться. Я подчеркиваю, что в этом направлении необходимо двигаться. Потому что далеко не у всех есть возможности оборудовать себя антиспамовыми средствами, далеко не все могут себе это позволить. Без этого существенной победы над спамом не будет. Игорь Ашманов: Мне кажется, что договориться все-таки не удастся. Есть проблема, которая дает модель того, что происходит со спамом, только со сдвигом на десять лет назад - это вирусы компьютерные. Там, к сожалению, ситуация только ухудшается. С одной стороны, все, кто хочет себя защищать, знают, как это сделать, покупают программы, это все работает. И в нормальной крупной компании практически, я думаю, исключена возможность серьезного краха бизнеса из-за того, что пролезет вирус. Сейчас антивирусные компании обновляются примерно с такой же скоростью, раз в 20 минут, кто раз в час. Но проблему решить не удалось окончательно. На той стороне очень умные люди, очень материально мотивированные. Раньше вирусописатели для повышения статуса в своем сообществе они это делали. Сейчас они продают спамерам управление зомби-машинами. И скорее всего это будет продолжаться. Я приводил аналогию на какой-то из конференций, что если вы покупаете дорогую дверь в вашу квартиру, есть еще более дорогая дверь, можно купить за тысячу долларов, а можно за три. Разница между ними будет примерно в 10-15 минут возни профессионала, если вы уехали в отпуск. Нельзя поставить железку или какой-то стандарт и уйти, расслабиться, потому что с той стороны люди. То есть робот против людей не выдерживает. Поэтому в безопасности всегда идет война людей с людьми, а технические средства просто помогают. Я думаю, что спам загнать, точнее, уничтожить принятием стандарта не получится, будут обязательно лазейки. Не нравится почта, сместились в ICQ, не нравится ICQ, сейчас уже пошел мобильный спам, мобильные вирусы. У меня уже несколько знакомых сказали, что они поймали мобильный вирус. Причем, там же есть еще одно обстоятельство. Дело в том, что вирусы последнего поколения, они приходят в зашифрованном архиве, который не только нужно открыть, они еще предлагают пароль ввести, потом, открывши, нужно запустить программу, которая в нем есть. И люди это делают. Работает социотехника. Вот этой социотехникой будут пользоваться при любых жестких стандартах. Илья Сегалович: Пожалуй, соглашусь с тем, что Игорь говорит. Несколько моментов хочется добавить. Все-таки хочется разделить проблему конкретного почтового протокола, есть много способов связываться, соединяться - и через мобильные телефоны, и через почту, будут в дальнейшем новые способы общения. Но конкретный почтовый протокол создавался очень давно, он действительно очень старый, и он плохо защищается. Вот на этом пути, на пути улучшения ситуации здесь, конечно, шаги будут предприняты, я в это верю. Поэтому, что случится? Этот бизнес по взламыванию компьютеров, основан на социальной инженерии, на обмане людей, он будет жить, но, может быть, не в таком масштабе. Потому что самая массовая среда, для чего это делается, почтовая, она будет немножко лучше защищена. Но для каких-то других целей, для взлома компьютеров, для рассылки по мобильным телефонам, для ICQ это, наверное, будет продолжаться. Тем не менее, я считаю, что организационные меры по улучшению почтового транспорта, повышению чистоты и порядка на транспорте нужно предпринимать. Игорь Ашманов: Конечно, просто нужно уровень грязи поддерживать на приемлемом уровне. Сейчас мы просто по уши в этой грязи. Не удается преступность побороть, проституцию, наркотики, их просто загоняют, чтобы они были маргинальны. Сейчас в России спамеры даже не маргиналы, потому что никто не знает, что это плохо. Обычный бизнес думает, что это нормальный способ раскрутки своего бизнеса и так далее. Их надо загнать в некую маргинальную зону. Время от времени они будут оттуда прорываться. Другие передачи месяца:
|
|
|||||||||||||||
|
||||||||
| c 2004 Радио Свобода / Радио Свободная Европа, Инк. Все права защищены
|
