В идеале специализированные средства фильтрации веб-трафика должны реализовывать  следующие функции:

1. проверка адресов Интернет-ресурсов;
2. проверка текстов в передаваемом потоке на наличие запрещенного содержимого (повозможности, с извлечением текста из файлов разных форматов, таких как Microsoft Word/Excel и т.п.);
3. антивирусная проверка;
4. проверка типов передаваемых данных;
5. проверка объема передаваемых данных/предоставление квот на загрузку;
6. проверка присвоенной сайту категории;
7. проверка сайта на соответствие определенному рейтингу;
8. проверка прав доступа пользователей с помощью различных методов аутентификации;
9. проверка времени доступа пользователей к разным категориям ресурсов/предоставление временных квот;
10. поддержка фильтрации HTTPS-трафика;
11. определение разных политик фильтрации для разных направлений передачи данных;
12. определение разных политик фильтрации для разных групп пользователей;
13. модификация или замена передаваемых данных;
14. уведомление администраторов безопасности о нарушении политики безопасности;
15. сохранение всего или части исходящего из организации трафика с возможностью последующего анализа;
16. возможность анализа качества и эффективности политики использования Интернет-ресурсов;
17. возможность масштабирования системы контроля.

       Проверка  адресов Интернет-ресурсов

       Один  из основных способов фильтрации веб-трафика  – проверка адресов Интернет-ресурсов. Речь идет о фильтрации по URL, «универсальному  локатору ресурсов», который представляет собой полный путь к конкретному документу или разделу на сервере или компьютере, подключенном к Интернету. Используя данный способ фильтрации, можно запретить доступ как ко всему сайту или домену, так и к его части или отдельной странице. Рекомендуется выбирать средства фильтрации, которые способны обеспечить блокировку доступа и в том случае, когда пользователь вместо полного URL указывает только IP-адрес сервера или компьютера в сети.

       Системы контроля использования Интернет-ресурсов, применяющих данный способ фильтрации, используют специальный сервис по категоризации сайтов. Такой сервис предоставляется по подписке провайдерами Интернет-услуг или компаниями, производящими системы контроля использования Интернет-ресурсов. Основу сервиса составляет база данных URL, которая постоянно обновляется и пополняется. Эта работа производится в специальных лабораториях и позволяет создавать актуальную и относительно полную базу данных адресов Интернет-ресурсов. При выборе системы контроля использования Интернет-ресурсов необходимо учитывать, входит ли в поддержку такой системы предоставление сервиса категоризации. Наиболее ценной при этом является функция категоризации сайтов по запросу. Она включает в себя обязательную организацию обратной связи между клиентом и компанией, занимающейся категоризацией. Это позволяет клиенту в случае появления нового сайта, не указанного в базе данных URL, посылать запрос на категоризацию данного сайта и включать его в базу данных URL. Для доступа к базам данных URL, как правило, используется специальное программное обеспечение, представляющее собой интерфейс между компьютером клиента с установленной на нем системой контроля использования Интернет-ресурсов и сервером базы данных URL компании-провайдера.

       Основной  недостаток метода проверки адресов  Интернет-ресурсов заключается в  том, что базы данных URL заведомо неполны  из-за огромной скорости расширения сети Интернет. Ежедневно возникают сотни  новых веб-ресурсов, к которым  могут получать доступ пользователи. Отследить появление доменов второго уровня типа www.mysite.ru вполне возможно с помощью баз данных регистраторов. Но как отследить домены третьего, четвертого и всех остальных уровней? Как часто бывает, сайты типа sport.myportal.ru появляются без всякой регистрации, а содержание поддоменов и каталогов (например, www.mysait.ru/soft) часто не соответствует тематике главной страницы и должно быть отнесено к другой категории.

       Многие  системы контроля доступа к Интернет-ресурсам используют проверку адреса сайта как основную для принятия решения о его блокировании. Однако необходимо иметь в виду, что Интернет – очень быстро меняющаяся среда. Даже такие гиганты веб-поиска как Google, Altavista или Yahoo зачастую «не знают» и половины всех существующих ресурсов. Сайты часто меняют свое содержание или местоположение, да и новые страницы появляются с поражающей быстротой. Все это обуславливает крайне низкую эффективность фильтрации по адресам Интернет-ресурсов. Выбирая систему фильтрации, необходимо учитывать то, что анализ веб-трафика должен быть комплексным и включать если не все, то большинство из перечисленных выше проверок. В частности, это касается проверки запросов на наличие запрещенного содержимого.

       Проверка  текстов на наличие  запрещенного содержимого

       Качество фильтрации значительно повышается за счет контроля веб-трафика на наличие запрещенного содержимого в текстах. Здесь подразумевается проверка на наличие ключевых слов и выражений. Очень важно, чтобы анализировалось содержание не только страниц сайтов, но и запросов пользователей или любой другой передаваемой ими по сети информации. Это, например, необходимо при контроле переписки пользователей, использующих бесплатные почтовые ящики.

       Практика  показала, что наиболее эффективны системы, использующие так называемый нейро-лингвистический анализ текста. В данном случае речь идет о подходе к реализации ряда функций автоматической обработки, основанном на использовании ассоциативной семантической сети для оценки сверхфразового строения текста.

       Кроме того, обычная проверка наличия определенного текста по словарям не должна состоять только из простого сравнения. Качество фильтрации значительно повышается при использовании методики, согласно которой словам и выражениям присваиваются «весовые» категории. Это обеспечивает гибкость при фильтрации по ключевым словам и выражениям.

       Одним из основных критериев оценки систем контентной фильтрации для российского  рынка является поддержка продуктом  различных кодировок кириллицы, что дает возможность анализа  русскоязычных текстов. Большинство продуктов иностранного производства не поддерживают кодировки кириллицы, а это значительно снижает пользу от их применения в РФ. Ситуация усложняется еще и тем, что разные части загружаемых сайтов могут иметь различные кодировки. Вдобавок эти кодировки не всегда указаны верно. Большинство систем определяет кодировку по MIME-типу, что приводит к ошибкам. На помощь приходит технология эвристического анализа, то есть специальные алгоритмы анализа последовательности символов, типичных для той или иной кодировки. Такой анализ позволяет практически стопроцентно определить, в какой кодировке написан текст.

       Проверка  прав доступа пользователей

       Выбор системы контроля веб-трафика зависит  от того, способна ли система обеспечить проверку прав доступа пользователей. Но обычно такая проверка осуществляется либо внутренними средствами, либо с помощью интегрированной подсистемы аутентификации.

       Таким образом, аутентификация пользователей  может производиться следующими способами:

       • с использованием различных методов аутентификации: RADIUS, TACACS+, NTLM, LDAP;

       • с использованием различных баз данных и служб каталогов: Java System Directory Server (Sun Microsystems), Active Directory (Microsoft), eDirectory (Novell);

       • с использованием различных внутренних и внешних баз данных.

       Антивирусная  проверка

       Одна  из основных задач, возлагаемых на средства контентной фильтрации, – защита от вирусов. Такая защита может осуществляться как встроенными средствами, так  и с помощью внешних систем. При выборе систем контроля использования Интернет-ресурсов необходимо учитывать, использует ли данная система результаты антивирусной проверки при дальнейшем анализе трафика. Наличие такой функции позволяет адаптировать политику использования Интернет-ресурсов и избегать, например, загрузки данных с тех сайтов, откуда ранее был получен вредоносный мобильный код.

       Проверка  типов передаваемых данных

       Ограничение по типам передаваемых данных может  иметь важное значение для многих организаций. Так, можно установить запрет на отправку за пределы организации данных в форматах, отличных от простого текста, например, файлов Microsoft Word и Excel, которые могут содержать важную информацию. При этом тип файла не должен определяться по информации, указанной в запросе или ответе, т.е. по расширению файла или MIME-типу, указанному сервером. Для точной обработки данных система контроля должна определять тип файла по его сигнатуре. Требование определения типа файла по сигнатуре обусловлено еще и тем, что большинство веб-серверов при передаче данных объявляют MIME-тип, ориентируясь на расширение файла, что может быть неправильным из-за неверного указания типа в файле соответствий или переименования файла пользователем.

       Проверка  размера передаваемых данных/квоты на загрузку файлов

       Для обеспечения нормальной работы каналов  передачи данных может потребоваться  ограничение объемов данных, загружаемых пользователями, поскольку при передаче больших файлов пользователь может занять весь канал, из-за чего доступ других пользователей будет затруднен. Поэтому система контроля должна иметь возможность ограничивать объем передаваемых данных или ограничивать полосу пропускания, выделяемую для отдельного пользователя.

       На  практике это выглядит следующим  образом: устанавливается предельный объем данных, который разрешается  ежедневно загружать пользователям (при необходимости пользователи оповещаются об этом). Реализовать данную функциональность помогает квотирование по объему передаваемого трафика. Это дает пользователю возможность самому следить за размером загружаемых файлов.

       Проверка  присвоенной сайту  категории

       Производители ПО, как правило, предоставляют услугу категоризации сайтов в качестве одного из элементов технической поддержки продукта. Категоризация осуществляется непосредственно в лингвистических лабораториях производителей и предоставляется по подписке.

       Выбирая провайдера данных услуг, важно учитывать полноту и объемы предоставляемых баз данных категорированных сайтов. При этом необходимо, чтобы категоризация осуществлялась с учетом области деятельности заказчика и его представления о том, к какой категории следует относить тот или иной сайт. Ведь один и тот же Интернет-ресурс разными заказчиками может быть отнесен к различным категориям. Например, для банка сайт Интернет-магазина не может представлять информационной ценности, тогда как оптовые компании постоянно используют подобные ресурсы в своей повседневной деятельности.

       Серьезным недостатком услуги категоризации  является жесткая привязка Интернет-ресурса  к его категории. То есть один и  тот же ресурс не может принадлежать к нескольким категориям. Но иногда при построении гибкой политики использования Интернет-ресурсов в этом возникает необходимость. В частности, в одной и той же компании в соответствии с политикой безопасности доступ к определенному ресурсу может быть разрешен одним пользователям и запрещен другим.

       Проверка  времени доступа к ресурсам/предоставление временных квот

       Простой запрет доступа к некоторым ресурсам неудобен в тех случаях, когда  требуется предоставить пользователю доступ к ресурсам, но только в определенное время, например, разрешить загружать  большие файлы с обновлениями программ только в вечернее время, когда повышенная загрузка каналов из-за большого объема передачи не вызовет затруднений при доступе в Интернет других пользователей. Поэтому в системах контроля доступа к Интернет-ресурсам должны присутствовать средства, обеспечивающие запрещение или разрешение доступа к определенным ресурсам в определенное время, то есть по расписанию.