«А. Г. Додонов, Д. В. Ландэ, В. В. Прищепа, В. Г. Путятин КОНКУРЕНТНАЯ РАЗВЕДКА В КОМПЬЮТЕРНЫХ СЕТЯХ Киев – 2013 УДК 004.5 ББК 22.18, 32.81, 60.54 C95 А.Г. Додонов, Д.В. Ландэ, В.В. Прищепа, В.Г. Путятин Конкурентная ...»

5. Получение ответов на вопросы.

Социальные сети можно использовать как способ получения ответов на конкретные вопросы, в том числе и по вопросам методологии конкурентной разведки. Если вопрос поставлен корректно, то с большой вероятностью можно получить ответ на него от других пользователей.

6. Фильтрация мусора.

Конкурентная разведка в компьютерных сетях Для конкурентной разведки не всегда интересны общеизвестные, зачастую ложные данные и информация, интересные большинству, а ведь именно на такие данные ориентированы социальные сети. При использовании сетевых ресурсов в качестве мощнейшей базы для конкурентной информации особое внимание следует уделять отработке запросов, выбору источников, экспертов, установлению связей.

Отметим некоторые проблемы, связанные с конкурентной разведкой в веб-пространстве.

Первой и наиболее существенной проблемой является то, что колоссальные объемы информации в Интернет затрудняют поиск и выбор действительно необходимых сведений. Сами по себе необработанные, необобщенные и непроверенные данные не могут обеспечить качественную поддержку при принятии решений.

По оценкам специалистов, охваченные в настоящее время поисковыми системами веб-ресурсы составляют свыше триллиона документов и постоянно растут. По словам Эрика Шмидта (Eric Emerson Schmidt) – председателя совета директоров Google, даже такая мощная поисковая система как Google сможет проиндексировать всю имеющуюся сегодня информацию лишь примерно через 300 лет.

Традиционные поисковые системы в Интернет отлично справляются с простыми однократными запросами, однако, как правило, слабо применимы для нужд конкурентной разведки. По некоторым оценкам [Ландэ, Прищепа, 2007], более 97 % критичной для конкурентной разведки онлайновой информации невозможно найти с помощью традиционных информационно-посковых систем.

Второй проблемой конкурентной разведки в Интернет является то, что информация в Интернет имеет явно выраженный динамичный характер: информация размещается, модифицируется и удаляется. Частичное решение этих проблем возможно при применении систем контент-мониторинга информационных потоков в Интернет.

Третья проблема, которую необходимо решить в целях конкурентной разведки, – автоматическое извлечение понятий из формализованных массивов информации (таблиц, баз данных) и неструктурированных текстов. Перспективным направлением решения этой проблемы в системах конкурентной разведки является использование технологий Knowledge Discovery, Data Mining и Text Mining [Ландэ, 2005], [Печенкин, 2004].

Четвертой проблемой является выявление неочевидных закономерностей и связей. В настоящее время известно несколько пуЦели, задачи и проблемы интернет-разведки тей решения проблем извлечения понятий из текстов и выявления их взаимосвязей, как практических, так и теоретических. Одним из этих путей является построение матриц и графов взаимосвязей, к которым можно применять соответствующие математические методы. Как правило, узлы этих графов – коэффициенты, которые пропорциональны количеству документов из входного информационного потока, которые одновременно соответствуют исследуемым понятиям.

Пятой проблемой является поиск информации в «скрытом»

веб-пространстве, где содержится несравнимо большее количество данных, потенциально интересных для конкурентной разведки, чем в открытой части сети Интернет. Не вся потенциально открытая «несекретная» информация является хорошо доступной, скорее – наоборот. Извлечение необходимой в каждом конкретном случае информации является сложной задачей. По мнению экспертов, только порядка 10-15% необходимой информации имеется в Интернете в готовом виде, остальные 85-90% можно получить в результате сравнения, интеграции и анализа многочисленных разрозненных данных.

Итак, в Интернет содержится большая часть информации, необходимой для проведения конкурентной разведки, однако остается открытым вопрос ее нахождения и эффективного использования. Причина – присущие сети Интернет недостатки [Ландэ, 2005]:

– непропорциональный рост уровня информационного шума;

– засилье паразитной информации;

– слабая структурированность и связность информации;

– динамичность информации;

– отсутствие целостности информации;

– многократное дублирование информации;

– отсутствие возможности смыслового поиска;

– ограниченность доступа к «скрытому» веб.

Несмотря на это возможности Интернета оцениваются экспертами в области конкурентной разведки достаточно высоко.

Конкурентная разведка использует в своем арсенале различные средства, наиболее развитыми из которых являются специализированные информационно-аналитические системы (ИАС). Типовая ИАС конкурентной разведки (рис. 2) включает следующие компоненты:

– комплексы контент-мониторинга информации из открытых сетей (веб-пространства, социальных, пиринговых сетей и т.п.);

– средства экстрагирования понятий (компаний, персон, событий и т. п.) из полнотекстовых документов;

– средства выявления и визуализации информационных связей, выявления аномалий, неочевидных закономерностей;

– средства формирования аналитических документов, которые предоставляются лицам, принимающим решения (ЛПР).

Содержательная часть, информационная база информационноаналитической системы конкурентной разведки формируется комплексом контент-мониторинга. Особенности современных комплексов контент-мониторинга заключаются в том, что они должны охватывать огромные объемы информации из динамически возрастающих информационных потоков в сетях при наличии шумовой информации, большой части слабодоступных ресурсов, так называемого «скрытого Интернета» [Ландэ, 2010]. При этом с помощью комплексов контент-мониторинга в рамках конкурентной разведки, как правило, решаются следующие задачи:

– мониторинг деятельности партнеров, конкурентов, регулирующих органов;

– контроль медиаприсутствия и медиаактивности участников рынков;

– нахождение информации об участниках рынков;

– выявление новых продуктов на рынках;

– выявление новых игроков на рынках;

– организация ретроспективного информационного фонда документов для их последующего использования в аналитической деятельности.

Процесс превращения сырых данных в знания и доведение их до конечных потребителей принято называть разведывательным циклом. В своем классическом понимании разведывательный цикл (разведцикл) принято разделять на пять основных этапов:

– целеуказание, планирование, определение источников информации;

– сбор, добывание данных;

– обработка разведывательных данных (разведданных) – превращение их в разведывательную информацию;

– анализ и синтез разведывательной информации – превращение ее в знания – выводы, рекомендации, решения;

– доведение информации до конечных потребителей.

Рис. 2 – Типовые компоненты системы конкурентной разведки Не вдаваясь в подробности, следует также отметить некоторые ключевые особенности указанных выше этапов, a именно:

– целеуказание и планирование целесообразно делить на три уровня – стратегический, тактический и оперативный;

– на этапе сбора информации крайне важно задействовать как можно большее количество независимых и первичных источников;

– процесс обработки данных предполагает учет, классификацию, отбор, верификацию и оценку добытых сведений;

Конкурентная разведка в компьютерных сетях – разведцикл, в некоторых случаях может не требовать глубокой проработки, например, в условиях ограниченного времени, может быть не полным и заканчиваться выдачей потребителям не знаний в виде окончательных выводов, рекомендаций или проектов решений, а просто обработанной информации в виде информационных справок;

– в разведывательном документе не должно быть ссылок на конфиденциальные источники информации, поскольку это может привести к их расшифровке;

– выводы и рекомендации должны быть четкими, краткими и однозначными, а прогнозы носить вероятностный характер;

– доведение информации до конечных потребителей должно быть в виде, адаптированном к восприятию заказчика и форме, легко доступной их пониманию (любопытно заметить, что ЦРУ, например, предоставляло Р. Рейгану ежедневную информацию в виде видеофильма, который снимали каждый день, поскольку бывший киноактер воспринимал такую подачу информации более адекватно).

Итак, открытые источники являются наиболее используемым каналом информации, при их использовании возрастает объективность добываемой информации, однако, резко возрастают трудозатраты на извлечение нужной информации. Следовательно, для их использования в конкурентной разведке нужны специализированные методики и системы. Такие специализированные методики и системы создавались учеными в интересах спецслужб на протяжении многих лет, как на Западе, так и в бывшем Советском Союзе.

Перевод в последние 10–20 лет значительного объема мировой информации из бумажного вида в электронный, широкое использование и рост сети Интернет, новые информационные технологии сделали интернет-разведку одним из самых перспективных направлений разведывательной деятельности. Тот факт, что так поступают практически все спецслужбы мира, лишь подтверждает перспективность этого направления для конкурентной разведки.

Для поиска и сбора информации в компьютерных сетях в интересах разведки по всему миру используются специальные мониторинговые системы сбора данных, т.н. «процессоры сбора данных». На компьютерном сленге их еще называют «роботами» или «пауками». Такая программа-робот сама обходит по заданному графику указанные URL-ссылки в сети Интернет, скачивает с них данные, а затем извлекает из них нужную информацию, используя целый арсенал средств лингвистического, семантического и статистического анализа. Такие системы автоматически перехватывают любую поставленную на мониторинг информацию, как только она появится в доступном сегменте Сети.

При организации конкурентной разведки в сети Интернет широкое распространение получило использование направления науки, возникшего на стыке искусственного интеллекта, статистики и теории баз данных, как Knowledge Discovery (обнаружение знаний), использующего концепции Data Mining (добыча знаний в формализованных базах данных) и Text Mining (добыча знаний в неструктурированных текстах). Уникальными особенностями концепции и технологий Data и Text Mining, является то, что с их помощью можно добывать из «сырых» данных ранее неизвестные, неочевидные, полезные на практике и доступные для интерпретации знания, необходимые для принятия решений в различных сферах деятельности. Одним из первых рассекреченных подобных комплексов стала французская система «TAIGA» (Traitement Automatique de l’Information Geopolitique d’Actualite – автоматическая система обработки актуальной геополитической информации) [Доронин, 2003]. Этот программный комплекс на протяжении 11 лет использовался в интересах французской разведки, после чего был заменен более современным, рассекречен и разрешен к коммерческому использованию. Новый более совершенный комплекс Noemic, поставленный на вооружение французской разведки, способен обрабатывать информацию со скоростью более 1 миллиарда знаков в секунду. Американский аналог этих программных комплексов Topic, что в переводе значит «Тема», также уже рассекречен и передан для коммерческого использования.

Аналогичные системы создавались в бывшем Советском Союзе. Достаточно вспомнить такие системы как «Барометр», «Эльбрус» и другие. Продолжается создание и использование таких систем в России и других странах постсоветского пространства.

На первый взгляд может показаться, что все перечисленные примеры – это системы, которые либо используются государственными структурами, либо слишком дороги, чтобы их могли использовать «среднестатистические» компании. На самом деле все не совсем так. На современном рынке представлен целый ряд, как западных коммерческих продуктов, так и продуктов производства стран бывшего СССР, способных в том или ином объеме выполнять подобные задачи в интересах конкурентной разведки коммерческих структур.

Конкурентная разведка в компьютерных сетях 2.1. Средства поиска информации в Интернете Для того, чтобы получить крупицы необходимой пользователю информации в Сети необходимо обработать огромные массивы сырых данных. Естественно, что для облегчения этой задачи нужны некие поисковые инструменты.

Поиск информации в сети Интернет без использования поисковых средств, только путем просмотра отдельных веб-сайтов, вопервых, носит выборочный и/или случайный характер (к тому же информация на отдельных сайтах может носить весьма субъективный или даже заказной характер), во-вторых, крайне не продуктивен – вряд ли можно обойти и просмотреть более сотни веб-сайтов за день непрерывной работы, даже если знать их адреса.

Все имеющиеся средства поиска информации в Интернете могут быть условно разделены на несколько подгрупп, а именно:

– средства поиска информации на отдельных сайтах;

– подборки ссылок;

– каталоги;

– поисковые системы;

– метапоисковые системы;

– системы мониторинга и контент-анализа;

– экстракторы объектов, событий и фактов;

– системы Knowledge Discovery, Data Mining, Text Mining;

– специализированные системы конкурентной разведки;

– интегрированные системы.

По своей сути каталоги, поисковые системы и метапоисковые системы являются веб-сайтами со специализированными базами данных, в которых хранится информация о других веб-ресурсах и документах, хранящихся на них. В результате запроса к таким системам выдается список адресов, а иногда и краткое описание документов (сниппеты), где может присутствовать запрашиваемая информация. Как правило, поиск может производиться только по ключевым словам и фразам. Активизируя на ссылку, найденную в результате запроса, пользователь попадает на оригинал документа, размещенного на некотором веб-сайте. Естественно, что если документ со временем изменился или веб-сайт прекратил свое существование, то и первоначально заиндексированный поисковой системой документ через некоторое время может быть не найден.

Основное отличие поисковых систем от каталогов – наличие автоматического «робота», постоянно сканирующего веб-пространство и накапливающего новую информацию в индексных файлах базы данных. В каталоги же информация заносится вручную – либо владельцами сайтов, либо обслуживающим персоналом самих каталогов. Пользование такими системами, как правило, бесплатное, это самые популярные поисковые инструменты в сети Интернет.

Метапоисковые системы являются поисковыми системами по поисковым системам. Так как отдельные поисковые системы различным образом индексируют хотя и обширные и часто пересекающиеся, но все-таки разные сегменты Сети, то, естественно, и результат поиска с помощью метапоисковой системы будет, априори, более полным, чем с помощью одной отдельно взятой поисковой системы. Считать это плюсом или минусом поисковой работы зависит от поставленных целей и количества найденных документов. Если в результате поиска найдены тысячи или миллионы документов, то «вручную» все равно вряд ли можно просмотреть свыше нескольких сотен.

Вторым поисковым преимуществом таких систем является то, что одним запросом обеспечивается поиск во многих поисковых системах, не требуя многочисленных повторений одного и того же запроса в разных поисковых системах.

Системы мониторинга и контент-анализа обеспечивают регулярный поиск и «скачивание» информации по заданным темам и с заданных сайтов, а также анализ содержания «скачанных» документов. Такие системы, как правило, обладают развитым языком запросов, что позволяет существенно детализировать и конкретизировать запросы по сравнению с обычными поисковыми системами. Во-вторых, такие системы хранят в своих базах данных полные тексты исходных документов, что обеспечивает сохранность этих документов во времени и возможность их обработки и контентанализа, как в текущем времени, так и в ретроспективе. Существенным преимуществом таких систем является также то, что сложные запросы, состоящие из десятков или сотен поисковых слов и выражений, однажды составленные аналитиком-знатоком предметной области, могут быть сохранены в виде каталогизированного запроса или рубрики и в дальнейшем вызываться автоматически или вручную из сохраненного списка для проведения поиска или контент-анализа.

С помощью контент-анализа такие системы позволяют устанавливать пересекающиеся связи между темами, понятиями и объектами, поставленными на мониторинг, выявлять эмоциональную окраску документов, проводить анализ динамики появления во времени тех или иных документов, проводить сравнительный анализ информационной активности по различным тематикам и многое другое.

Конкурентная разведка в компьютерных сетях Если мониторинговые системы как системы фильтрации могут выделять из информационного потока известные объекты, то экстракторы объектов, событий и фактов умеют выделять из потока информации объекты, неизвестные заранее, события или факты, которые лишь соответствуют определенному заранее типу, например, географические понятия, персоны, структуры и организации, события (дорожно-транспортные происшествия, катастрофы, международные встречи). При этом факты могут классифицироваться как обычные или необычные. Примером обычного факта в данном случае можно считать выезд автомобилей за черту города, а примером необычного факта – выезд за ту же городскую черту автомобиля без номерных знаков.

Системы типа Knowledge Discovery, технологии Data Mining и Text Mining, умеют выявлять новые знания и закономерности. Такая система, например, может самостоятельно, без участия человека, сделать вывод о факте знакомства между людьми, основываясь на имеющихся в системе данных об окончании ими одной и той же школы и одного итого же класса в одном и том же населенном пункте. Правда, сами правила, по которым такая система делает выводы, все-таки создаются и задаются пока что людьми.

Специализированные системы для конкурентной разведки могут включать в себя одно или несколько из перечисленных выше поисковых средств, специально «заточенных» под эти специфические задачи. Кроме того, потребности конкурентной разведки предполагают использование в качестве источников информации, кроме полнотекстовых документов, еще и доступных в сети Интернет баз данных (БД), собственных, принадлежащих компании, документов, таблиц и баз данных, а также формализованных и неформализованных документов и БД, добытых из других источников.

В странах Европейского союза (ЕС) обычный, ничем не выдающийся из общей массы человек зарегистрирован в более базах данных, таких как прописка (место жительства), страховка, водительские права, банки, кредитные бюро, информационные, рейтинговые, рекрутинговые агентства, бюро по трудоустройству, медицинские и полицейские учеты, супермаркеты, клубы, системы управления взаимоотношений с клиентами коммерческих фирм (так называемые CRM-системы) и т.п. В интересах конкурентной разведки и маркетинга анализируются не только рынки товаров и услуг, но и вкусы и предпочтения отдельных клиентов. Хранящаяся в различных базах данных информация о юридических лицах еще более обширна.

В целях конкурентной разведки необходимо анализировать данные из всех доступных источников информации, но, так как эти вопросы выходят за рамки данной работы, мы не будем касаться других источников информации кроме Интернета.

Под интегрированными средствами конкурентной разведки мы здесь понимаем интегрированную систему, включающую в себя не только все доступные поисковые средства, но также интегрированный банк выявленных (добытых) и логично правильно связанных между собой данных, информации и знаний.

С точки зрения создания информационно-аналитических систем такая система концептуально должна предполагать реализацию следующих трех принципов:

– единое информационное пространство взаимосвязанных объектов и фактов независимо от типа их источников или контента;

– сохранение связи объектов и фактов с релевантными данными и источниками информации (аргументированность);

– исторически-пространственная модель банка данных системы, что предполагает наличие у всех объектов учета атрибутов времени и места, а также невозможность их безвозвратного удаления из системы.

Справедливости ради следует отметить, что, согласно отчету Fuld’s Intellgense Software Report 2006, известных коммерческих версий полноценных интегрированных систем, позволяющих решать весь комплекс задач конкурентной разведки, пока не существует, по крайней мере на Западе.

Перефразируя девиз одной из самых популярных российских поисковых систем Яндекс «Найдется все!», можно сказать, что для конкурентной разведки «все» равнозначно ничего, если не хуже.

Поэтому правильным девизом для систем конкурентной разведки могли бы стать слова «Найдется только то, что нужно и ничего более!».

По словам российского эксперта в области конкурентной разведки А. Масаловича « … из 23 видов поисковых задач, интересующих аналитика спецслужб «Яндекс» удовлетворительно решает одну».

В этом легко убедиться, задав реальный, требуемый в рамках информационно-аналитической деятельности запрос любой из традиционных сетевых поисковых систем, будь-то Google, Яндекс, Bing. Поисковые системы отлично справляются с простыми однократными запросами. Когда же предметная область сложна или слишком широка (например – «политика», «экономика»), или, наоборот, предельно узка и отдалена во времени (например, услоКонкурентная разведка в компьютерных сетях вия бартерной сделки некоторых компаний пятилетней давности), а требуется обобщить все информационные темы и поводы по данной тематике, оценить их во временной динамике, найти взаимосвязи с другими объектами, составить целостную картину об интересующем объекте, выделить нестандартное событие из общего массива, то можно убедиться, что:

– выдача поисковых систем либо перегружена тысячами бесполезных ссылок, либо наоборот недостаточна;

– информация в сети Интернет не хранится долго, необходимую информацию, присутствующую на целевом сайте месяц назад, сегодня можно там не обнаружить;

– поисковая система не сохраняет просмотренные аналитиком ссылки и ему каждый раз приходиться начинать рутинную работу с нуля после вынужденного перерыва;

– поисковая система не всегда отличает действительно важную информацию от информационного шума;

– поисковая система не всегда способна обобщать или сравнивать информацию по смыслу или другим содержательным критериям;

– поисковые системы не охватывают некоторые веб-ресурсы или отдельные виды информации (например, информацию из баз данных), а некоторые веб-ресурсы, наоборот, всегда показываются на первых страницах выдачи, хотя их содержание не интересно авторам запросов;

– поисковые системы могут выполнять поиск информации только по непосредственно введенному запросу и не всегда могут повторять их автоматически в заданное время без участия пользователя;

Не всегда у пользователя есть возможность объединять результаты поиска разных сетевых поисковых систем – в этом случае страдает полнота полученной информации.

По оценкам экспертов [Кузнецов, 2006] большую часть критичной для бизнеса информации из сети Интернет невозможно найти с помощью традиционных информационно-поисковых систем. Точнее традиционные сетевые информационно-поисковые системы не в полной мере справляются с задачами конкурентной разведки. Поэтому разрабатываются специализированные информационно-поисковые системы, ориентированные на задачи сетевой аналитики, конкурентной разведки. Список таких общедоступных систем приведен по адресу (http://hrazvedka.ru/category/poisk_soft).

Приведем описание некоторых из них:

Website-Finder (www.softpedia.com/get/Internet/Search-enginetools-submiting/Website-Finder.shtml) – программа, которая дает возможность поиска веб-сайтов, плохо индексируемых поисковой системой Google. Для каждого ключевого слова ищется 30 вебсайтов. Программа проста в использовании, есть бесплатна версия.

Global Supplier Directory by Solusource (www.worldindustrialreporter.com/solusource) – веб-интерфейс для конкурентной разведки от компании Thomas. Позволяет найти информацию, имеющуюся в ретроспективных базах данных Thomas (охват – более 100 лет) по компаниям, продуктам и отраслям.

dtSearch (www.dtsearch.com) – поисковая программа, позволяющая обрабатывать терабайты текста, как на локальном диске, так и в сетевом окружении. Поддерживает статические и динамические данные. Позволяет искать во всех форматах MS Office.

Strategator (www.strategator.com) – программа, осуществляющая поиск, фильтрацию и агрегацию информации о компаниях из десятка тысяч веб-источников. Ищет по данным из США, Великобритании, стран Европейского союза.

InfoNgen (www.infongen.com) – агрегатор, охватывающий в режиме просмотра свыше 35 тысяч онлайновых источников, легко настраиваемый на уникальные темы. Объединяет мониторинг, фильтрацию и агрегацию информации по запросам конкретного пользователя. Предоставляет информацию на восьми языках, обеспечивает перевод на английский язык.

Visual.ly (visual.ly) – система поиска инфографики в вебпространстве.

Quixey (www.quixey.com) – англоязычная функциональная поисковая система, обеспечивающая вывод ссылок на программы, сервисы и расширения для браузеров, соответствующих запрашиваемой задаче.

Поиск mail.ru (go.mail.ru/realtime) – поиск в mail.ru по обсуждениям тем, событий, объектов, субъектов в режиме реального времени.

Weblib (weblib.in.ua) – экспериментальная, эффективно работающая метапоисковая система по документам, представленным в формате PDF.

Zanran (www.zanran.com/q) – поисковая система для данных, извлекаемых из PDF-файлов, таблиц Excel, веб-страниц в формате HTML.

CIRadar (www.ciradar.com/Competitive-Analysis.aspx) – коммерческая англоязычная система поиска информации для конкурентной разведки в «глубинном» веб. Реализована как веб-сервис.

Конкурентная разведка в компьютерных сетях Мультитендер (multitender.ru/tenders) – специализированная поисковая система по госзакупкам, тендерам и аукционам в Российской Федерации (РФ).

Public.Ru (public.ru) – интернет-библиотека СМИ, профессиональный анализ информации, архив СМИ с 1990 года (70 млн.

статей из 4600 источников).

РосГосЗатраты (www.rosspending.ru) – поисковая система, обеспечивающая мониторинг российских государственных контрактов на федеральном и региональном уровнях, имеется возможность поиска по ключевым словам, организациям, продуктам в базах данных госзаказчиков, поставщиков и контрактов.

Cluuz (cluuz.com) – поисковая система с расширенными возможностями для применения в конкурентной разведке, в том числе и на русском языке. Позволяет не только находить, но и визуализировать, устанавливать связи между людьми, компаниями, доменами, e-mail, адресами и т.п. (рис. 3).

Рис. 3 – Фрагмент страницы поиска системы Cluuz (cluuz.com) 2.2. Концепция глубинного анализа текстов Задача, которую необходимо постоянно решать при проведении конкурентной разведки – автоматическое извлечение понятий и фактов из формализованных массивов информации (таблиц, БД) и неструктурированных текстов, представленных в веб-пространстве, выявление глубинных связей между отдельными понятиями.

Для этого предполагается использование в системах конкурентной разведки технологий Knowledge discovery, концепции глубинного анализа данных и текстов (Data Mining, Text Mining).

Важная задача технологии Text Mining связана с извлечением из текста его характерных элементов или свойств, которые могут использоваться в качестве метаданных документа, ключевых слов, аннотаций. Другая важная задача заключается в отнесении документа к некоторым категориям из заданной заранее схемы классификации. Text Mining также обеспечивает новый уровень семантического поиска документов.

Согласно сложившейся в настоящее время методологии, к основным элементам Text Mining относятся [Ландэ и др., 2009]: классификация (Classification), кластеризация (Clustering), построение семантических сетей, извлечение фактов, понятий (Feature Extraction), реферирование (Summarization), ответы на запросы (Question Answering), тематическое индексирование (Thematic Indexing) и поиск по ключевым словам (Keyword Searching). Также в некоторых случаях этот набор дополняется средствами поддержки и создания таксономии (Taxonomies), тезаурусов (Thesauri) и онтологий (Ontology).

При классификации текстов используются статистические корреляции для создания правил размещения документов в определенные категории. Задача классификации – это классическая задача распознавания, где по некоторой контрольной выборке система относит новый объект к той или иной категории. Особенность же концепции Text Mining заключается в том, что количество объектов и их атрибутов могут быть очень большими – предусматривается применение интеллектуальных механизмов оптимизации процесса классификации.

Кластеризация базируется на признаках документов, применении лингвистических и математических методов без использования заданных заранее категорий. Результатом кластеризации может быть таксономия или визуальная карта, которая обеспечивает эффективный охват больших объемов данных. Кластеризация в Text Mining рассматривается как процесс выделения компактных подгрупп объектов с близкими свойствами. Средства кластеризации позволяют находить признаки и разделять объекты по подгруппам на базе этих признаков. Кластеризация, как правило, предшествует классификации, поскольку позволяет определить группы объектов.

При построении семантических сетей предполагается анализ связей между понятиями, экстрагируемыми из документов. Понятиям соответствует появление определенных дескрипторов (ключеКонкурентная разведка в компьютерных сетях вых фраз) в документах. Связи между понятиями могут устанавливаться в простейшем случае путем учета статистики их совместного упоминания в различных документах.

Извлечение или экстрагирование фактов (понятий) предназначено для получения некоторых фактов из текста с целью улучшения классификации, поиска, кластеризации и построения семантических сетей.

Автоматическое реферирование (Automatic Text Summarization) [Хан, 2000] – это составление кратких изложений материалов, аннотаций или дайджестов, т.е. извлечение наиболее важных сведений из одного или нескольких документов и генерация на их основе лаконичных, понятных и информационно наполненных отчетов.

На основе методов автоматического реферирования возможно формирование поисковых образов документов. По автоматически построенным аннотациям больших текстов – поисковым образам документов – может проводиться поиск, характеризуемый высокой точностью (естественно, за счет полноты). В некоторых случаях вместо поиска в полных текстах массива больших по размеру документов оказывается целесообразным поиск в массиве специально созданных аннотаций. Хотя поисковые образы документов часто оказываются образованиями, лишь отдаленно напоминающими исходный текст, не всегда воспринимаемый человеком, но за счет вхождения наиболее весомых ключевых слов и фраз, они помогают приводить к вполне адекватным результатам при проведении полнотекстового поиска.

Уникальными особенностями концепции и технологий Text Mining, является то, что с их помощью можно извлекать из «сырых» данных неочевидные, полезные на практике и доступные для интерпретации знания, необходимые для принятия решений в различных сферах деятельности, в том числе в области экономической конкуренции.

На современном рынке представлен целый ряд, как западных продуктов, так и систем производства постсоветских стран, способных в той или иной объеме осуществлять глубокий анализ текстов.

В последнее время все основные западные бренды, специализирующиеся на разработке информационных хранилищ и баз данных, корпоративных систем управления расширили свои линейки продуктов системами или модулями Text Mining. О наличии таких модулей заявляют SAP, Oracle, SAS, IBM и другие компании.

Процесс конкурентной разведки можно рассматривать как построение сети из исследуемых объектов и связей меду ними. РеСистемы и технологии конкурентной разведки зультаты должны представлять собой аналитическую информацию, которая может быть использована для принятия решений.

Аналитическая информация может быть представлена в виде наглядных схем – семантических сетей, дайджестов, наборов сюжетных линий, взаимосвязей ключевых понятий, компаний, лиц, технологий и т.п.

Задачи конкурентной разведки породили спрос на специальные информационные технологии, обеспечивающие возможность извлечения и обработки необходимой информации, что в свою очередь вызвало поток предложений систем со стороны разработчиков программного обеспечения.

Сегодня решать задачи конкурентной разведки на основе информации из сети Интернет помогают общедоступные и специальные программы и сервисы, например, в последнее время приобрели популярность так называемые «персонализированные разведпорталы», способные отбирать информацию по самым узким, специфическим вопросам и темам и предоставлять ее заказчикам.

В настоящее время декларированы технологии и системы «компьютерной конкурентной разведки», идея которых заключается в автоматизации и ускорении процессов извлечения необходимой для конкурентной борьбы информации из открытых источников и ее аналитической обработки.

При ведении конкурентной разведки находят все более широкое применение новые направления науки и технологий, получившие названия: «управления знаниями» (Knowledge Mana-gement) и «обнаружение знаний в базах данных» (Knowledge Discovery in Databases) или иначе, Data и Text Mining – «глубинный анализ данных или текстов».

Если системы управления знаниями реализуют идею сбора и накопления всей доступной информации, как из внутренних, так и из внешних источников, то Data и Text Mining, как уже было показано, позволяют выявлять неочевидные закономерности в данных или текстах – так называемые латентные (скрытые) знания. В целом эти технологии еще определяют как процесс обнаружения в «сырых» данных ранее неизвестных, но полезных знаний, необходимых для принятия решений. Системы этого класса позволяют осуществлять анализ больших массивов документов и формировать предметные указатели понятий и тем, освещенных в этих документах.

Характерная задача конкурентной разведки, обычно включаемая в системы Text Mining – это нахождение исключений, то есть поиск объектов, которые своими характеристиками сильно выделяются из общей массы.

Конкурентная разведка в компьютерных сетях Еще один класс важных задач, решаемых в рамках технологии Text Mining – это моделирование данных, ситуационный и сценарный анализ, а также прогноз [Ланде, Фурашев, 2012].

Для обработки и интерпретации результатов Text Mining большое значение имеет визуализация. Часто руководитель компании не всегда адекватно воспринимает предлагаемую ему аналитическую информацию, особенно если она не вполне совпадает с его пониманием ситуации. В связи с этим служба конкурентной разведки должна стремиться представлять информацию в виде, адаптированном к индивидуальному восприятию заказчика.

Визуализация обычно используется как средство представления контента всего массива документов, а также для реализации навигации по семантическим сетям при исследовании, как отдельных документов, так и их классов.

2.3. Мониторинг информационного пространства Современные методы контент-мониторинга – это адаптация концепции глубинного анализа текстов (Text Mining) и классических методов контент-анализа к условиям формирования и развития динамических информационных массивов, например, потоков информации в сети Интернет. Типовая задача контент-мониторинга – построение диаграмм динамики появления понятий (отражения событий) во времени. Рассмотрим, как в системе контентмониторинга InfoStream [Григорьев, 2007] отслеживаются публикации, относящиеся к российско-украинскому газовому кризису 2008–2009 годов. Для этого был составлен запрос «газов~криз & geo.UA», введенный через веб-интерфейс системы (рис. 4).

На этой диаграмме видно, что пик кризиса пришелся на середину января 2009 года и был связан с подписанием соответствующего договора в Кремле и реакцией на это Секретариата Президента Украины (рис. 5).

На примере рынка нефтепродуктов рассмотрим, как из массивов текстовой информации из сети Интернет могут быть выявлены документы, содержащие максимальное количество ценовой информации по данному рынку.

Для получения списка основных сюжетов, относящихся к рынку нефтепродуктов, был введен запрос «(нефтепродукт|бензин) & цены», который уточнялся специальными признаками «numb.medium|numb.large», означающие в системе InfoStream средний или высокий уровень присутствия в документах цифровой информации (рис. 6). После этого достаточно перейти в режим просмотра и проанализировать документы, ссылки на которые выданы системой (рис. 7).

Рис. 4 – Диаграмма динамики понятия во времени Рис. 5 – Основная сюжетная цепочка по запросу Конкурентная разведка в компьютерных сетях Рис. 6 – Фрагмент цепочки основных сюжетов 2.4. Определение взаимосвязей Важной задачей конкурентной разведки является выявление неочевидных закономерностей и связей из текстов веб-страниц и выявление их взаимосвязей, построение матриц и графов взаимосвязей.

Существующие доступные фактографические базы данных структурированной информации не всегда могут прийти на помощь исследователю-аналитику. Для оперативного определения фактов и сущностей, моделирования информационных связей между ними наиболее перспективным подходом оказывается учет информации, знаний, которые содержатся в неструктурированных текстовых документах, в частности, в Интернет.

Сегодня, когда практически у всех заинтересованных пользователей уже накоплен большой опыт работы с традиционными информационно-поисковыми системами, оказалось очевидным, что факты или понятия, которые ищутся с помощью таких систем, сами по себе зачастую бессмысленны. Например, если пользователя интересуют информационные связи Сбербанка России с другими банками или частными лицами, то он не знает, какие банки или фамилии ему указать в запросе, а все документы, содержащие словосочетание «Сбербанк России», указать физически невозможно. В таких случаях информационные связи, количество которых выходит за рамки статистического фона, как правило, отражают реальность.

Интерпретируют обычно не сами понятия или факты, а взаимосвязи между ними. Важным оказывается не столько исследование самих понятий, сколько исследование их взаимосвязи. Известно, что именно взаимосвязь способствует пониманию мотивационно-целевых особенностей, то есть пользователя интересует не понятие само по себе, а понятие в окружении, чтобы сразу иметь представление о предметной области, при необходимости направить уточняющий поиск в нужном направлении. Элементы такого подхода можно видеть, например, в «облаках» системы Quintura (www.quintura.ru), но там отображаются не понятия/сущности, а наиболее часто используемые слова. Подобные решения, реализованные в виде «информационных портретов», содержащих опорные слова, используются в таких системах, как «RCO Zoom»

(www.rco.ru), на веб-сайте интегратора новостей Webground (webground.su).

База данных практически любой традиционной информационно-поисковой системы может рассматриваться в виде графа, вершинами которого выступают объекты – термы, понятия, дескрипторы и др., а ребрами – их связи. Вместе с тем, основа поиска в этих случаях – поиск вершин, то есть поиск объектов. Поиск по взаимосвязям, ребрам, кажется на первый взгляд менее эффективКонкурентная разведка в компьютерных сетях ным. Действительно, если предположить, что в графе N вершин, то число ребер теоретически может составлять N(N – 1)/2, то есть, если предположить, что вершин всего 100 тыс., то ребер может оказаться около 5 млрд., что соответствует достаточно большой базе данных даже по современным понятиям. Вместе с тем, если в качестве вершин графа использовать такие понятия, как имена людей и названия компаний из новостных документов, то оказывается, что соответствующая матрица инцидентности оказывается очень разреженной. Измерения показали, что при количестве отдельных понятий, извлеченных из 5 млн. новостных документов, равном примерно N = 1,5 млн., количество связей составило всего лишь v = = 4 млн.

Кроме того, как показали эксперименты, распределение степеней вершин (степень вершины – количество исходящих из нее ребер) в подобных графах – степенное, что свидетельствует о, так называемой, безмасштабности, то есть о том, что многие характеристики (в частности, соотношение количества вершин и ребер), должно оставаться на одном уровне. Поэтому в качестве основы построения базы данных связей оказывается технически возможным использование ребер рассматриваемого графа – связей между отдельными понятиями.

В качестве массивов документальной информации для такой системы могут использоваться данные, поступающие от систем контент-мониторинга, таких как InfoStream, Webscan или «Яндекс.Новости» а также результаты мониторинга специализированных веб-служб, таких как базы данных биографий людей (например, peoples.ru, file.liga.net/person, openua.net), организаций (например, www.yellowpages.kiev.ua, ypag.ru, baza.kompass.ua), служб трудоустройства и т.п.

Информационные взаимосвязи между понятиями выявляются путем обработки документальных массивов и, могут храниться в специальной базе данных. Набор понятий, используемый при построении базы данных связей, формируется путем экстрагирования данных из доступного пользователю текстового массива, что придает системе целостность.

В корпоративной информационной инфраструктуре база данных связей может использоваться различным образом, например, отдельно, либо ее возможности могут быть дополнены возможностями существующих полнотекстовых и/или фактографических баз данных (рис. 8). При этом основным результатом работы является построение так называемых «карт связей», а в качестве побочного эффекта, реализующего «режим доказательства», может рассматриваться извлечение самих документов как источников связей.

При проектировании баз данных связей используются перспективные решения в области создания информационно-аналитических систем, в частности, теория и технологии глубинного анализа тестов – Text Mining, в том числе методы экстрагирования информации (Information Extraction), технологии баз данных сверхбольших объемов (Big Data), концепция «сложных сетей»

(Complex Networks).

В рамках теории сложных сетей изучаются характеристики, связанные с топологией сетей, но и статистические феномены, распределение весов отдельных вершин (в качестве которых можно рассматривать сущности, понятия, факты) и ребер, эффекты протекания и проводимости в сетях и т.п.

На рис. 9 схематически представлены возможные технологические этапы формирования базы данных связей [Ландэ, Брайчевский, 2010].

Конкурентная разведка в компьютерных сетях С помощью программы-робота осуществляется сканирование выбранных веб-ресурсов, содержащих информацию, относящуюся к объектам исследований.

После этого осуществляется экстрагирование необходимых пользователям понятий, например, наименований брендов, компаний, электронных адресов и т.п.

Рис. 9 – Схема формирования базы данных связей Отобранные понятия и соответствующие отношения между ними загружаются в базу данных связей, которая также содержит ссылки на документы-первоисточники. Средства экстрагирования понятий, как правило, ориентированы на обработку документов, сканируемых из сети Интернет, представленных на различных языках.

Предложенный подход к поиску, естественно, влечет за собой некоторые особенности в реализации архитектуры базы данных связей понятий. Кроме того, архитектура базы данных связей должна быть ориентирована на такие возможные применения, как выявление неявных связей (не выявленных явно комплексом экстрагирования понятий), поиск отдельных объектов, а также взаимосвязь с существующими фактографическими базами данных.

Можно назвать несколько систем, в которых частично реализован данный подход:

– PolyAnalyst (www.megaputer.ru) – позволяет решать проблемы прогнозирования, классификации, группирования объектов, проводить анализ связей, многомерный анализ и интерактивное создание отчетов. Система PolyAnalyst (и ее компонента – система TextAnalyst) обеспечивает лингвистический и семантический анализ текста, выявление сущности, визуализацию связей, систематизацию документов, резюмирование и обработку запросов на естественном языке;

– Businessobjects Text Analysis (www.businessobjects. com/ product/catalog/text_analysis/features.asp) – программа, позволяющая извлекать информацию о 35-типах объектов и событий, включая людей, географические названия (топонимы), компании, даты, денежные суммы, email-адреса и выявлять связи между ними;

– Attensity suite (www.attensity.com) – технология извлечения информации из неструктурированных текстов. Она позволяет выявлять информацию, содержащуюся в неструктурированном тексте и превращать ее в структурированные данные, имеющие связи, которые могут быть проанализированы.

Вариант такой системы в настоящее время реализован и используется в качестве компоненты системы конкурентной разведки X-SCIF украинской компании «Информационная корпоративная служба», которая позволяет пользователю в онлайн-режиме получать карты связей для выбранных объектов и помогает интерпретировать результаты. Предусматривается, что пользователь вводит в качестве запроса объект. Запрос направляется к базе данных связей, откуда выбираются соответствующие ему фрагменты – карты связей (уровень детализации и временная ретроспектива должны указываться параметрически).

После выявления релевантных объектов и связей выполняются процедуры их автоматической группировки (кластеризации) и визуализации, результаты предъявляются пользователю в виде карт связей, которые представляются в виде динамических (чаще всего, Java-диаграмм) графов связей.

В частности, в системе конкурентной разведки X-SCIF граф связей строится с помощью апплетов Java и представляет собой графический объект, который содержит в своем составе узлы и ребра.

Каждый элемент графа связей имеет контекстное меню, которое является дополнительным элементом управления в интерфейсе пользователя (рис. 10).

Конкурентная разведка в компьютерных сетях Объекты, которые имеют большее количество связей, изображаются с помощью большего шрифта. Ребра, соответствующие большему количеству связей, изображаются более темными линиями. Построенная сеть имеет собственные средства управления:

изменение масштаба (с помощью меню «масштаб» или полосы прокрутки в верхней части экрана); перемещение всего графа; перемещение объекта; изменение конфигурации; подсветка связей выбранного узла и т.п.

Рис. 10 – Граф информационных связей понятия «Сбербанк России»

На рис. 10 приведен пример использования базы данных связей, случай, когда пользователя интересуют информационные связи Сбербанка России. Разумеется, для запроса «Сбербанк России»

может быть выявлено множество различных связей, но при этом существует простой и надежный критерий ранжирования результатов, состоящий в отсечении статистического фона. В рассматриваемом случае, задав соответствующий запрос можно получить граф наиболее связанных со Сбербанком России объектов (персон и компаний). И если нахождение фамилий руководителей банка (председателя правления, первого заместителя председателя правления и руководителя дочернего банка) является достаточно очевидным результатом, то связи между отдельными банками позвоСистемы и технологии конкурентной разведки лили выявить (после обращения к документам-первоисточникам) неочевидные на первый взгляд факты, например, то, что УкрСиббанк и УкрСоцбанк являются банками-партнерами.

Представленный подход может рассматриваться как основа построения так называемых «вертикальных» (предметно-ориентированных) информационно-поисковых систем, в которых изначально решены вопросы оперативности, отсеивания информационного шума. Рассматриваемая реализация имеет свойство масштабирования по трем параметрам: объему баз данных, составу понятий, которые используются, и по инфраструктурному окружению.

Анализируя связи в сети, можно определить многие неочевидные свойства, например, выявить наличие кластеров, определить их состав, различия в связности внутри и между кластерами, идентифицировать ключевые элементы, которые связывают кластеры между собой и т.п. Серьезным препятствием при анализе является неполнота информации о связях между отдельными узлами сети.

Вместе с тем сегодня уже существуют алгоритмы, с помощью которых становится возможным с высокой вероятностью восстановить отсутствующие фрагменты связей. Даже не имея полного описания информационной сети, можно получать репрезентативную выборку «реальных» связей и по ней достроить всю сеть. Представленный подход реализует связующее звено между полнотекстовыми и фактографическими базами данных.

2.5. Технологии конкурентной разведки Система конкурентной разведки должна позволять руководству, аналитическому, маркетинговому отделам компании не только оперативно реагировать на изменения ситуации на рынках, но и оценивать риски и возможности, прогнозировать их и принимать решения о дальнейших путях развития, обеспечить переход от традиционного интуитивного принятия решений на основе недостаточной информации к управлению, основанному на достоверных прогнозах и знаниях.

Одним из основных общих требований к системе конкурентной разведки должно быть соответствие цикла обработки информации в такой системе классическому информационному разведывательному циклу. Т.е. система должна самостоятельно или с участием оператора обеспечивать:

– выбор тематики и направлений разведки (целеуказание);

– выбор источников информации (веб-сайты, блоги, форумы и т.д.);

Конкурентная разведка в компьютерных сетях – автоматический поиск и скачивание информации по заданным направлениям мониторинга и указанным источникам по запланированному расписанию (планирование и сбор данных);

– обработку собранных данных и превращение их в информацию;

– контент анализ и синтез информации – превращение ее в знания;

– своевременную доставку информации к конечным потребителям.

Так как в целях конкурентной разведки необходимо анализировать данные из всех доступных источников информации, в которых эта информация может быть представлена в различных видах и форматах, то крайне важным требованием к системе является обеспечение ею единого информационного пространства взаимосвязанных объектов и фактов независимо от типа их источников или контента. Два других требования касаются сохранения связи объектов и фактов с релевантными данными и источниками информации (аргументированность) и обеспечения историческипространственной модели банка данных системы, что предполагает наличие у всех объектов атрибутов времени, места и источника данных, а также невозможность их безвозвратного удаления из системы с течением времени.

Основными объектами учета и мониторинга в системах конкурентной разведки, как правило, являются:

– источники информации (официальные сайты, интернетиздания, персональные сайты организаций или лиц, Интернет представительства печатных СМИ, информагентств, теле- и радиоканалов, открытые базы данных, объекты учета и т.д.);

– географические регионы;

– рынки и направления бизнеса;

– структуры (предприятия, организации и т.д.);

– персоны (конкуренты, контрагенты, партнеры, сотрудники, кандидаты и т.д.);

– нормативно-законодательная база и факты ее нарушения;

– политико-экономическая ситуация;

– криминальная обстановка;

– другие специализированные индивидуальные тематики.

Безусловно, система конкурентной разведки, использующая Интернет как один из источников информации, должна настраиваться под специфику деятельности компании. Она должна включать в себя соответствующую классификацию, гибкие механизмы поиска, оперативной доставки данных, а также качественной оценСистемы и технологии конкурентной разведки ки информации. Одной из самых важных задач анализа информации является определение ее достоверности, т.е. задача анализа и фильтрации шума и ложной информации. Без таких оценок всегда есть риск принять неверные решения. После анализа достоверности информации должны следовать оценки ее точности и важности. Главным критерием достоверности данных на практике является подтверждение информации другими источниками, заслуживающими доверия.

Даже поверхностный анализ основных требований к системам конкурентной разведки в Сети, показывает, что традиционные поисковики в системе Интернет не могут считаться полноценными инструментами конкурентной разведки в Интернет.

Информационные системы конкурентной разведки можно также условно классифицировать по наличию в них модулей автоматического и экспертного извлечения фактов. Соотношение между автоматически извлекаемыми системой и вручную (с помощью экспертов) фактами, событиями, объектами учета в разных системах разное. Автоматически извлекаемые системой факты называют А-фактами, факты, извлекаемые экспертами, – Э-фактами [Киселев, 2005].

Существующие на рынке системы конкурентной разведки отличаются как по своей полноте и соответствию полному разведциклу, так и своему инструментарию и соответственно своей цене.

Кроме того, системы могут быть предназначены для использования в качестве инструментария исключительно собственными силами внутреннего подразделения конкурентной разведки предприятия, либо предполагать вынесение части задач на аутсорсинг специализированными структурами конкурентной разведки. Выбор систем, подходов и методик конкурентной разведки остается за потребителем, и в каждом случае индивидуален. Да это и понятно, нельзя же сравнивать потребности и выполняемые задачи аналитика спецслужбы и сотрудника, к примеру, маркетингового отдела малого предприятия.

В настоящее время в мире существует ряд систем, которые частично реализуют решения приведенных выше задач мониторинга субъектов, извлечения фактов, построения связей, однако некоторые из них не выдерживают критики по функциональности, некоторые имеют слишком высокую цену. Кратко остановимся на возможностях некоторых подобных систем, реализованных в настоящее время.

Система RCO (www.rco.ru) – основное назначение – выявление фактографической информации из неструктурированных текКонкурентная разведка в компьютерных сетях стов. Обладает широким спектром алгоритмов и технологий интеллектуальной обработки текстов, представленных на естественном языке. В частности, технологии RCO позволяют решать задачи выявления именованных объектов, связей и фактов из массивов неструктурированных данных. RCO Fact Extractor – это персональное приложение для Windows, которое предназначено для аналитической обработки текста на русском языке и выявления фактов, связанных с заданными объектами – лицами и организациями. Основная сфера применения программы – это задачи из области конкурентной разведки, требующие высокоточного поиска информации.

RCO Zoom (рис. 11) – поисково-аналитическая система с функциями контент-анализа в реальном времени и транзакционного хранилища документов. RCO Zoom обладает инструментарием для проведения эффективного оперативного поиска и аналитических исследований информации.

Рис. 11 – Фрагмент веб-сайта с описанием возможностей Система RCO Zoom позволяет работать с огромными массивами текстовой информации в реальном времени (объем базы – до сотен гигабайт, время поиска и обработки – секунды). Средство отображения – информационный портрет дает возможность полуСистемы и технологии конкурентной разведки чить ключевые слова, формулировать и проверять гипотезы, разделять объекты, выделять статистические инварианты в первом приближении.

«Медиалогия» (www.mlg.ru) – сервис, обеспечивающий онлайновый доступ к базе СМИ с возможностью производить самостоятельный мониторинг СМИ и экспресс-анализ полученных сообщений. С помощью «Медиалогии» можно осуществлять оперативный мониторинг СМИ компании, ее топ-менед-жеров, брендов, конкурентов и др. Возможности фильтров позволяют настроить мониторинг и оценивать тональность прессы, журналов, ТВ и интернет-изданий практически под любые информационные задачи.

PolyAnalyst (www.megaputer.ru) – основной продукт компании Megaputer Intelligence, который позволяет получить полезные знания из массивов текстовых и структурированных данных, передает эти знания в доступной форме и в виде оперативно применяемых моделей для поддержки принятия решений. Система PolyAnalyst охватывает весь традиционный цикл анализа данных, начиная с импорта и предварительной обработки, и заканчивая отчетами. Функциональность PolyAnalyst, в частности, включает возможности создания многоступенчатых сценариев анализа данных и формы отчетов посредством простого drag-and-drop интерфейса, формировать аналитические прогнозы, предоставлять клиентам результаты, полученные из прогнозов, в доступных для понимания формах.

RetrievalWare (www.verticalsearchworks.com) – система, обеспечивающая поиск, анализ и выявление информации с помощью задания пользователем поисковых запросов на естественном языке как к массивам информации, хранящихся в неструктурированном виде, так и в формализованных базах данных. В RetrievalWare реализована возможность выявления семантической связи для понятий, например, слова синонимы или антонимы, слова связанные отношениями «род-вид» и т.д. Данное свойство обеспечивает высокую точность выявления понятий и семантическое расширение запросов пользователей. В настоящее время компания Convera, известная как поставщик этого аналитического продукта, объединилась с Firstlight ERA, образовав специализирующуюся на семантическом поиске в веб-пространстве компанию Vertical Search Works.

Autonomy IDOL Server (www.autonomy.com) был создан в компании Autonomy (рис. 12), купленной недавно корпорацией Hewlett-Packard. Идеологическая основа Autonomy IDOL (Intelligent Data Operating Layer) — это Meaning-Based Computing (MBC), Конкурентная разведка в компьютерных сетях что переводится как «компьютерные системы, основанные на смысле». В Autonomy принята определенная иерархия технологий работы с текстами, где на нижнем уровне стоит простой поиск по ключевым словам, а верхний уровень занимают интеллектуальные технологии MBC. Autonomy IDOL включает в себя свыше 500 различных функций для извлечения смысла из текстов и более коннекторов к различным источникам данных, поддерживает работу со встроенными узлами Hadoop и СУБД Vertica. Для визуализации результатов используются как собственные средства пользовательского интерфейса, так и технологии компаний QlikView или Tableau.

Рис. 12 – Фрагмент веб-ресурса Autonomy IDOL Endeca Latitude (docs.oracle.com/cd/E29220_01) – технология, реализующая концепцию Text Mining, приобретенная корпорацией Oracle. Ядром технологии Endeca Latitude является MDEX Engine – гибридная аналитическо-поисковая система управления базами данных (СУБД), для которой характерна высокая масштабируемость. С помощью СУБД Oracle Essbase входные данные проходят предварительную обработку и агрегируются, а MDEX нацелена на поиск и обнаружение знаний и является гибридом поискоСистемы и технологии конкурентной разведки вой и аналитической СУБД, рассчитанной на работу с динамическими данными. Принципиальное отличие MDEX от обычных СУБД состоит в приближении хранящихся в ней записей к реальностям окружающего мира. Таким образом, Endeca сфокусирована на раскрытии содержимого данных (Data Discovery) в противоположность традиционному анализу.

Vivisimo (www-01.ibm.com/software/data/information-optimization) – технология, включающая три взаимосвязанных продукта, объединенных в платформу IBM InfoSphere Data Explorer (ранее известную как Velocity Platform): Search Engine – многофункциональная поисковая система, роботы которой способны собирать и обрабатывать файлы различных типов (HTML, TXT, RTF, PDF, MS Word, Excel, PowerPoint, WordPerfect и т.д.), а также извлекать информацию из реляционных СУБД; Clustering Mashine – машина кластеризации, группирующая результаты работы поисковых машин в Google, Autonomy, FAST и Ultraseek, а также тексты в различных форматах; Content Integrator – интегратор, обеспечивающий объединение результатов поиска (федерализацию), умеющий работать с метаданными.

Attensity suite (www.attensity.com) – технология выявления понятий, фактографической информации из неструктурированных текстов. Технология Attensity suite позволяет выявлять информацию, скрытую в неструктурированном тексте, и переводить ее в структурированные данные, имеющие связи, которые могут быть проанализированы теми же методами, что и другие виды структурированных данных. В настоящее время технология ориентирована на обработку так называемых «больших данных» (Big Data) и информации из социальных сетей.

Statistica Text Miner (www.sas.com/text-analytics/ text-miner) – расширение известной программы Statistica Data Miner, предназначенное для перевода неструктурированных текстов в информацию, пригодную для принятия решений. Кроме того, система Statistica Text Miner позволяет устанавливать принадлежность документов к той или иной смысловой категории, идентифицировать группы сходных по смыслу документов, устанавливать связи между полученными характеристиками документов и другими индикаторами и т. д. Программное обеспечение для Text Mining полностью интегрируемо с любым другим программным обеспечением, принадлежащим линии продуктов Statistica.

Rocket AeroText (www.rocketsoftware.com/products/rocketaerotext) – программа, позволяющая выявлять элементы информации, такие как сущность (Entities), взаимные связи (RelationКонкурентная разведка в компьютерных сетях ships) и события (Events), в неструктурированных текстах, а также выявлять неявные взаимосвязи и события в текстах.

В последнее время все основные западные бренды, специализирующиеся на разработке хранилищ и баз данных, корпоративных системах управления, расширили свои линейки продуктов модулями Business Intelligence (BI) или, дословном переводе – деловой разведки. О наличии таких модулей заявляют Oracle, SAS, SAP, IBM и другие бренды.

По заказу группы аналитиков Гарвардского университета российские разработчики из «Инфорус» создали информационно-аналитическую систему (ИАС) Avalanche (www.tora-centre.ru/avl3.

htm), предназначенную для мониторинга изменений, происходящих в Интернете. Она собирает информацию с веб-страниц по заданному алгоритму и складывает эту информацию в собственную базу данных.

Технология Avalanche базируется на трех компонентах: автономном интеллектуальном поисковом роботе, создании «умных»

папок и встроенной базе данных, позволяющей преобразовать их в «персональную энциклопедию». При работе с ИАС Avalanche формируется модель, требуемой пользователю области в виде набора «умных папок», каждая из которых «знает», что должно в нее попадать, и обеспечивает отсутствие дублирования. Наполнением «умных» папок занимается специализированный поисковый робот, который запускается с компьютера в соответствии с установленными, требуемыми пользователю настройками. Робот может запускаться и автоматически в определенное установленное для него время. В Avalanche предусмотрены «тонкие» настройки, которые позволяют производить более детальный мониторинг.

Информационно-аналитическая система «Семантический архив» (www.anbr.ru/products/semarchive) представляет собой инструмент для создания интегрированного хранилища информации с возможностью хранения досье на объекты мониторинга, происходящие события, а также текстовые документы.

Гибко настраиваемая онтологическая модель данных позволяет работать с разными тематиками и сферами деятельности. ИАС «Семантический архив» позволяет хранить информацию, импортированную из различных реляционных баз данных, вводить информацию из любых других источников: Интернет, СМИ, базы данных, онлайн библиотеки и системы (Спарк, Интегрум и др.), любой документ, собственные сведения экспертов.

Созданное хранилище служит аналитикам для поиска информации, добавления конфиденциальных собственных данных, выСистемы и технологии конкурентной разведки явления взаимосвязи между объектами и событиями, получения аналитических отчетов, визуализации: схем, графиков и карт.

«Семантический архив» имеет модульную структуру, что позволяет легко подобрать и настроить нужную конфигурацию системы.

Российская система управления досье XFiles предназначена для решения задачи выделения достоверных фактов из различных источников, заполнения ими досье на объекты мониторинга и их последующей аналитической обработки. Она используется для обеспечения процессов принятия решений при наличии большого объема «сырого» контента, что характерно для деятельности органов государственной власти, правоохранительных органов, крупных коммерческих компаний.

Система XFiles предполагает реализацию трех принципов:

1) единое информационное пространство взаимосвязанных фактов или гипотез независимо от типа их контента (содержимого источников информации);

2) связь фактов или гипотез с релевантными источниками информации (аргументированность фактов и гипотез);

3) исторически-пространственная информационная модель базы данных фактов и гипотез. Это означает наличие атрибутов времени и места для каждого факта, а также невозможность их безвозвратного удаления из системы.

Система XFiles применяется и как аналитический инструмент, и как система поддержки корпоративной безопасности подразделений, занимающихся бизнес-разведкой. Система позволяет извлекать факты из сети Интернет, корпоративных источников документов, из учетных баз данных и других. Система Xfiles имеет вебинтерфейс для работы пользователей. В Xfiles реализована семантическая сеть, отражающая лишь взаимосвязи между объектами. В системе отсутствует направление мониторинга СМИ, интернетроботов и др. Базируется на средствах портала управления знаниями Hummingbird.

Среди самых развитых порталов управления знаниями, применяемых для решения задач конкурентной разведки, нельзя не назвать систему Hummingbird Enterprise канадской компании Hummingbird (www.hummingbirdenterprisegroup.com). Среди множества компонент системы можно выделить Hum-mingbird Portal – платформу, позволяющую интегрировать информацию из информационного хранилища и приложения в едином веб-интерфейсе.

Эта платформа является полнофункциональным порталом знаний.

Конкурентная разведка в компьютерных сетях Основной особенностью системы i2 Analyst Notebook корпорации IBM (www-01.ibm.com/software/industry/i2software/support.html) является возможность визуального проектирования структуры данных для хранения данных о различных персонах и организациях.

В базе данных предусматривается возможность хранения определенных событий, происходящих с ними и имеющиеся взаимосвязи. Система i2 Analyst’s Notebook позволяет быстро и эффективно проводить анализ системы взаимосвязанных объектов и динамики последовательных событий, отображая результаты исследования в виде удобных для понимания схем и диаграмм.

Информация отображается на диаграмме в виде объектов, к которым при необходимости можно добавить дополнительные атрибуты и карточки данных с комментариями. Объекты на диаграмме могут представляться не только в виде пиктограмм, но и в виде фотографий, файлов, аудиозаписей, видеозаписей и т.д.

Программа позволяет создавать диаграммы с помощью запросов к реляционным базам данных, а также импорта данных из внешних файлов. При помощи имеющихся в Analyst’s Notebook функций можно объединять элементы диаграмм, искать существующие между ними связи, использовать систему поиска элементов, прослеживать «путь», объединяющий объекты, и т.п.

Analyst’s Notebook снабжен редактором, позволяющим в графической форме сформулировать запрос для поиска объектов и выявления их связей, создавать шаблоны интересующих событий.

Analyst’s Notebook предоставляет целый ряд удобных форматов визуализации, каждый из которых по-своему проясняет смысл информации и демонстрирует связи между объектами.

Систему Analyst’s Notebook можно интегрировать в уже работающие у пользователя приложения.

Система Analyst’s Notebook обеспечивает:

– поиск общих элементов и взаимосвязей, скрытых в данных;

– простоту интерпретации сложной информации;

– графическое отображение результатов;

– создание динамичных диаграмм;

– распространение диаграмм в печатном и электронном виде.

Говоря о западных продуктах, лидирующих в области Business Intelligence, следует отметить, что под этим термином, как правило, понимается набор инструментальных средств анализа статистических цифровых данных и других корпоративных отчетов и их визуализации, в отличие от Competitive Intelligence (конкурентной разведки), которая является гораздо более широким направлением информационной деятельности.

На российском рынке, кроме упомянутых выше, в сегменте инструментальных средств конкурентной разведки в Интернет, представлено довольно много подобных систем. Перечислим только наиболее известные из них. К российским системам, заслуживающим внимания, можно отнести такие информационно-аналитические системы, как «Интегрум», «Аналитический курьер», «Астарта», «информационно-программные комплексы Intellectum.BIS, «Арион», Х-files, Cronos, CronosPlus, T2 BANC и др.

На украинском рынке в этом сегменте представлены такие системы, как «Сфера», X-SCIF, «Энциклопедия деловой информации», «ICEBERG», «Пиранья», «Страбис» и др.

Хотелось бы отметить, что далеко не все из названных систем имеют полный функционал и соответствующие модули, обеспечивающие выполнение всего спектра задач конкурентной разведки.

В качестве одной из наиболее полнофункциональных отечественных систем, обработка информации в которой соответствует классическому информационному разведывательному циклу, можно назвать систему X-SCIF.

Рассмотрим, как реализуются этапы разведцикла с помощью данной системы, для чего остановимся на описании возможностей системы X-SCIF чуть подробней.

Онлайновая инструментальная корпоративная система мониторинга, агрегации и анализа информации X-SCIF (далее – ИКС XSCIF) представляет собой программно-технический комплекс, предназначенный для решения задач автоматизированного сбора, обработки, создания интегрированного банка данных и анализа разнообразной информации.

Система обеспечивает:

– мониторинг информации с заданных пользователем веб-сайтов (веб-страниц) в сети Интернет (Интранет) по заданным темам;

– поиск новых источников информации в сети Интернет по заданным пользователем тематикам и их последующую постановку на мониторинг;