«А. Г. Додонов, Д. В. Ландэ, В. В. Прищепа, В. Г. Путятин КОНКУРЕНТНАЯ РАЗВЕДКА В КОМПЬЮТЕРНЫХ СЕТЯХ Киев – 2013 УДК 004.5 ББК 22.18, 32.81, 60.54 C95 А.Г. Додонов, Д.В. Ландэ, В.В. Прищепа, В.Г. Путятин Конкурентная ...»

Программа Palantir постепенно находит применение и в гражданском секторе. Так, представитель банка JPMorgan Chase Гай Чарелло (Guy Chiarello) говорит, что программы Palantir помогают банку выявлять мошенников еще до того, как случилось преступление. Контракт с Palantir, по его словам, – это «лучшая сделка за последнее время».

При этом основные инвесторы проекта Алекс Карп (Alex Karp) и Питер Тиль (Peter Thiel) говорят, что величайшая проблема, которую им удалось решить с помощью своих программ, – это возможность борьбы с терроризмом и насилием при сохранении гражданских свобод. Задействованная в их работе информация засекречена, и пользователи имеют доступ лишь к отдельным ее фрагментам.

Конкурентная разведка в компьютерных сетях 2.6. Примеры применения технологий Для качественного проведения конкурентной разведки методами анализа текстов из сети Интернет необходимо сформулировать цели, построить базы данных для наблюдений и проведения исследований, сформулировать запросы. Заметим, что не следует ограничиваться одной информационно-поисковой системой даже для анализа такой информации, как интернет-ресурсы. Рекомендуем использовать лучшие глобальные и специальные информационно-поисковые системы, такие как Google (www.google.com), Yahoo! (www.yahoo.com) или Яндекс (www.yandex.ru). Для специальных потребностей рекомендуется также использовать законодательные, адресно-номенклатурные, ценовые базы данных, доступные как из сети Интернет, так и в локальных версиях.

Покажем, как формируются запросы, относящиеся к конкурентной проблематике, на примере поисковых предписаний к системе контент-мониторинга InfoStream (www.infostream.ua, рис. 23).

Рис. 23 – Веб-сайт системы контент-мониторинга InfoStream Обычно поиск информации о компании или персоне всегда начинается с указания различных способов написания названия компании или Ф.И.О. персоны. Порой поиска в оперативных и ретроспективных данных по таким «примитивным» запросам вполне достаточно, однако задача усложняется, если необходимо исследовать состояние отдельной отрасли, отдельного региона, или даже целой страны. В таких случаях в соответствии с проблематикой строятся запросы, которые затем итеративно уточняются.

В качестве примера приведем ряд понятий, а затем поставим им в соответствие фрагменты запросов и рассмотрим фрагменты текстов, публикуемые различными источниками, которые затем можно использовать при построении разного рода аналитических справок.

После нахождения документов, содержащих упоминания анализируемых фирм или брендов, можно путем уточнения запросов выяснить некоторые важные характеристики, относящиеся к деятельности этих компаний. В качестве примера ниже приведены уточняющие запросы, относящиеся к финансовому положению компаний, упоминаемых в веб-пространстве:

Уставн~капитал~/2/грн Уставн~капитал~/2/руб Уставн~фонд~/2/руб Уставн~фонд~/2/долл Принадлежит~/2/акций В первых двух запросах подразумевается нахождение документов, в которые входят фрагменты, содержащие словосочетания «уставной капитал» или «уставный фонд», с указанием значения в долларах или гривнях («~/2/»; на языке запросов это означает расстояние в 2 или менее слов между выражениями).

В результате поиска получены текстовые документы, содержащие такие фрагменты:

По данным «ВГЗ», со 2 октября 2008 года ООО «Ремтекс»

заключило 24 договора на общую сумму 60,73 млн. грн. Старт значительного роста доходов предприятия зафиксирован в начале 2012 года.

ООО «Ремтекс» основано депутатом Криворожского райсовета Юрием Винклером, Марком Поповым и Инной Рожковой. Уставной капитал предприятия 12.000 грн. Совладельцем «Криворожспецремонта» является Алексей Рожков, зарегистрированный с вышеуказанной совладельцем «Ремтекс» Инной Рожковой по одному адресу. Кроме того в состав учредителей фирмы входит Евгений Донченко – депутат Криворожского райсовета.

Еженедельник «Вгору» 2013.06. Конкурентная разведка в компьютерных сетях ЗАО «Михайлов и Партнеры. Управление стратегическими коммуникациями» зарегистрирована в Москве в 2002 году. Компания, получающая многомиллионные контракты, имеет уставной капитал 25 тысяч рублей. 75% акций принадлежат медиа-менеджеру Сергею Михайлову, остальные – пяти партнерам.

Компания «Михайлов и партнеры» позиционирует своих сотрудников как специалистов в спектре внешних и внутренних коммуникаций, помогающих развивать своим клиентам отношения со СМИ и общественностью.

PrimaMedia 2013.06. Совместное предприятие «Илим Палп Энтерпрайз» (СП ТОО «Ilim Pulp Enterprise», IPE) было зарегистрировано Комитетом по внешним связям мэрии Санкт-Петербурга 30 апреля 1992 г. (реестровый No АОЛ-1546) с уставным фондом 1 млн. руб. Учредителями являлись: ТОО «Техноферм» – 50% уставного фонда, фирма INТЕRТSЕZ S.А. (Швейцария) – 40%, целлюлозный завод ТПО «Усть- Илимский ЛПК» – 10%. Позднее в число учредителей вошло АОЗТ «Финцелл», имея долю в 40%. Поскольку акционерный пакет Медведева в «Финцелле» составлял 50%, то, соответственно, по состоянию на 1994 г. ему лично принадлежало не менее 20% «Илим Палп Энтерпрайз».

Вопросик.net 2013.04. ИМС в 2004 году создали СКМ Ахметова и «Интерпайп»

Пинчука. Летом того же года компания выиграла конкурс по приватизации «Криворожстали». За 93,02% акций комбината консорциум заплатил около 800 млн долларов. В 2005 году хозяйственные суды всех инстанций по представлению Генпрокуратуры отменили итоги конкурса. Осенью 2005-го «Криворожсталь» на повторном приватизационном аукционе досталась Mittal Steel индийского миллиардера Лакшми Миттала за 4,8 млрд долл.

(позже комбинат был переименован в «АрселорМиттал Кривой Рог»). На 31 декабря 2012 года «Метинвесту» принадлежали 49% ИМС, говорится в отчетности группы Ахметова. Активы компании – 49 млн долл., уставный фонд – 15 млн долл.

Главред 2013.06. ОАО «Газпром нефть» (ранее «Сибнефть») – дочернее нефтедобывающее предприятие ОАО «Газпром», которому принадлежит свыше 95 % акций компании. Уставный капитал «Газпром нефти» равен 7,59 млн. руб. и разделен на 4,74 млрд. обыкСистемы и технологии конкурентной разведки новенных акций номиналом 0,0016 руб.

«Газпрому нефти» в России принадлежат Омский НПЗ, доля в Московском НПЗ (38,8 %), 50 % акций «Славнефти» (контролируется на паритетных условиях с ТНК-ВР), которой, в свою очередь, принадлежат 42,5 % акций Мозырского НПЗ (Беларусь), а также 56,15 % акций сербской вертикально интегрированной нефтяной компании Nafta Industrija Srbije (NIS), которая владеет двумя НПЗ, заводом по производству сжиженного газа, 480 АЗС и нефтебазами.

OilNews 2013.06. Информация о слияниях и приобретениях в той или иной сфере бизнеса, позволяющая следить за экспансией конкурентов в новые рыночные ниши, может быть получена в результате отработки таких уточняющих запросов:

Приобр~/2/акций приобр~/2/пакет~акций прода~/2/пакет~акций (слияние~компаний) & (акций,активов) Выполнение этих уточняющих запросов позволяет получить документы, содержащие, например:

В 2009-м бизнес-консультант Алексей Тимофеев набрался смелости и позвонил Новинскому с предложением создать в его холдинге нефтегазовое подразделение. Решимость Тимофеева принесла плоды. Новинский взял его на работу и за последние два года инвестировал в нефтегазовый сектор около $300 млн.

Smart Energy приобрела 54 % акций британской Regal Petroleum, ведущей бизнес в Украине, и компанию «Пром-Энерго Продукт», добывающую газ в Харьковской области. «Смарт» закрывает сделку с бизнесменом Игорем Вороновым по приобретению предприятия «Укргазвидобуток» – одного из крупнейших частных добытчиков газа в Украине.

Журнал «Forbes Украина» 2013.06. С октября 2006 года, напомним, председателем совета директоров ОАО АВТОВАЗ был глава госкорпорации «Ростехнологии»

(ныне – «Ростех») Сергей Чемезов.

Напомним, компания Renault приобрела блокирующий пакет акций ОАО АВТОВАЗ у ГК «Ростехнологии» в конце года. В настоящее время держателем контрольного пакета акций Конкурентная разведка в компьютерных сетях российского автогиганта является альянс Renault- Nissan. «Ростеху» принадлежит блокирующий пакет (25 % + 1 акция).

Финам.info 2013.06. Британский разработчик программного обеспечения Autonomy, принадлежащий Hewlett-Packard, заявил о продаже оставшегося пакета акций поисковой системы Blinkx, специализирующейся на поиске видеофайлов, за 54,84 млн фунтов стерлингов ($84,48 млн).

Сообщается, что компания разместила 45,7 млн. акций Blinkx по цене 120 пенсов за каждую, что на 5% ниже последней цены закрытия бумаг.

Финам.ru 2013.06. Американский оператор сети медицинских клиник Tenet Healthcare Corp. покупает Vanguard Health Systems Inc. за $1, млрд. денежными средствами.

Tenet заплатит $21 за акцию Vanguard, что на 70 % выше стоимости бумаг компании на закрытие рынка в пятницу. Помимо этого, оператор сети клиник возьмет на себя долг Vanguard в размере $2,5 млрд., с учетом которого сумма сделки достигнет $4,3 млрд., сообщает «Финмаркет».

Ожидается, что приобретение позитивно отразится на прибыли Tenet уже в первый год после завершения сделки. Синергетический эффект от слияния компаний оценивается в $100млн. в год.

Росбалт 2013.06. Для выявления публикаций об изменении финансового состояния и банкротства можно использовать такие уточняющие запросы:

выпуск~/2/акц (увелич~уставн)&(фонд,капитал) повыс~/1/дол~/2/акц объяв~/2/банкротств Отработка подобных запросов позволила найти такие документы:

Глава ОАО «Интер РАО ЕЭС» Борис Ковальчук сообщил журналистам, что энергохолдинг не исключает продажи принадлежащих ему пакетов акций ТГК-6 и ТГК-7, входящих в «КЭСХолдинг» в том случае, если компания не получит разрешения на выпуск дополнительного выпуска акций в пользу «Роснефтегаза». Вырученные в результате продажи средства будут направлены на покрытие дефицита инвестиционной программы «Интер РАО ЕЭС».

По оценкам «Интер РАО ЕЭС», вышеупомянутые пакеты стоят на сегодняшний день порядка 900 млн. долларов. Их покупателем может выступить как сам «КЭС-Холдинг», так и стратегический инвестор. По словам Ковальчука, претендентов на роль стратегического инвестора имеется несколько, однако кто это именно, глава «Интер РАО ЕЭС» уточнять не стал.

MAonline.ru 2013.06. Как сообщалось ранее, в начале мая текущего года акционеры «Россетей» в ходе внеочередного общего собрания приняли решение об увеличении уставного капитала компании путем размещения дополнительного выпуска обыкновенных акций объемом 161 млрд 066 млн 440 тыс 775 штук номинальной стоимостью 1 рубль каждая.

Совет директоров «Россетей» утвердил цену размещения дополнительной эмиссии акций компании в размере 2,79 рубля за акцию допвыпуска.

Нефть России 2013.06. Выручка в сегменте ИТ-услуг составила 483,8 млн. долл., что на 1,5 % выше показателей предыдущего года. После корректировки выручки в сегменте путем исключения из расчетов показателей ООО «Группа Борлас», увеличивших выручку за соответствующий период на 31,2 млн. долл. (в феврале 2012 года группа обменяла 100 % акций «Группы Борлас» на 14,09 % акций дочерней компании группы – IBS IT Services, повысив свою долю фактического владения акциями компании до 97,02 %), рост выручки сегмента без учета показателей проданных активов за финансовый год, составил 8,6 % в долларовом выражении и 11,1 % в рублевом выражении.

Выручка в сегменте разработки программного обеспечения составила 314,6 млн. долл., что на 16,0 % выше показателей предыдущего года.

Открытые системы 2013.06. Всего около немецких 40 изданий в настоящее время частично или полностью используют платный доступ к журналистским материалам на своих сайтах. Эксперты отрасли считают, что реКонкурентная разведка в компьютерных сетях шение Bild приведет к тому, что за ней последуют многие другие.

Толчком к этому может стать угроза закрытия. Напомним, что недавно была закрыта газета Financial Times Deutschland, а Frankfurter Rundschau и агентство DAPD объявили о своем банкротстве.

МедиаБизнес 2013.06. Методы контент-мониторинга – это адаптация классических методов контент-анализа к условиям динамических информационных массивов, например потоков информации из сети Интернет.

Типичная задача контент-мониторинга – построение диаграмм динамики появления понятий по времени. Рассмотрим, как в системе InfoStream отслеживались кризисные явления на рынке нефтепродуктов Украины в июне 2011 года. Для этого был составлен запрос «кризис & гречка & Украина», который был введен через веб-интерфейс системы. В специальном режиме «Динамика»

была получена соответствующая диаграмма появления понятия (рис. 24).

На приведенной диаграмме видно, что массовое появление сообщений о кризисных явлениях произошло 12-го января 2011 г. (в то время, как сами цены на гречневую крупу резко возросли лишь в середине марта). Безусловно, оперативное получение такого типа данных должно было помочь аналитикам при построении краткосрочных прогнозов.

Аналогично можно проводить мониторинг финансового рынка. К примеру, простой запрос «падение~ курса~евро», относящийся к фрагменту информационного потока за период с апреля по август 2010 года выдал диаграмму, свидетельствующую о динамике падения курса европейской валюты (рис. 25). Как видим, пик публикаций приходится на 17 мая 2010 г., когда, в частности, украинские банки ограничили операции с евро из-за падения курса.

В информационно-аналитической работе важное значение имеет возможность доступа к источникам данных, информации и знаний. При этом главной проблемой является нахождение содержательных и надежных источников из всех общедоступных. Когда такие источники найдены, включаются механизмы превращения данных в знания, для чего применяются соответствующие технологии. Под данными обычно понимают «сырые», необработанные сведения, основанные на фактах. Это могут быть статистические данные, факты из биографий ключевых персон или, например, сведения об отчетности отдельных компаний. Информация представляет собой уже определенным образом обработанные и проанализированные данные. Конечным же информационным продуктом любой аналитической работы являются знания – синтезированные выводы, рекомендации для принятия решений.

Информация, как было указано выше, может быть получена из официальных, открытых источников, СМИ, объявлений, рекламы, фирменных, банковских, правительственных отчетов, баз данных, от экспертов путем анализа или специальной обработки данных, текстов.

Ниже приведен подробный перечень видов информационных источников, которые чаще всего используются при конкурентной разведке [Нежданов, 2009].

1. Пресс-релизы компаний, официальные заявления от имени компаний о новых технологиях, новых направлениях, сделках, перспективах. Такие пресс-релизы создаются компаниями для собственной популяризации, привлечения внимания потенциальных клиентов, инвесторов, ищущих выгодные варианты вложения своих средств. Часто в таких заявлениях присутствует информация о намерениях, планируемых событиях. Пресс-релизы доступны на веб-сайтах компаний, в PR-службах, на общих и профильных специализированных площадках для размещения пресс-релизов.

2. Интервью сотрудников компаний, соответствующие материалы в СМИ. В интервью интерес представляют планы компаний.

При этом со стороны службы конкурентной разведки допускается инициирование интервью кого-то из сотрудников объекта интереса.

3. Высказывания сотрудников компаний на форумах, в блогах, в частных беседах. При этом могут выявляться планы компаний, кадровая политика, атмосфера в коллективе и т. п. Источники информации: 1) интернет-ресурсы (специализированные форумы, блоги сотрудников), блоги экспертов, группы в социальных сетях;

2) выставки, конференции, курсы повышения квалификации, профессиональные мероприятия.

4. Тендеры, закупки. Предметы закупок, оборудование, исполнители. Источники информации: 1) интернет-ресурсы (веб-сайты компаний, торговые площадки, профильные форумы); 2) партнеры исследуемой компании, те, кто участвовал в их тендерах, у клиентов и поставщиков.

5. Патенты, авторские свидетельства компании и ее сотрудников. Для задач конкурентной разведки интересно их содержание, направленность, списки соавторов. Информация размещается на соответствующих сайтах. Для России: www.ru-patent.info, для Украины: www.base.ukrpatent.org/searchINV, для СНГ www.eapo.

org/ru. Патентование возможно в любой стране, предпочтительные варианты – страна регистрации организации, страна ведения бизнеса, кроме того США, Евросоюз, Россия, Япония и Китай.

6. Разработки компании: ведущиеся, финансируемые, разработки, которыми компания интересуется. Наблюдению подлежат попытки компании проводить исследования: закупка специфического оборудования, прием на работу специалистов, переговоры, посещения соответствующих организаций и т.д.

7. Активность компании на рынке слияний и поглощений (M&A). Информация о том, какие организации поглощаются, планируют поглотить или ведут переговоры о поглощении. Информацию можно получить в Федеральной антимонопольной службе (ФАС) России или Антимонопольном комитете (АМК) Украины, по новостным сообщениям на веб-ресурсах посвященных M&A.

8. Вакансии компании (открывающиеся, закрывающиеся), сообщения об активном поиске сотрудников, требования к вакансиям, условия. Источник информации: веб-сайт компании, сайты по поиску работы и на сайты агентств, с которыми компания сотрудничает.

9. Курсы повышения квалификации, обучение персонала – указание на приоритеты в развитии компании. Интерес представляет то, чему обучают, каких специалистов приглашают для обучения, какие требования выдвигают при привлечении обучающих, какие сроки обучения, какое количество персонала обучается.

10. Благодарности и награды компании и ее сотрудников.

11. Участие в мероприятиях (выставки, конференции, круглые столы, презентации). Выяснение, в каких мероприятиях участвуют компании, их направленность, круг участников.

Конкурентная разведка в компьютерных сетях 12. Участие в организациях (союзы, ассоциации, конфедерации и т.п.) – информация о том, в каких объединениях участвует компания, как активно участвует, что получает от участия, на что рассчитывает, как использует.

Информация характеризуется качественными, количественными и ценностными показателями. К качественным характеристикам обычно относят: достоверность, объективность и однозначность информации. К количественным характеристикам – ее полноту (отсутствие невыясненных пробелов) и релевантность (степень соответствия существу поставленных вопросов и задач). Ценностными характеристиками являются стоимость и актуальность информации.

Деятельность конкурентной разведки основана на использовании только легитимных источников информации, которых вполне достаточно для принятия управленческих решений в сфере бизнеса, необходимо лишь провести некоторую информационно-аналитическую обработку имеющихся открытых данных. Среди таких источников информации можно назвать: данные статистики, материалы с веб-сайтов, социальных сетей, СМИ, отраслевых отчетов и т.д.

Многие службы конкурентной разведки не всегда могут отделить нелегитимную часть информации от легальной, а заказчик, как правило, интересуется конечными результатами, источники для него выступают лишь в качестве подтверждений, промежуточных данных. Вместе с тем, солидные заказчики сами заинтересованы в том, чтобы информация добывалась законными средствами, чтобы аналитический отчет был легален.

У конкурентной разведки в последние десятилетия появился и развился до невиданных ранее масштабов новый информационный источник – веб-пространство сети Интернет. Сегодня по оценкам экспертов Интернет по количеству информации находится на первом месте, опережая СМИ, отраслевые издания и получаемые от коллег новости, специальные обзоры, закрытые базы данных. При этом в открытых источниках и специализированных базах данных, доступных в Интернет, содержится большая часть информации, необходимой для проведения конкурентной разведки, однако остается открытым вопрос ее нахождения и эффективного использования. Последние исследования информационного веб-пространства показали, что доступный через традиционные информационнопоисковые системы триллион веб-страниц – это лишь «поверхностная видимая часть айсберга». Около 40 % всей информации в Интернете доступно бесплатно. Навигацию по данному информаИсточники информации ционному пространству обеспечивают более миллиона поисковых систем и каталогов, но и они охватывают лишь малую часть информационных ресурсов. Скрытых и невидимых (deep, invisible) ресурсов сети Интернет значительно больше – это, прежде всего динамически-генерируемые страницы, файлы разнообразных форматов, информация из многочисленных баз данных. К «скрытому» веб можно отнести и такие сети, как BitTorrent, DirectConnect, EMule, Napster и др.

Сегодня для конкурентной разведки основными источниками информации служат Интернет, пресса, а также открытые базы данных. Очень популярны среди специалистов по конкурентной разведке базы данных государственных и статистических органов, торгово-промышленных палат, органов приватизации и т.д. Большую пользу приносят и отдельные доступные базы данных других органов власти. В последнее время все более популярны базы данных на основе архивов СМИ, в том числе и сетевых. В России, например, большой популярностью пользуется крупнейшая архивная база данных СМИ службы «Интегрум» (integrum.ru), содержащая несколько сотен миллионов документов. С помощью другой российской базы данных «Лабиринт» (labyrinth.ru), составленной на основе публикаций ведущих бизнес-изданий, можно получить обширную информацию о конкретных персонах, организациях и компаниях.

Традиционно конкурентная разведка опирается на следующие источники информации, как опубликованные документы открытого доступа, которые содержат обзоры товарного рынка, информацию о новых технологиях, создании партнерств, слияниях и приобретениях, объявлениях о рабочих вакансиях, о выставках и конференциях, и т.п. Широко используются сведения, находящиеся в документах, уже имеющихся в компаниях, ведущих конкурентную разведку, результаты маркетинговых исследований, информация, полученная на конференциях, при общении с клиентами и коллегами. Большая часть этих данных попадает в сетевую прессу, прессрелизы или публикуются на корпоративных веб-сайтах.

Поэтому в последнее время большую популярность получают базы данных на основе архивов масс-медиа, в том числе (и преимущественно) сетевых.

Веб-пространство, основанное на физической инфраструктуре сети Интернет и протоколе передачи данных HTTP, объединяет Конкурентная разведка в компьютерных сетях сотни миллионов веб-серверов, подключенных к сети Интернет (рис. 26). В начале существования веб-пространства на небольшом количестве веб-сайтов публиковалась информация отдельных авторов для относительно большого количества посетителей. Сегодня ситуация резко изменилась, произошел переход к веб второго поколения. Сами посетители веб-сайтов активно участвуют в создании контента, что привело к резкому росту объемов информации и динамики веб.

Сегодня в веб уже существует свободно доступная для пользователей информационная база такого объема, который ранее трудно было представить. Более того, объемы этой базы превышают на порядки все то, что было доступно десятилетие назад. В августе 2005 года компания Yahoo! объявила о том, что проиндексировала около 20 млрд. документов. Достижение компании Google в году составляло менее 10 млрд. документов. Сегодня Google заиндексировала свыше триллиона веб-документов. По данным службы Netcraft Web Server Survey (news.netcraft.com), в настоящее время количество веб-серверов превышает 670 млн.

Рис. 26 – Динамика роста количества веб-серверов по логарифмической шкале (Netcraft, январь 2013 года) В открытых источниках и специализированных базах данных, доступных в веб-пространстве, содержится большая часть информации, необходимой для проведения аналитических исследований, однако остаются открытыми вопросы ее нахождения и эффективного использования. При использовании веб-пространства как мощнейшего источника информации, как уже было отмечено ранее, самыми существенными являются проблемы объема, навигаИсточники информации ции, наличия информационного шума и динамического характера информации в Интернет.

Возможности доступа к интернет-ресурсам, привлекающим своей открытостью, объемами и содержательной многогранностью, на первый взгляд кажутся безграничными. Однако важные события в различных областях свидетельствуют об обратном. Именно в кризисных ситуациях Интернет довольно часто подводит. Существует множество проблем – от перегруженности сетевой инфраструктуры – до вирусных атак, уязвимостей и отказов в обслуживании отдельных веб-серверов. Целый ряд проблем порожден также объемами, разнообразием представления и динамикой контентного сегмента информационного пространства.

Несмотря на такие качества, как открытость и доступность, существующую инфраструктуру веб-пространства нельзя признать надежной и достоверной. Назовем еще несколько проблем, присущих веб-пространству:

– не решена задача доступа пользователей к разнородным вебресурсам из «одного окна» для получения обобщенного представления потоков информации по необходимой тематике;

– не обеспечена возможность своевременного «напоминания»

и «проталкивания» профильной для пользователя информации, публикуемой на большом количестве веб-сайтов;

– достаточно большая вероятность отказа в обслуживании критически важных веб-ресурсов в самое необходимое время.

Известно, что сегодня существуют технологии интеграции контента, которые позволяют частично решать названные проблемы, обеспечивая эффективный поиск и навигацию в веб-пространстве, мониторинг и агрегацию открытых веб-ресурсов.

Для профессионального поиска в веб-пространстве и мониторинга информации используются специализированное программное обеспечение, информационно-поисковые системы и сервисы.

Приведем некоторые примеры программных продуктов:

Copernic Agent (www.copernic.com/en/products/agent) – программа, позволяющая проводить метапоиск, используя, как заявлено на веб-сайте компании, 1000 поисковых систем, объединять результаты, устранять дубликаты, блокировать нерабочие ссылки, показывать наиболее релевантные результаты (рис. 27).

Avalanche (www.tora-centre.ru) – семейство программных средств для веб-мониторинга. Технология Avalanche базируется на трех основных решениях: концепции «умных папок» (Smart Folders), автономном интеллектуальном поисковом роботе и встроенной базе данных («персональной энциклопедии»).

Конкурентная разведка в компьютерных сетях Рис. 27 – Фрагмент веб-сайта программы Copernic Agent Newprosoft Web Content Extractor (www.newprosoft.com) – программа сканирования и извлечения данных из веб-сайтов.

Portable Offline Browser от MetaProducts Corporation (www.portableofflinebrowser.com) – программа, позволяющая скачивать необходимые веб-сайты и мультимедиа-информацию, в том числе Flash-анимацию, скрипты и активное содержимое страниц.

Neiron Search Tools (neiron.ru/toolbar) – программная надстройка, объединяющая результаты информационно-поисковых систем Google и Яndex, которая позволяет осуществлять конкурентный анализ, базирующийся на оценке эффективности сайтов и контекстной рекламы.

WebSite-Watcher (www.aignes.com) – программа, позволяющая проводить мониторинг веб-сайтов, форумов, локальных файлов, обеспечивающая фильтрацию информации, а также удобную визуализацию результатов мониторинга.

В качестве сервисных решений можно назвать:

WatchThatPage (watchthatpage.com) – бесплатный сервис, позволяющий автоматически собирать новую информацию с вебресурсов, поставленных на мониторинг.

Diphur Monitor EveryThing (www.diphur.com) – бесплатный сервис мониторинга любых веб-сайтов, уведомляющий об их обновлении и доставляющий пользователям обновления.

Newspaper Map (newspapermap.com) – сервис, объединяющий геолокацию и информационно-поисковую систему по медиаИсточники информации ресурсам. При решении задач конкурентной разведки пользователь может выбрать интересующий его регион, язык, список онлайн версий газет и журналов, непосредственно выходить на документы.

Сервис поддерживает русский язык, имеет удобный интерфейс.

InfoStream (www.infostream.ua) – сервис контент-мониторинга веб-ресурсов России и Украины, предоставляющий доступ в поисковом режиме к информации из 6000 источников, классификацию информации, экстрагирование понятий (персон, компаний, топонимов), формирование сюжетных цепочек, оценку тональности сообщений, анализ динамики публикаций по определенным объектам.

Agregator.pro (agregator.pro) – агрегатор информации с новостных и медийных порталов. Может использоваться в конкурентной разведке для отслеживания интересующих объектов, получения частоты и контекста упоминания отслеживаемого объекта в СМИ, анализа динамики обращений по времени.

WebGround (webground.su) – агрегатор новостной информации из русскоязычного сегмента веб-пространства. Может использоваться в конкурентной разведке для отслеживания интересующих тематик, получения тематических сюжетов, ретроспективного анализа развития тематики во времени (рис. 28).

Рис. 28 – Фрагмент агрегатора новостей WebGround Конкурентная разведка в компьютерных сетях Последние исследования веб-пространства показали, что доступные через традиционные информационно-поисковые системы более триллиона веб-страниц – это лишь «поверхностная видимая часть айсберга».

Важной проблемой является поиск информации в «скрытом»

или «глубинном» веб-пространстве, где, как было замечено выше, содержится несравнимо большее количество данных, потенциально интересных для конкурентной разведки, чем в открытой части Интернета.

Это, прежде всего, динамические веб-страницы, информация из многочисленных баз данных, которые могут представлять большой интерес для аналитической работы. К разряду «скрытого» веб относятся и полнотекстовые информационные системы типа LexisNexis или Factiva.

К «скрытым» ресурсам сети Интернет можно отнести также пиринговые сети, такие как BitTorrent, EDonkey, EMule, Gnutella, Kazaa.

Как уже было отмечено ранее, необходимой (в том числе и для конкурентной разведки) информации в сети Интернет значительно больше, чем ее охватывают универсальные поисковые машины.

Предполагается, что в отличие от «познаваемой» части сети Интернет, «скрытая» часть оказалась в сотни раз более объемной.

Бизнес-аналитик часто сталкивается с ситуацией, когда ему известно о существовании в веб-пространстве какого-то документа, но не может найти его с помощью традиционных поисковиков, какими сегодня можно считать такие системы, как Goog-le, Yahoo!, Bing, Яндекс, Рамблер или Мета. Однако, вспомнив или найдя в закладках адрес (URL) этого документа, он без труда выходит на него. То есть в веб-пространстве этот документ есть, а найти его привычным способом нельзя. Пользователь столкнулся с невидимым (invisible) для поисковых систем ресурсом.

3.2.1. Что такое глубинный веб?

Совокупность источников в веб-пространстве, недоступных пользователям традиционных поисковых систем, образует так называемый «глубинный веб» – понятие, введенное Джиллом Иллсвортом (Jill Ellsworth) в 1994 г. Т.е. под глубинным веб (invisible web, deep web, hidden web) принято понимать ту часть веб-пространства, которая не индексируется роботами (web crawlers) поисковых систем. Используя аналогию, информация, будучи недоступной для поиска, находится «в глубине» (англ. – deep). При этом не стоит пуИсточники информации тать глубинный веб с ресурсами, вовсе недоступными из сети Интернет – это темный веб (dark web), и речь о нем здесь идти не будет. Некоторые ресурсы, доступ к которым открыт лишь для зарегистрированных пользователей, также относятся к глубинному веб.

В 2000 году американская компания BrightPlanet (www.brightplanet.com) опубликовала сенсационный доклад, в котором утверждается, что в веб-пространстве в сотни раз больше страниц, чем их удалось проиндексировать самыми популярными на то время поисковыми системами. Компания разработала программу LexiBot, которая позволяет сканировать некоторые динамические веб-страницы, формируемые из баз данных, и, запустив ее, получила неожиданные данные. Выяснилось, что в глубинном веб находится в 500 раз больше документов, чем доступно через поисковые системы. Конечно, эти цифры неточны. Кроме того, стало известно, что средняя страница глубинного веб на 27 % компактней средней страницы из видимой части веб-пространства.

Сегодня ситуация изменилась, например, ведущие поисковые системы могут индексировать документы, представленные в форматах, содержащих текст. Конечно, это, прежде всего, pdf, rtf и doc.

В 2006 году Google запатентовала способ поиска в глубинном веб:

«Searching through content which is accessible through web-based forms» (рис. 29). По мнению разных авторов к видимому веб относится лишь 20–30 % веб-пространства.

Рис. 29 – Фрагмент веб-ресурса WIPO с описанием патента Google Конкурентная разведка в компьютерных сетях 3.2.2. Причины возникновения В глубинном веб находятся веб-ресурсы, не связанные с остальными ресурсами гиперссылками – например, страницы, динамически создаваемые по запросам к базам данных, документы из баз данных, доступные пользователям через поисковые веб-формы (но не по гиперссылкам). Такие документы остаются недоступными для робота, неспособного в режиме реального времени правильно заполнить поля формы значениями (формировать запросы к базам данных).

Вот что говорится о глубинном веб в книге [Price, 2001]:

«Большинство страниц невидимого Интернета могут быть проиндексированы технически, но не индексируются, потому что поисковые системы решили их не индексировать… Большинство «невидимых» сайтов имеют высококачественный контент. Просто эти ресурсы не могут быть найдены с помощью поисковых машин общего назначения… … Некоторые сайты используют технологию баз данных, что действительно сложно для поисковой машины. Другие сайты, однако, используют сочетание файлов, которые содержат текст и мультимедиа, а поэтому часть из них может быть проиндексирована, а часть – нет.

… Некоторые сайты могут быть проиндексированы поисковыми машинами, но это не делается потому, что поисковые машины считают это непрактичным – например, по причине стоимости или потому, что данные настолько короткоживущие, что индексировать их просто бессмысленно – например, прогноз погоды, точное время прибытия конкретного самолета, совершившего посадку в аэропорту и т.п.»

Основные ограничения, связанные с роботами поисковых машин можно объяснить следующими основными причинами: для публичных поисковых служб важнее обеспечить точность поиска, чем полноту, важнее обеспечить получение ответа на запрос в приемлемое время, чем точность. Отсюда – ограничения на глубину сканирования веб-ресурсов, попытки «фильтрации» контента по содержанию, отсеивание страниц, содержащих излишние выходные гиперссылки и т.п. При этом часто с водой выплескивается и ребенок. Общепризнано, что ценность ресурсов глубинного веб зачастую выше ценности ресурсов видимой части веб-пространства.

Можно упомянуть еще один источник пополнения глубинного веб – владельцы сознательно не хотят, чтобы их веб-ресурсы находили с помощью поисковых систем. Чаще всего такие веб-ресурсы представляют нечто не совсем законное, хакерские форумы, архивы неавторизованного контента и т.п. Понятно, что многие из таких ресурсов очень интересны для изучения бизнес-аналитиками.

Многие компании сначала подключаются к общей Сети, и лишь потом тратят большие средства на защиту. Владельцы сайтов могут попытаться запретить индексацию тех или иных страниц своих ресурсов, прописав запрещающую команду в файле robots.txt, но поисковые системы могут ее проигнорировать. Поэтому такие ресурсы либо удаляют, либо удаляют гиперссылки, переводя ресурсы в глубинный веб. Например, недавно бизнес-каталоги когда Auto.ru и Drom.ru отказались отдавать свои объявления «Яндексу», т.е. защищая свои информационные активы компании перевели свои ресурсы в глубинный веб.

3.2.3. Виды ресурсов глубинного веб Существует несколько типов ресурсов глубинного веб, например, как было отмечено выше, это могут быть быстро устаревающие веб-страницы. Кроме того, к глубинному веб относятся вебресурсы, представляющие собой мультимедийную информацию.

Как известно, в данное время еще не существует удовлетворительных алгоритмов поиска не текстовой информации. Динамически генерируемые по запросу страницы также часто попадают в глубинный веб. Зачастую без запроса таких страниц не существует, они генерируются при запросе к базам данных. Получается, что информация вроде бы и присутствует в веб-пространстве, но возникает она лишь в момент обработки запроса, а универсального алгоритма заполнения их роботами поисковых форм не существует.

И, наконец, если на веб-ресурс не ведут никакие ссылки, то роботы поисковых систем никаким образом не могут узнать об его существовании.

Основатель компании BrightPlanet Майкл Бергман (Michael K.

Bergman) смог выделить 12 разновидностей глубинных вебресурсов, относящихся к классу онлайновых баз данных. В списке оказались как традиционные базы данных (патенты, медицина и финансы), так и публичные ресурсы – объявления о поиске работы, чаты, библиотеки, справочники. Бергман причислил к глубинным ресурсам и специализированные поисковые системы, которые обслуживают определенные отрасли или рынки, базы данных которых не включаются в глобальные каталоги традиционных поисковых служб.

Конкурентная разведка в компьютерных сетях К глубинному веб также относятся многочисленные системы интерактивного взаимодействия с пользователями – помощи, консультирования, обучения, требующие участия людей для формирования динамических ответов от серверов. К ним также можно отнести и закрытую (полностью или частично) информацию, доступную, пользователям Сети только с определенных адресов, групп адресов, иногда городов или стран. К «скрытой» части Сети многие причисляют и веб-страницы, зарегистрированные на бесплатных серверах, которые индексируются, в лучшем случае, лишь частично – поисковые системы во избежание рекламного спама не стремятся обходить их в полном объеме.

К глубинному веб также относится категория так называемых «серых» сайтов, функционирующих на основе динамических систем управления контентом (Dynamic Content Management Systems).

В поисковых системах обычно ограничивается глубина индексирования таких сайтов во избежание возможного циклического просмотра одних и тех же страниц.

3.2.4. Примеры ресурсов глубинного веб Как же найти веб-ресурсы, размещенные в глубинном веб? Если ресурсы требуют заполнения специальных форм, дополненных, например, капчами, то необходимо выйти на базу данных, предположительно содержащую необходимые документы. Найти базы данных – источники скрытого веб можно с помощью обычных поисковых систем, обобщив запрос и введя уточняющие слова, такие как «база данных», «банк данных», «database» и т.п.

Приведем общеизвестный пример: пользователю требуется статистика по катастрофам самолетов в Аргентине. Естественный запрос к традиционной поисковой системе выдает огромный список газетных заголовков. На запрос «aviation database», можно сразу выйти на базу данных NTSB Aviation Accident Database (www.ntsb.gov/ntsb/query.asp).

Для поиска в глубинном веб, а именно в том его сегменте, который составляют базы данных, сегодня уже существуют некоторые специализированные ресурсы. Лидером среди навигаторов в глубинном веб является сайт CompletePlanet (www.completeplanet.com) компании BrightPlanet. Этот сайт является крупнейшим каталогом, насчитывающим свыше 100 тысяч ссылок. Компания BrightPlanet также создала персональную утилиту для поиска в онлайновых базах данных LexiBot, которая может обеспечивать поиск в нескольких тысячах поисковых систем «глубинного» веб. МетапоисИсточники информации ковый пакет DeepQueryManager (DQM) этой же компании обеспечивает поиск более чем по 70 тысячам «скрытым» веб-ресурсам.

Исследование, проведенное еще в 2006 г. [He, 2007] показало, что глубинный веб охватывает более 300 тыс. сайтов, связанных с более 450 тыс. базами данных, не охватываемых традиционными поисковыми системами. К наиболее интересным для бизнесаналитиков ресурсам глубинного веб относятся: базы данных юридических и физических лиц; отраслевые базы данных; репутационные базы данных (черные и белые списки); криминологические базы данных; базы данных товаров и услуг; каталоги продукции и т.п. К всемирно известным бизнес-ресурсам, размещенным в глубинном веб, относятся: amazon.com, ebay.com, realtor.com, cars.com, imdb.com.

Приведем еще несколько примеров баз данных и каталогов глубинного веб:

FindLaw (www.findlaw.com) – один из наиболее популярных в мире юридических веб-сайтов – огромный каталог правовых ресурсов, содержащий аннотированный список свободно доступных баз данных нормативно-правовых документов, для которых данный ресурс является «точкой входа». Фрагмент веб-сайта сервиса FindLaw приведен на рис. 30.

Рис. 30 – Фрагмент веб-сайта сервиса FindLaw About.com (www.about.com) – портал, охватывающий тысячи, снабженных комментариями, ссылок на веб-ресурсы, в том числе и Конкурентная разведка в компьютерных сетях на ресурсы глубинного веб (имеется ссылка «Invisible Web»). На портале предоставляется возможность поиска в каталоге. Ресурс также включает несколько статей по проблематике глубинного веб:

«What is the Invisible Web?», «Finding the Invisible Web», «Top Places to Search the Invisible Web» и др.

Politicalinformation.com (www.politicalinformation. com) – сервис, обеспечивающий оперативный поиск в 5000 отобранных веб-сайтах политической направленности, предоставление новостей из нескольких десятков авторитетных источников.

Infomine (infomine.ucr.edu) – сервис обеспечивает добычу информации из баз данных, электронных журналов (блогов), электронных досок объявлений, электронных книг, списков рассылок, электронных каталогов и т.п., преимущественно познавательнообразовательного характера. Обеспечивает как общий поиск, так и поиск по тематическим категориям.

Особенность большинства «скрытых» ресурсов заключается в их узкой специализации. Для поиска в них используются те же механизмы, что и для «поверхностного» веб, однако, в большинстве случаев, роботы поисковых систем для глубинного веб включают уникальные для каждого такого ресурса модули доступа к данным.

Традиционная поисковая система чаще всего может выдать адрес базы данных, но не скажет, какие документы конкретно содержаться в ней. Типичный пример – информационно-поисковые системы по украинскому (zakon.rada.gov.ua) или российскому законодательству (www.kodeks.ru). Тысячи документов из баз данных становятся доступны только после входа в систему, а роботы стандартных поисковых систем не в состоянии заиндексировать контент баз данных.

Парадоксально, но в качестве одного из ресурсов глубинного веб можно рассматривать и архив ресурсов открытого веб-пространства. Такой архив – Internet Archive с 1996 года создает компания Alexa (www.archive.org). Сегодня объем базы данных Alexa превышает 350 млрд. веб-страниц (рис. 31).

Технология хранилища Alexa включает ряд современных средств управления гигантским документальным хранилищем.

Например, с помощью технологии Alexa выполняется кластеризация веб-ресурсов, т.е. формирование коллекций документов, близких по тематикам. Особый интерес у пользователей сервиса Alexa вызывает «Машина времени» (Wayback Machine), открывающая доступ к временным срезам веб-пространства. Одно из наиболее интересных практических применений этой технологии – восстановление документов, некогда опубликованных в веб-пространстве, но впоследствии удаленных. При этом рост глубинного веб грозит серьезными проблемами полноты в хранилище системы, связанными с увеличивающимся количеством сайтов, эксплуатирующих различные технологии управления контентом, динамической публикацией документов из баз данных и т.п.

Рис. 31 – Заглавная страница веб-сайта www.archive.org 3.2.5. Сервисы работы с глубинным веб Традиционные поисковые системы стремятся сузить пространство глубинного веб, постепенно захватывая такие ниши, как блоги, научные сайты, информационные агентства. Так, в качестве вспомогательных сервисов для поиска по глубинному веб от Google можно рекомендовать: Google Book Search (books.google.com) – поиск книг, Google Scholar (scholar.google.com) – поиск научных публикаций, Google Code Search (code.google.com) – поиск программного кода.

Система Goldfire Research от компании Invention Machine Corp.

(inventionmachine.com) позволяет обрабатывать контент глубинного веб, размещенный на более чем 2000 сайтов правительственных, академических, исследовательских и коммерческих организаций США. Система Goldfire Research обладает информацией о механизмах доступа к базах данных глубинного веб и автоматически генерирует запросы к ним.

Исследовательская поисковая система Infovell из Калифорнийского университета Беркли (www.infovell.com) позволяет искать в глубинном веб по «ключевым фразам», от параграфов до целых документов, или даже наборам документов общим объемом до тысяч слов. Система Infovell не зависит от языка, пользователи моКонкурентная разведка в компьютерных сетях гут искать страницы на английском, арабском, китайском языках или же вводить в строке поиска математические уравнения, химические формулы.

Российская компания «Р-Техно» создала систему «it2b.интернетошпионопаук 3000+», предназначенную для выгрузки данных из невидимого сегмента сети Интернет. На основе этой системы построен поисковый сервис Web Insight (www.r-techno.com/ rtechno/online-services/webinsight), обеспечивающий поиск по официальным сайтам и базам данных России и ближнего зарубежья, а именно, по документам Федеральной налоговой службы (ФНС), Федеральной службы судебных приставов (ФССП), Пенсионного фонда, Федеральной антимонопольной службы (ФАС), Трудовой инспекции, Федеральной регистрационной службы (ФРС), Министерства Российской Федерации по делам гражданской обороны, чрезвычайным ситуациям и ликвидации последствий стихийных бедствий (МЧС), Арбитражного суда, Министерства внутренних дел (МВД), Федеральной службы безопасности (ФСБ). Известны также такие базы данных службы «Р-Техно», как «Розыск Интерпола»;

«Компании США, уличенные в мошенничестве»; «Недобросовестные поставщики ФАС», «Должники металлургической отрасли» и т.п.

Существующие средства анализа и продвижения веб-ресурсов позволяют по-новому подойти к оценке соотношения объемов видимого и глубинного веб. Так на веб-сайте www.cy-pr.com приводится информация о реальном количестве документов на исследуемом веб-сайте, представленном в RUNet, и о количестве документов, заиндексированных различными поисковыми системами, в том числе, Google и Яндекс. Получив репрезентабельную выборку по сайтам, например, по рейтингу Рамблера top100 (top100.

rambler.ru), можно получить оценку соотношения видимой и глубинной части в RUNet-сегменте веб-пространства.

Как показывают расчеты, объем информации, оказавшейся в глубинной части веб-пространства, превышает объем информации из видимой части примерно в 3-5 раз. Оказывается, за редким исключением, что чем крупнее ресурс, тем большая его часть относится к глубинному веб. В этом смысле небольшие веб-ресурсы выигрывают в доступности. Так как большая доля новостных документов оказывается в глубинном веб, то для задач бизнес-аналитики требуются специальные сервисы доступа к такой информации. Именно такой сервис предоставляют службы интеграции новостного контента – архивы сетевых СМИ. Российские и украинские бизнес-аналитики активно используют крупнейшие архивы информации из открытых источников «Интегрум» (integrum.ru) и InfoStream (www.infostream.ua). Именно использование открытых источников позволяет конкурентной разведке действовать в рамках правового поля, но, при этом, иметь высокую эффективность.

Можно констатировать, что чем быстрее растет веб-пространство, тем хуже оно охватывается традиционными каталогами и поисковым машинам. Из-за роста количества веб-сайтов и порталов, использующих базы данных, динамических систем управления контентом, появления новых версий форматов представления информации глубинный веб растет очень интенсивно. С одной стороны, Интернет как огромное хранилище увеличивает объем информации, доступной «в принципе», но с другой стороны – растет информационный хаос, увеличивается энтропия сетевого информационного пространства. Все меньшая часть информационных ресурсов становится доступной пользователям реально.

Ведущие поисковые системы по-прежнему пытаются найти технические возможности для индексации содержимого баз данных и доступа к закрытым веб-сайтам, однако, их задачи объективно расходятся с задачами бизенс-аналитиков – ориентация традиционных поисковых служб на массовый сервис в данном случае оправдана. Таким образом, ниша для систем поиска в глубинном веб становится все шире.

3.3. Специальные базы данных Как правило, для успешного ведения конкурентной разведки должен быть создан и поддерживаться банк данных, включающий следующие основные базы данных [Ландэ, 2005]:

1. Конкуренты (действующие и потенциальные);

2. Информация о рынке (тенденции, номенклатурная, ценовая, адресная информация);

3. Технологии (продукты, выставки, конференции, ГОСТы, качество);

4. Ресурсы (сырье, человеческие и информационные ресурсы);

5. Законодательство (международные, центральные, региональные и ведомственные нормативно-правовые акты);

6. Общие тенденции (политика, экономика, региональные особенности, социология, демография).

Сегодня для конкурентной разведки основными источниками информации служат Интернет, пресса, а также открытые базы данных. Но если доступ к обычным интернет-ресурсам можно считать условно бесплатным, то, в большинстве случаев, доступ к базам Конкурентная разведка в компьютерных сетях данным требует не только регистрации, но и оплаты таких услуг.

Кроме того практически все они могут быть отнесены к так называемому «скрытому» веб-пространству.

Очень популярны среди специалистов по конкурентной разведке базы данных таможенных, налоговых и статистических органов, органов юстиции и судов, торгово-промышленных палат, органов приватизации и фондовых рынков, информационных, рейтинговых, аналитических и других агентств и т.д. Большую пользу приносят и отдельные доступные базы данных других контролирующих органов и организаций.

Традиционно конкурентная разведка опирается на такие источники информации, как опубликованные документы открытого доступа, которые содержат обзоры товарного рынка, информацию о новых технологиях, создании партнерств, слияниях и приобретениях, объявлениях о рабочих вакансиях, о выставках и конференциях, и т.п. Поэтому в последнее время все более популярны базы данных на основе архивов СМИ, в том числе и сетевых.

В «Большую тройку» мировых служб, занимающихся предоставлением пользователям доступа к деловой и аналитической информации, входят LexisNexis, Factiva и Internet Securities.

Крупнейшая в мире полнотекстовая онлайновая информационная система LexisNexis (www.lexisnexis.com), которая содержит свыше 2 миллиардов документов из 45 тыс. источников с архивом глубиной более 30 лет по бизнес-информации и более 200 лет по правовой информации, относится к разряду «скрытого» веб (рис.

32). Каждую неделю в архивы добавляется еще 14 млн. документов.

В отличие от неструктурированных массивов «поверхностного»

веб, пользователи LexisNexis могут использовать мощные инструменты поиска для получения достоверной и классифицированной информации.

Служба Factiva (global.factiva.com), подразделение компании Dow Jones, в настоящее время принадлежит компании News Corporation, занимается предоставлением доступа к деловой и аналитической информации. В основе службы Factiva имеется более тыс. первичных источников из 159 стран мира. В базе данных Factiva содержатся материалы более чем по 36,5 млн. компаний, а также полная подборка информации Investext.

Компания Internet Securities (www.internetsec.com), бренд ISI Emerging Markets, охватывает 80 тематических информационных разделов, формируемых из 16 тыс. источников информации – тексты статей, финансовые и аналитические отчеты, корпоративная информация, макроэкономическая статистика, данные по рынИсточники информации кам (рис. 33). Основные продукты ISI Emerging Markets: CEIC Data, Emerging Market Information Service (EMIS), Islamic Finance Information Service (IFIS), IntelliNews, ISI Compliance Edition, ISI DealWatch.

Рис. 32 – Фрагмент веб-сайта службы LexisNexis Рис. 33 – Фрагмент веб-сайта службы Internet Securities Конкурентная разведка в компьютерных сетях В России большой популярностью пользуются такие крупнейшие службы, как «Интегрум» (более 10 тыс. источников, сервисы «Анализ СМИ», «Архив СМИ», «Лента СМИ», БД «Компании», «Связи»), «Медиология» (13 тыс. источников: СМИ, телевидение, радио, газеты, журналы, информагентства, интернет, блоги, база данных из 30 тыс. объектов: компаний, персон и брендов), «Яндекс.Новости» (служба автоматической обработки и систематизации новостей, свыше 4000 источников, не допускается участие в работе службы материалов, содержащих сообщения неновостного характера), Public.Ru – крупная онлайн библиотека русскоязычных СМИ. С 2000 года Public.Ru создает свою базу данных, которая хранит архивные материалы российских изданий с 1990 года. В архивах базы данных доступно более 70 млн. статей русскоязычных СМИ собранных из 4600 источников. Основные виды источников содержащихся в базе данных: федеральные издания; региональные издания; информационные агентства; телеканалы; радиостанции; интернет-издания.

В Украине эту нишу занимает система контент-мониторинга интернет-СМИ InfoStream (свыше 6 тыс. источников информации, более 100 миллионов документов в архиве).

Украинская корпорация «Медіа-простір» (550 источников информации, 25 региональных информационных бюро), которая осуществляет анализ информационного пространства Украины, обеспечивает предоставление медиа-обзоров. Систематизация информационных сообщений происходит по четырем объектам привязки: предметные сферы; политические субъекты; личности; территории.

Информационно-мониторинговая система Wев-Observer в «базовой комплектации» охватывает 500 источников. Система внедрена в информационном агентстве УНИАН, на ней базируется сервис «УНИАН-монитор».

Украинская система интернет-мониторинга MonitorIX обеспечивает мониторинг интернет-источников (как сетевая информационно-поисковая система), СМИ (130 изданий), ТВ, блогов и форумов. Предоставляет клиентам результаты оперативного и архивного мониторинга.

Приведем еще один пример зарубежной базы данных из «скрытого» веб. Корпорация LexisNexis предоставляет сервис Auto TrackXP, вошедший в список двадцати крупнейших «скрытых»

веб-сайтов мира (по рейтингу BrightPlanet). Auto TrackXP представляет собой базу данных объемом 30 Терабайт (TБ), охватывающую практически все аспекты гражданской жизни США. База данных Auto TrackXP содержит информацию практически о каждом гражданине США. TestProfiles.com – часть ChoicePoint Online – содержит личные характеристики и сведения о компетентности граждан США. Например, чтобы определить, не завладел ли человек чужими документами, на основе системы организован платный сервис ProCheck, позволяющий сопоставить информацию из различных источников и государственных каталогов. Для частных любителей составления «досье» ChoicePoint предлагает более скромный, но не менее любопытный набор сервисов (www.choicetrust.com). Подозрительные пациенты с помощью Doctor Check имеют возможность самостоятельно выбрать или проверить квалификацию врачей различных специализаций. Отчет, получаемый с помощью системы, может, например, служить для страховой компании поводом в отказе выдачи полиса.

Система широко используется как легальный ресурс для задач конкурентной разведки. Вместе с тем, сегодня американцы повсеместно выражают возмущение, обнаруживая существование подобных сервисов, видя в этом нарушение своих гражданских прав.

Сервис Insight Profiles (www.insightprofiles.com) – содержит личные характеристики и сведения о способностях и компетентности граждан США. Например, чтобы определить, не завладел ли человек чужими документами, организован платный сервис ProCheck (procheck.com), позволяющий сопоставить информацию из различных источников и государственных каталогов.

В России и Украине популярны такие базы данных, как:

«Лабиринт» (www.labyrinth.ru) – база данных, составленная на основе публикаций ведущих бизнес-изданий, предназначена для помощи при выполнении аналитических и исследовательских работ, написании статей, комментариев, докладных записок, пр. В БД представлены биографии российских деятелей, справки об организациях и компаниях, информация о субъектах Российской Федерации и другой справочный материал;

«Компасс» (www.kompass.com/ru) – база данных, позиционирующая себя как международную информационную В2В (типа «бизнес для бизнеса») поисковую систему, обеспечивает поиск по компаниям, товарам и услугам, руководителям с целью формирования баз данных целевого маркетинга и сбыта, потенциальных клиентов;

«КАРЕ» (kare.pulscen.com.ua) – БД предприятий Украины – 384000 компаний, БД агропромышленного комплекса Украины – 218000 компаний;

Конкурентная разведка в компьютерных сетях База данных Dun & Bradstreet (D&B). Национальные представительства D&B в Украине – это компания «Бизнес-мониторинг», которая входит в состав группы компаний «Авеста-Украина»

и представляют направление деловой информации. Компания обеспечивает подключение к Системе Профессионального Анализа Рынков и Компаний (СПАРК-Россия) и к базе данных Dun & Bradstreet (D&B). В России подключение к этой базе данных обеспечивает информационное агентство Интерфакс (www.dnb.ru);

Базы данных международной корпорации Creditreform, представленной в России компанией «Кредитреформ РУС» (www.creditreform-rus.ru), а в Украине информационным агентством «Кредітреформ Україна» (www.creditreform.ua). Компании обеспечивают доступ к международной сети содействия информационному бизнесу BIGNet (Business Information Group Network). Эта сеть объединяет независимые организации, которые предоставляют бизнессправки по всему миру в режиме онлайн (свыше 8 млн. в год), а также доступ к базе данных BIGNet, а также к собственной базе данных (www.crefoport.ru), содержащей данные о 30 млн. компаний.

Europages (www.europages.eu) – Европейская бизнес-директория – информационно-поисковая B2B-система, охватывающая свыше 2 млн. поставщиков, производителей и дистрибьюторов в Европе и во всем мире.

Задача полного перечисления всех источников информации практически невыполнима, так как этот рынок очень динамичен, постоянно появляются новые базы данных, происходит слияние существующих источников, поглощение слабых сильными. Вместе с тем, одно из правил конкурентной разведки формулируется таким образом: «чем большим количеством независимых источников подтверждается информация – тем более она достоверна».

Наряду с базами данных, одним из самых эффективных источников информации могут служить отчеты и справки аутсорсинговых компаний, профессионально занимающихся конкурентной разведкой и сбором сведений о коммерческих структурах и рынках.

Их продукция, на самом деле, и является результатом конкурентной разведки.

В мире существует множество таких специальных компаний.

Одной из таких крупнейших компаний, которой принадлежит около 80 % западного рынка, является американская компания, Dun & Bradstreet (D&B), чья база данных упоминалась нами выше.

Справка по любой компании в этой службе оценивается из расчета в среднем 100 долларов и выше. Более серьезный анализ рынка или конкурента может обойтись и в 10 тыс. долларов. Сроки исполИсточники информации нения – от нескольких часов (информация присутствует в базе данных) – до нескольких суток для справок и до нескольких месяцев для аналитической работы.

На европейском рынке не менее известны названная выше ирландская компания Creditreform, немецкая Schufa Holding AG (479 млн. документов в БД, в том числе, 66 млн. о физических лицах), австрийская Intercredit Infromation Holding, латвийская Coface IGK (известна IGK System – база данных должников, включающая сведения о текущих долгах, судебных исках, а также процессах неплатежеспособности) и многие другие. Некоторые из этих компаний совмещают функции конкурентной разведки с другими видами деятельности, например, обязанностями кредитных бюро.

Общей проблемой при обращении за информационными справками в западные агентства, имеющие представительства в России и Украине, является то, что, как правило, информация, предоставляемая в отношении западных нерезидентов, намного обширнее и качественнее, чем та, что предоставляется в отношении отечественных фирм. В связи с чем, в таких случаях целесообразно обращаться к местным информационным компаниям, результаты оказываются дешевле и качественнее.

На российском рынке в сфере конкурентной разведки пользуются популярностью информационные отчеты компаний «Р-Техно», «Медиология», «Специальная Информационная Служба», «Интегрум», «Кронос-Информ» и многих других.

В Украине также существует целый ряд подобных компаний, среди которых можно назвать «Авеста-Украина», «СИДКОН», Межбанковская служба безопасности «СКИФ» и другие.

Все отечественные и зарубежные информационные компании имеют свои представительства и принимают заказы в Интернете, в связи с чем их можно отнести к специфическим интернет-источникам.

Следует также отметить, что, несмотря на то, что в случае заказа услуг аутсорсинговой компании, она делает большую часть информационной работы за клиента, окончательные выводы и решения, рекомендации для принятия управленческих решений всетаки остаются за ним. Только клиент может обладать всей необходимой полнотой внешней и инсайдерской информации.

Социальные медиа представляют собой совокупность онлайнсервисов и интернет-приложений, которые позволяют пользоватеКонкурентная разведка в компьютерных сетях лям общаться друг с другом в том числе, и в режиме реального времени. При этом пользователи могут обмениваться между собой мнениями, новостями, информацией, в том числе и мультимедийной.

Социальные медиа базируются на идеологической и технологической базе веб 2.0, позволяющих создание и обмен контентом, созданным самими пользователями (User-Generated Content), в отличие от предшествующей концепции веба, предполагающей, как и в случае традиционных СМИ, централизованное создание контента, поставляемого пользователям-читателям.

Очевидно, социальные медиа являются самым ценным источником информации для конкурентной разведки, предоставляя абсолютно на легальных условиях разностороннюю информацию о людях, событиях, компаниях, брендах, продуктах. Получившие в последнее время широкое распространение такие явления, как информационные операции, активное информационное противодействие в рамках конкурентной борьбы, сетевая мобилизация, во многих случаях базируется на манипулировании данными именно в социальных медиа.

Выделяют семь разновидностей социальных медиа, это социальные сети; блоги; форумы; сайты отзывов; серверы фото- и видеохостинга; виртуальные службы знакомств и геосоциальные сети.

Следует отметить, что четкие границы между этими разновидностями размыты.

Под социальной сетью в сети Интернет (social networking service) понимается онлайн-сервис, предназначенный для построения, отображения и организации социальных взаимоотношений, обеспечивающий предоставление широкого спектра возможностей для обмена информацией, возможность пользователя предоставить информацию о самом себе (создать свой профиль), построить связи, найти друзей по интересам, подключить родственников, коллег, одноклассников и т. п.

Под блогом (blog, от web log) понимают веб-сайт, основное содержание которого – это периодически добавляемые пользователями записи (текст, изображения или мультимедиа). Для блогов характерны недлинные записи (особенно, в случаях так называемых «микроблогов») временной значимости, блоги обычно публичны и предполагают сторонних читателей, которые могут вступить в публичную полемику с автором (в комментарии к блогозаписи или своих блогах). Совокупность всех блогов в сети Интернет называют блогосферой.

Веб-форумы представляют собой веб-приложения, предназначенные для организации общения посетителей некоторых интернет-ресурсов (веб-сайтов или порталов). На ресурсах веб-форума пользователи задают интересующие их темы, которые затем обсуждаются и другими пользователями путем размещения сообщений (постинга) внутри этих тем.

Веб-сайты отзывов создаются с целью повышения эффективности и качества предоставляемых (не обязательно в интернет-среде) услуг и товаров. Пользователи, посещая веб-сайты отзывов, оставляют там свои сообщения, участвуют в анкетированиях, формируют мнения о той или иной услуге или товаре.

Фотохостинг (photo hosting) – это веб-сайт, позволяющий публиковать любые изображения (чаще всего, цифровые фотографии) в сети Интернет. Основное преимущество фотохостинга – удобство демонстрации размещенных фотографий. Соответственно, видеохостинг – это веб-сайт, позволяющий загружать и просматривать видеоинформацию в веб-браузере. Видеохостинг набирает популярность в связи с развитием широкополосного доступа в Интернет.

Виртуальная служба знакомств представляет собой интернетсервис, оказывающий услуги по виртуальному знакомству пользователей с целями общения, создания семьи, серьезных отношений и др. При использовании виртуальной службы знакомств пользователь создает анкету, в которой указывает свой псевдоним (никнейм) и другие параметры, запрашиваемые службой (пол, возраст, цель знакомства, интересы, фотографии). После регистрации пользователь может общаться с другими пользователями, получать сообщения и отвечать на них.

Геосоциальные сети (GeoSocial Network) – это разновидность социальных сетей, в которых пользователи оставляют данные о своем местонахождении, что позволяет объединять и координировать их действия на основании информации о том, какие люди присутствуют в тех или иных местах, какие события происходят в этих местах.

Термин «социальная сеть» обозначает сосредоточение социальных объектов, которые можно рассматривать как сеть (или граф), узлы которой – объекты, а связи – социальные отношения. Этот термин был введен в 1954 году социологом из «Манчестерской школы» Дж. Барнсом (J. Barnes) в работе «Классы и сборы в норвежском островном приходе». Во второй половине XX столетия понятие «социальная сеть» стало популярным у западных исследователей, при этом как узлы социальных сетей стали рассматривать не только представителей социума, но и другие объекты, которым присущий социальные связи. Сегодня термин «социальная сеть»

обозначает понятие, оказавшееся шире своего социального аспекта, оно включает, например, многие информационные сети, в том числе и WWW. Рассматривают не только статистические, но и динамические сети, для понимания структуры которых необходим учет принципов их эволюции.

Сегодня под термином «социальные сети» (Social Networks) понимают, прежде всего, онлайн-сервисы в сети Интернет, предназначенные для формирования, отображения и упорядочения социальных взаимоотношений. Особенности социальных сетей:

1) предоставление пользователям широкого спектра возможностей для обмена информацией;

2) создание профилей пользователей, в которых требуется указать некоторое количество персональной информации;

3) друзьями в социальной сети становятся преимущественно не виртуальные, а реальные друзья.

Веб-ресурс социальной сети предоставляет возможности:

1) активного общения;

2) создания публичного или закрытого профиля (Profile) пользователя, содержащего персональные данные;

3) организации и ведения пользователем списка других пользователей, с которыми у него имеются некоторые социальные отношения;

4) просмотра связей между пользователями внутри социальной сети;

5) образования групп пользователей по интересам;

6) управления содержимым в рамках своего профиля;

7) синдикации контента;

8) подключения различных приложений.

В последнее время выделилось отдельное научное направление – анализ социальных сетей (SNA, Social Networks Analysis), которое базируется, с одной стороны, на социологии, а с другой – на теории сложных сетей (Complex Networks) [Newman, 2003]. В рамках теории сложных сетей изучаются сетевые характеристики не только с точки зрения топологии сетей, но и статистические феномены, распределение весов отдельных узлов и ребер, эффекты протекания и проводимости. Несмотря на то, что в рассмотрение теории сложных сетей попадают различные сети (электрические, транспортные, информационные), наибольший вклад в развитие этой теории внесли исследования социальных сетей [Ландэ и др., 2009] В теории сложных сетей выделяют три основных направления:

– исследование статистических свойств, которые характеризуют поведение сетей;

– создание моделей сетей;

– предсказание поведения сетей при изменении структурных свойств.

В прикладных исследованиях чаще всего применяются такие типичные для сетевого анализа характеристики, как размер сети, сетевая плотность, степень центральности и т. п.

При анализе сложных сетей, как и в теории графов, исследуются:

– параметры отдельных узлов;

– параметры сети в целом;

– сетевые подструктуры.

Для отдельных узлов выделяют следующие параметры:

– входная степень узла – количество ребер графа, которые входят в узел;

– выходная степень узла – количество ребер графа, которые выходят из узла;

– расстояние от данного узла до каждого из других;

– среднее расстояние от данного узла до других;

– эксцентричность (eccentricity) – наибольшее из геодезических расстояний (минимальных расстояний между узлами) от данного узла к другим;

– посредничество (betweenness), показывающее, сколько кратчайших путей проходит через данный узел;

– центральность – общее количество связей данного узла по отношению к другим.

Конкурентная разведка в компьютерных сетях Для анализа сети в целом используют такие параметры, как:

– число узлов;

– число ребер;

– геодезическое расстояние между узлами;

– среднее расстояние от одного узла к другим;

– плотность – отношение количества ребер в сети к возможному максимальному количеству ребер при данном количестве узлов;

– количество симметричных, транзитивных и циклических триад;

– диаметр сети – наибольшее геодезическое расстояние в сети и т.д.

Существует несколько актуальных задач математического исследования социальных сетей, среди которых можно выделить следующие основные: