Конкурентная разведка и сбор информации


Вся информация предоставлена исключительно в ознакомительных целях. Соблюдайте законодательство РФ.


Сбор информации с сайтов

С сайта можно получить информацию о рабочих часах компании, узнать имена сотрудников и контактную информацию. Также можно выяснить структуру сайта и используемые технологии (платформу/движки, версию ПО и тип ОС), просмотреть исходные коды страниц и скриптов, пути, имена полей в БД или запросе.

Источник информации Полученные сведения
Официальные сайты организаций часы работы, контактная информация,
конфиденциальная информация, ПДн, тип и
версия ПО, учетные данные
Онлайн-карты местоположение, контактная информация,
системы безопасности
Социальные сети ПДн, взаимосвязи, контактная информация,
фото, видео, документы, интересы
СМИ информация о репутации, отзывы, ПДн
Сайты с вакансиями ПДн, тип ПО, интересы, отзывы
Поиск по картинкам ПДн, местоположение, тип и версия ПО
Веб-история см. официальные сайты организации

 

Поисковые системы

 

http://blekko.com/ — поисковая система, открытая в ноябре 2010 года, использующая для сортировки и отсеивания результатов слештеги.

https://duckduckgo.com/ — DuckDuckGo. Поисковик без поискового спама, почти без рекламы, без слежки за пользователями (полностью анонимный).

https://ixquick.com/ — приватный поисковик

http://www.zuula.com/ — поисковик, который объединяет поисковые запросы с таких сервисов как Google, Yahoo, Bing и меннее известных Gigablast и Mojeek.

http://search.carrot2.org/stable/search — Carrot. Поисковик с визуализатором

https://startpage.com/ — StartPage. Поисковик работает на основе анонимного прокси-сервера, что сказывается на скорости работы. Сервер обрабатывает каждый поисковой запрос и скрывает информацию об IP-адресе, а также прочие сведения, с помощью которых гипотетически возможно установить личность пользователя.

http://www.exalead.com/search/ — Exalead. Поисковик от компании 3DEXPERIENCE

http://www.mmnt.ru/ — Мамонт. Файловая поисковая система.

http://yacy.net/ YaCy. Децентрализованная поисковая система на основе P2P-сетей.

http://www.shodanhq.com/ — Shodan. Поисковая система, которая позволяет обнаруживать сетевое оборудование (такие как маршрутизаторы или веб-серверы), открытые порты на удаленных машинах или баннеры. Shodan может также находить SCADA-системы и веб-камеры.

http://www.insecam.org/ — каталог незащищённых видеокамер

http://nerdydata.com/ — Neerdy Data. Поиск в исходных кодах веб-страниц.

Онлайн-карты

https://www.google.ru/maps/ — Google-карты + схемы зданий

http://maps.yandex.ru/ — Яндекс-карты

http://www.bing.com/maps/ — карты от Bing

http://here.com/ — карты от Nokia

 

Поиск в социальных сетях

http://egrul.nalog.ru/ — Сведения о государственной регистрации юридических лиц, индивидуальных предпринимателей, крестьянских (фермерских) хозяйств

http://people.yandex.ru/ — Яндекс-поиск по социальным сетям

http://www.yasni.com/ — Yasni. Свободная поисковая система, которая в рамках одной вэб-страницы соединяет всю общественно доступную в интернете информацию и результаты поиска по заданному имени.

https://pipl.com/ — Pipl

http://knowem.com/ — поиск по никнейму (логину)

http://kaimi.ru/ps/ — поиск по никнейму (логину) от Kaimi

http://entitycube.research.microsoft.com/ — EntityCube. Исследовательский проект от Microsoft для поиска людей и организаций

http://www.touchgraph.com/seo — java-сервис с визуализацией результатов запроса

 

Поиск по СМИ

http://public.ru/ – эффективный поиск и профессиональный анализ информации, архив СМИ с 1990 года. http://news.yandex.ru/smi/ — база данных СМИ

https://news.google.com/ — Google-новости

Сайты с вакансиями

http://hh.ru/ — HeadHunter

http://www.superjob.ru/ — SuperJob

http://rabota.ru/ — Работа ру

http://www.adzuna.ru/ — Adzuna. Тематическая поисковая система, которая ищет все доступные объявления о вакансиях в России и за рубежом.

http://ru.indeed.com/ — Indeed/ Cайт поиска работы

http://rabota.yandex.ru/ — Яндекс-работа

http://stop-book.com – поиск по черным спискам интернета.

http://antijob.net/ — Antijob. Чёрный список работодателей

http://orabote.net/ — Отзывы о работе. Черный список работодателей

http://golance.ru/ — Голанс. Сообщество фрилансеров

http://www.free-lancers.net/ — фриланс-портал для поиска удалённой работы

https://freelance.ru/ — проект, посвященный удаленной работе

http://www.prohq.ru/ — фриланс-биржа

http://www.free-lancing.ru/ — фриланс-портал

http://www.freelancejob.ru/ — фриланс-портал

http://dalance.ru/ — открытый социальный проект для фрилансеров и работодателей

http://freelancer.ru/ — фриланс-портал

http://www.weblancer.net/ — фриланс-портал

https://www.fl.ru/ — фриланс-портал

 

Поиск по картинкам

http://images.google.ru/ — Google-картинки

http://yandex.ru/images/ — Яндекс-картинки

http://www.tineye.com/ — TinEye

http://regex.info/exif.cgi — поиск мета-данных в картинках

Веб-история

 

https://archive.org/ — «Архив Интернета» собирает копии веб-страниц, графические материалы, видео-, аудиозаписи и программное обеспечение. Архив обеспечивает долгосрочное архивирование собранного материала и бесплатный доступ к своим базам данных для широкой публики.

cache:<название сайта> — поисковый оператор Google для поиска сохраненных в кеше копий веб-страниц. Google периодически сканирует сайты и сохраняет их резервные копии на случай, если какая-либо страница будет недоступна. Эти копии хранятся в кеше на серверах Google. Нажав на ссылку «Сохраненная копия», вы откроете последнюю сохраненную версию страницы.

Сбор информации с использованием Google-запросов

Основные операторы:

site:название_сайта — поиск в пределах сайта или домена, например, site:pentestit.ru filetype:расширение_файла – находит файлы с заданным расширением

ext:расширение_файла – ищет необычные расширения (например, DMP, KS, key…) передает более точные результаты, чем оператор filetype.

link:название_сайта — кто ссылается на сайт

cache:название_сайта — вывести кэшированную версию для указанного сайта. intitle:ключевое_слово — найти страницы, содержащие ключевое слово или фразу в заголовке,

например, intitle:index of “Last modified»

allintitle:ключевое_слово1 ключевое_слово2 ключевое_слово3 – вывести результаты, содержащие все перечисленные элементы в заголовке страницы.

inurl:ключевое_слово — найти страницы, содержащие ключевое_слово в своем адресе, например, inurl:cgi-bin/etc/

allinurl:ключевое_слово1 ключевое_слово2 ключевое_слово3 — найти страницы, содержащие все ключевые_слова в своем адресе

intext:слово — ищет указанное слово только в теле страницы, игнорируя заголовки, тексты ссылок и прочее.

allintext:ключевое_слово1 ключевое_слово2 ключевое_слово3 — найти все слова в тексте страницы,

например, allintext:”Control Panel” “login”

inancor:ключевое слово — ищет текст в ссылках, т.е. внутри тегов

https://www.google.ru/advanced_search — расширенный поиск Google

http://www.exploit-db.com/google-dorks/ — Google Hacking Database

https://exploits.shodan.io/welcome — Shodan Exploits

 

Язык запросов Яндекс:

Морфология и поисковый контекст

При поиске с учетом морфологии принимаются во внимание:

  • форма заданного слова (падеж, род, число, склонение и т. д.);
  • часть речи (существительное, прилагательное, глагол и т. д.).

По умолчанию Яндекс ищет все формы слова, указанного в запросе. Например, при запросе [рассказал] поиск будет производиться по глагольным формам: «рассказать», «расскажу», «рассказывать» и т. д., но не по однокоренным словам типа «рассказ», «рассказчик». Исключение составляют случаи, когда используются операторы ! и " .

Также вы можете конкретизировать поисковый запрос с помощью операторов, которые уточняют наличие запрашиваемых слов в документе.

Оператор Описание Синтаксис Пример запроса

!

Поиск слова в заданной форме.

Допустимо использовать несколько операторов ! в рамках одного запроса.

!слово

[!рассказал]

Будут найдены документы со словом «рассказал» в заданной форме.

+ Поиск документов, в которых обязательно присутствует выделенное слово.

Допустимо использовать несколько операторов + в одном запросе.

слово1 +слово2
[шолохов +бульвар +Москва]

Будут найдены документы, в которых обязательно содержатся слова «бульвар» и «Москва» и может присутствовать слово «шолохов».

« Поиск по цитате.

Поиск документов, содержащих слова запроса в заданной последовательности и форме.

"слово1 слово2 ... словоN"
[«К нам на утренний рассол»]

Будут найдены документы, содержащие данную цитату.

* Поиск по цитате с пропущенным словом (словами).

Один оператор *соответствует одному пропущенному слову.

Внимание. Используется только в составе оператора « .
"слово1  * слово2 ... словоN"

Оператор отделяется пробелами.

[«К нам на * рассол»]

Будут найдены документы, содержащие данную цитату, включая пропущенное слово.

[«у лукоморья * * златая»]

Будут найдены документы, содержащие данную цитату, включая пропущенные слова.

| Поиск документов, в которых присутствует любое слово из запроса.

Допустимо использовать несколько операторов | в одном запросе.

слово1 | слово2 | ... | словоN

Оператор отделяется пробелами.

[яхта | лодка | корабль]

Будут найдены документы, в которых присутствует хотя бы одно из слов запроса: «яхта», «лодка» или «корабль».

Поиск документов, в которых отсутствует заданное слово.

Исключается только слово, перед которым стоит оператор.

Допустимо использовать несколько операторов — в одном запросе.

слово1 слово2 ... -словоN
[зоопарк -московский]

Будут найдены документы, в которых присутствует слово«зоопарк», но нет слова «московский».

 

Документные операторы

Уточнить поисковый запрос можно с помощью данных, относящихся к служебной информации о страницах. Например, можно ограничить поиск по типу файла, хосту и т. д.

Как правило, документный оператор указывается после текста поискового запроса и отделяется от него пробелом. В одном запросе одновременно можно использовать несколько операторов, так же разделяя их пробелом. Например, [поиск site:www.yandex.ru mime:pdf].

При использовании операторов, где в качестве параметра задается имя хоста (url, host и rhost), следует указывать главное зеркало сайта. Например, [host:lib.ru], а не [host:www.lib.ru]. Узнать, является ли сайт главным зеркалом, можно добавив хост в базу Яндекса.

 
Оператор Описание Синтаксис Пример запроса
url: Поиск по страницам, размещенным по заданному адресу (URL).

Чтобы найти все документы, адреса которых начинаются с заданного значения, поставьте в конце URL символ *.

URL в запросе следует заключить в кавычки, если он содержит один из следующих символов:

  • «
  • (
  • )
  • _
url:полный URL
url:имя хоста/категория/*

[поиск url:»ru.wikipedia.org/wiki/Ранжирование_(поисковые_системы)»]

Будут найдены документы, содержащие слово «поиск» и размещенные по заданному адресу.

[яндекс url:ru.wikipedia.org/wiki/*]

Будут найдены документы, содержащие слово «яндекс» и адреса которых начинаются с ru.wikipedia.org/wiki.

site: Поиск по всем поддоменам и страницам указанного сайта.
site:URL сайта
[яндекс site:narod.ru]

Будут найдены документы, содержащие слово «яндекс» и размещенные на поддоменах и страницах сайта narod.ru.

host: Поиск по страницам, размещенным на данном хосте.

Идентичен оператору url: с заданным именем хоста.

host:имя хоста в формате www.домен второго уровня.домен верхнего уровня
[поиск host:www.yandex.ru]

Будут найдены документы, содержащие слово «поиск» и размещенные на хосте www.yandex.ru.

rhost: Поиск по страницам, размещенным на данном хосте.

Идентичен оператору host:, но имя хоста записывается в обратном порядке: сначала домен верхнего уровня, затем домен второго уровня и т. д.

Для поиска по всем поддоменам заданного домена в конце URL поставьте символ *.

rhost:имя хоста в формате домен верхнего уровня.домен второго уровня.www
rhost:имя хоста в формате домен верхнего уровня.домен второго уровня.*
[новости rhost:com.livejournal.www]

Будут найдены документы, содержащие слово «новости» и размещенные на домене livejournal.com.

[новости rhost:com.livejournal.*]

Будут найдены документы, содержащие слово «новости» и размещенные на всех поддоменах домена livejournal.com.

domain: Поиск по страницам, расположенным на заданном домене.
domain:домен
[яндекс domain:ua]

Будут найдены документы, содержащие слово «яндекс» и размещенные на домене ua.

mime: Поиск по документам в заданном типе файла.

Поддерживаемые типы файлов представлены на странице расширенного поиска.

mime:тип файла
[анкета загранпаспорт mime:doc]

Будут найдены документы в формате doc, содержащие слова «анкета» и «загранпаспорт».

lang: Поиск по страницам на заданном языке:

  • русский (ru)
  • украинский (uk)
  • белорусский (be)
  • английский (en)
  • французский (fr)
  • немецкий (de)
  • казахский (kk)
  • татарский (tt)
  • турецкий (tr)
lang:язык
[passport lang:en]

Будут найдены документы на английском языке, содержащие слово «passport».

date: Поиск по страницам с ограничением по дате их последнего изменения.

Примечание. Год изменения указывается обязательно. Месяц и день можно заменить символом *.
Изменение страницы:

  • соответствует указанной дате:
    date:ГГГГММДД
  • находится в интервале:
    date:ГГГГММДД..ГГГГММДД
  • находится до или после указанной даты (<, <=, >, >=):
    date:<ГГГГММДД

Дата изменения страницы указана частично:

date:ГГГГ**
Будут найдены документы, дата изменения которых:

cat: Поиск по страницам сайтов, зарегистрированных в Яндекс.Каталоге, тематическая рубрика или регион которых совпадают с заданным.

Идентификатор региона можно получить, прибавив к коду региона смещение 11000000. Идентификатор тематической рубрики получается прибавлением к коду темы смещения 9000000.

cat:ID региона
cat:ID темы
[зяблик cat:11000051]

Будут найдены документы, содержащие слово «зяблик», на сайтах, зарегистрированных в Яндекс.Каталоге и соответствующих региону «Самара» (51).

 

 

https://start.avalancheonline.ru — семейство автоматизированных систем интернет-разведки

 

 

1+

Конкурентная разведка и сбор информации: 2 комментария

Добавить комментарий

Ваш e-mail не будет опубликован.