OSINT для CTF: поиск флагов по метаданным

По данным Have I Been Pwned, утечка Facebook затронула 509 миллионов аккаунтов — с email-адресами, геолокациями и датами рождения. LinkedIn добавил 164 миллиона записей с паролями. Adobe — ещё 152 миллиона с юзернеймами и хешами. Когда на CTF дают никнейм и просят найти email владельца — работает тот же принцип: люди годами используют одни и те же ники на десятках платформ. В CTF вы ищете конкретный флаг за ограниченное время, но OSINT методология расследования один в один совпадает с реальными кейсами threat intelligence. Ниже — методика, которая закрывает основные типы OSINT-заданий: от Google Dorking и ExifTool до пробива через WHOIS и Wayback Machine.

Методология OSINT-расследования: от артефакта до флага

Самая частая ошибка новичков — запускать инструменты, не прочитав условие. На практике большинство подсказок спрятано в формулировке таска: ключевое слово, формат флага (flag{...}, CTF{...}), намёк на конкретную платформу или тип данных. Пропустили слово «GitHub» в описании — потеряли полчаса на бессмысленный перебор профилей в Instagram. Обидно, да? Подробнее — в нашем обзоре osint для специалиста по информационной безопасности.

В терминологии MITRE ATT&CK OSINT-задания моделируют фазу Reconnaissance — техники, которые атакующие применяют на первом этапе kill chain до активного сканирования и эксплуатации:

• T1593 — Search Open Websites/Domains (Reconnaissance): поиск информации на открытых сайтах и в доменах
• T1589 — Gather Victim Identity Information (Reconnaissance): сбор идентификационных данных — email-адреса (T1589.002), имена сотрудников (T1589.003)
• T1596 — Search Open Technical Databases (Reconnaissance): поиск в технических базах — WHOIS, DNS, сертификаты

Эта классификация не теоретическое упражнение — она подсказывает направление. Дали никнейм — это T1589, ищем идентификатор на платформах. Дали файл — проверяем метаданные. Дали домен или URL — T1593 и T1596, смотрим WHOIS, DNS-историю, Wayback Machine. Определив тип артефакта, вы сужаете пространство поиска с «искать везде» до конкретного набора инструментов.

Алгоритм первого подхода к OSINT-таску:

1. Прочитать условие дважды. Выписать все артефакты: ники, email, даты, ссылки, файлы
2. Определить тип: текстовый идентификатор (ник, email, домен) — поиск по платформам и базам; файл (фото, PDF, DOCX) — метаданные + содержимое; изображение без текста — reverse image search + геолокация
3. Проверить формат флага в правилах соревнования — без этого можно пройти мимо ответа, который уже лежит перед глазами
4. Работать от простого к сложному: сначала exiftool, потом Google Dorks, потом специализированные базы данных

И ещё момент, который экономит кучу времени: если в задании три артефакта (никнейм, файл, изображение) — не обрабатывайте их параллельно. Начните с файла. Метаданные извлекаются за секунды, а найденная там зацепка направит поиск по нику или изображению в правильное русло.

Google Dorking для CTF

Разведка по открытым источникам для CTF начинается не с установки десятка утилит, а с умения правильно формулировать поисковые запросы. Google Dorks применяются с 2002 года (по данным Recorded Future) и до сих пор вытаскивают файлы, расширения и текст, которые стандартный поиск не покажет. В CTF организаторы регулярно прячут артефакты на публичных страницах — и правильный запрос находит флаг за секунды вместо получаса ручного перебора.

Ключевые операторы и примеры для CTF-контекста:

• site:github.com "targetusername" — поиск упоминаний ника на конкретной платформе. Сужает результаты до одного домена
• filetype:pdf "company name" — вытаскивает PDF-документы с метаданными автора. Полезно, когда просят найти сотрудника организации
• intitle:"index of" password — открытые директории с чувствительными файлами. Классика жанра
• inurl:pastebin.com "flag{" — поиск забытых флагов на Pastebin. Звучит слишком просто, но работает чаще, чем хотелось бы организаторам
• intext:"@protonmail.com" site:reddit.com "crypto" — фильтрация по содержимому страницы с привязкой к домену и контексту
• site:trello.com "project" OR "credentials" — публичные доски Trello, на которых иногда остаются учётные данные

Комбинация операторов даёт результат, недоступный одиночным запросам. site:facebook.com "John Doe" ограничивает поиск одной платформой, а добавление intitle: или intext: превращает поиск из общего в целенаправленный. В CTF это разница между «нашёл за минуту» и «перебираю вручную два часа».

Практический пример: задание просит найти email сотрудника компании. Запрос site:linkedin.com "Company Name" "employee" покажет профили. Запрос "Company Name" "@gmail.com" OR "@protonmail.com" ищет упоминания email в открытых источниках. А site:github.com "Company Name" filetype:py находит репозитории с кодом, где в коммитах часто зашит email автора.

Google индексирует не всё. Если запрос не дал результатов — попробуйте Yandex (иногда индексирует страницы, которые Google пропускает, особенно в зоне .ru и .su) или DuckDuckGo (другой индекс, другие результаты). Для технических данных — Shodan и Censys, о которых ниже.

Поиск по соцсетям OSINT: от никнейма до полного профиля

Задание даёт никнейм — цель найти профили пользователя на других платформах и вытащить нужную информацию. В MITRE ATT&CK это техника T1589 (Gather Victim Identity Information) с подтехниками для email-адресов (T1589.002) и имён (T1589.003).

OSINT инструменты для соревнований: поиск по нику

Инструмент	Покрытие	Скорость	Когда использовать
Sherlock	~400 сайтов	1-2 минуты	Быстрая первая проверка
Maigret	~2500 сайтов	5-10 минут	Глубокий поиск, когда Sherlock не дал результата
WhatsMyName	~500 платформ	Мгновенно (веб)	Перекрёстная проверка сомнительных результатов

Установка Sherlock — одна команда: pip install sherlock-project. Запуск — sherlock targetusername --print-found. Флаг --print-found отсекает ложные срабатывания и показывает только подтверждённые аккаунты. На практике я запускаю Sherlock первым — результат за минуту. Если нужно копнуть глубже — Maigret: покрытие в шесть раз больше, но и времени ест соответственно. WhatsMyName удобен через веб-интерфейс для быстрой перекрёстной проверки, когда Sherlock показывает сомнительный результат на малоизвестном сайте.

Что делать с результатами: Sherlock выдал 15 ссылок — открываем каждую и ищем:

• Био и описание профиля — часто содержит email, город, ссылки на другие аккаунты
• Аватар — одинаковый на нескольких платформах подтверждает принадлежность одному человеку
• Публикации и комментарии — флаг может быть спрятан в тексте поста, в подписи, в описании видео
• Даты активности — помогают определить основной аккаунт среди нескольких

Типичная ловушка: один совпавший ник — гипотеза, не факт. На популярных платформах ник alex2024 может принадлежать совершенно разным людям. Подтверждение — пересечение данных (аватар, город, email) минимум на двух платформах. Один артефакт — мало, два — уже гипотеза, три — рабочая версия.

Email через историю коммитов Git

Способ, о котором новички регулярно забывают: Git хранит email автора в каждом коммите. Это стандартное поведение системы контроля версий — никакой магии. Если Sherlock нашёл профиль на GitHub, проверяйте историю коммитов. Откройте любой коммит и добавьте .patch к URL в адресной строке браузера. В патче будет строка формата From: Username <email@example.com>.

По разборам серии Keeber на NahamCon CTF (описанным на InfoSec Write-ups), именно коммиты Git — один из самых частых источников email в OSINT-заданиях. Организаторы CTF знают, что новички смотрят на README и описание репозитория, но не заглядывают в историю изменений. Проверяйте также файл .gitconfig и GitHub API — эндпоинт https://api.github.com/users/username/events/public показывает публичную активность. Но есть нюанс: реальный email автора коммита виден, только если пользователь не включил настройку «Keep my email addresses private» (для аккаунтов с 2017 года она включена по умолчанию — в API будет noreply-адрес вида ID+username@users.noreply.github.com).

Платформо-специфичные приёмы поиска в соцсетях

Общий поиск по нику — стартовая точка. Дальше нужны точечные техники для конкретных платформ.

Facebook: сервис Lookup-id.com находит числовой ID профиля, страницы или группы. Этот ID не меняется даже при смене имени — удобно для отслеживания аккаунтов. Who Posted What позволяет искать посты Facebook по ключевым словам с фильтрацией по датам — критично для построения таймлайна, когда задание указывает конкретный период.

Twitter/X: встроенный Advanced Search фильтрует по ключевым словам, датам, аккаунтам и геолокации. В CTF это помогает найти конкретный твит с флагом, если в условии указана дата или ключевое слово.

Reddit: Reddit User Analyser (snoopsnoo.com) раньше визуализировал паттерны активности, но сервис прекратил работу. Актуальные альтернативы — Redective или ручной анализ через Arctic Shift / Pushshift-совместимые инструменты. Помогают быстро найти нужный пост среди сотен. F5BOT отправляет уведомления о новых постах по ключевым словам — полезно на длительных CTF, где артефакты могут появляться в реальном времени.

Discord: Discord.name позволяет искать профиль пользователя по ID — полезный шаг для связывания онлайн-персон между платформами.

Анализ метаданных файлов

Метаданные — служебная информация внутри файла, о существовании которой авторы часто даже не подозревают: имя создателя, дата, GPS-координаты, используемый софт. В CTF анализ метаданных файлов — один из самых распространённых типов заданий и одновременно один из самых быстро решаемых, если знать, куда смотреть.

ExifTool (автор — Phil Harvey, проект активно поддерживается с регулярными релизами) читает метаданные более 400 форматов. Работает полностью офлайн, ничего не отправляет наружу — для параноиков самое то.

Установка: sudo apt install libimage-exiftool-perl на Debian/Kali, brew install exiftool на macOS. Базовая команда exiftool filename.jpg выводит все доступные поля.

На что смотреть в выводе ExifTool:

• GPS Position — координаты съёмки, если камера или смартфон их записал. Прямой путь к ответу в заданиях на геолокацию
• Artist / Author — имя пользователя или сам флаг. Организаторы CTF обожают прятать флаг именно в этом поле
• Software — какой редактор использовался (Adobe Photoshop, GIMP, LibreOffice). Подсказка о цепочке обработки файла
• User Comment / XP Comment — произвольные текстовые поля, популярное место для флагов
• Create Date vs Modify Date — разница между датами указывает на редактирование. Файл создан в 2019, а модифицирован вчера? Значит, его обработали

Для PDF ExifTool извлекает автора, название организации и программу создания. Для DOCX — имя пользователя операционной системы, число ревизий и общее время редактирования. Каждое из этих полей — потенциальная зацепка.

Когда ExifTool не помог: команда strings filename.jpg | grep -i flag вытаскивает все текстовые строки из бинарного файла. Иногда флаг зашит не в стандартных метаданных, а напрямую в теле файла. Как указывает справочник ctf.support: перед загрузкой изображения куда-либо всегда проверяйте его через exiftool или strings.

Ещё один сигнал — подозрительно большой размер файла. PNG на 343 МБ — это явно не обычная картинка. Тут стоит проверить не только метаданные, но и скрытые вложения через binwalk (ищет встроенные файловые системы и архивы) или steghide (стеганография в JPEG). Онлайн-альтернатива для быстрой проверки без терминала — Jeffrey's Exif Viewer (exif.regex.info), но он проигрывает ExifTool по полноте.

Любопытная деталь: ExifTool фигурирует на GTFOBins — при запуске с повышенными привилегиями (sudo) через флаг -config возможно чтение произвольных файлов и выполнение команд, что делает его вектором privilege escalation. Инструмент разведки сам может стать вектором атаки. Ирония.

Reverse image search CTF и геолокация по фото

Задание содержит изображение без очевидных текстовых подсказок. Первое действие — не загружать в Google Images, а проверить метаданные через ExifTool (предыдущий раздел). Второе — обратный поиск по изображению через три движка, каждый из которых индексирует разные массивы данных:

Движок	Сильная сторона	Когда применять
Google Images	Крупнейший индекс, широкое покрытие	Первый заход для любого изображения
Yandex Images	Лучше распознаёт лица, кириллицу, СНГ-контент	Если Google не дал результата; фото с кириллическими надписями
TinEye	Находит оригинал и историю появления изображения в сети	Когда нужно установить первую публикацию

По разборам OSINT-заданий NahamCon CTF на InfoSec Write-ups, последовательная проверка через все три сервиса — не рекомендация, а обязательная часть методики. Авторы CTF-заданий намеренно подбирают изображения, которые находятся только через один конкретный движок. Использовать только Google — терять информацию.

Геолокация по фото без GPS-координат

GPS в метаданных нет — работаем визуальным анализом. Методика, описанная Bellingcat и отточенная тренировками на GeoGuessr:

1. Язык на вывесках и указателях — определяет страну или регион. Арабская вязь, иероглифы или кириллица сужают географию мгновенно
2. Дорожные знаки и номерные знаки — стандарты различаются по странам. Форма, цвет, шрифт дают привязку
3. Растительность и рельеф — тропические пальмы или хвойный лес, равнина или горы
4. Солнце и тени — направление и длина теней указывают на полушарие и приблизительную широту
5. Архитектура — стиль зданий, материалы, тип кровли, цвет фасадов

После определения примерного региона — верификация через Google Maps или Yandex Maps со Street View. Ищите конкретную точку: перекрёсток с характерной вывеской, уникальное здание, мост с определённой конструкцией.

GeoGuessr (geoguessr.com) — полноценный тренажёр для этого навыка. Месяц регулярных сессий — и начинаете определять страну по типу дорожного покрытия и цвету отбойников. Звучит как суперспособность, но это просто натренированный глаз. Для OSINT-заданий в CTF — инвестиция с быстрой отдачей.

Работа с открытыми базами данных OSINT

Поиск информации CTF часто выходит за рамки Google и соцсетей. Открытые технические базы — мощный ресурс, который русскоязычные гайды почти не раскрывают. А именно здесь лежат ответы на задания продвинутого уровня.

Wayback Machine — архив интернета

Сервис archive.org хранит снимки веб-страниц за разные годы. В CTF применяется для трёх сценариев:

• Организатор создал сайт-приманку, изменил содержимое — флаг остался только в старой версии
• Удалённые страницы, посты и профили сохранены в архиве
• Файл robots.txt из архива показывает, какие директории сайт скрывал раньше — прямой путь к скрытому контенту

Запрос web.archive.org/web/*/example.com отображает все сохранённые снимки домена с датами. Кстати, сам Internet Archive в сентябре 2024 года пережил утечку, затронувшую 31 миллион аккаунтов (по данным Have I Been Pwned). На доступность архивных данных это не влияет, но наглядно показывает — даже сервисы хранения данных уязвимы. Никто не застрахован.

WHOIS и DNS-разведка

WHOIS-запрос по домену показывает дату регистрации, регистратора и иногда контактные данные владельца. В CTF организаторы могут зарегистрировать домен на фиктивное имя, которое и есть часть ответа. DNS-записи — ещё одно место для флагов: TXT-записи часто содержат строки вида flag{dns_records_matter}, а MX-записи указывают на почтовый сервер.

whois target-domain.com
dig target-domain.com TXT

Команда whois доступна в любом Linux-дистрибутиве. Онлайн-альтернативы — whois.domaintools.com или who.is. Запрос dig с типом TXT извлекает текстовые записи DNS — организаторы CTF прячут там флаги, зная, что новички не проверяют DNS. Добавьте dig target-domain.com ANY для извлечения всех типов записей.

Shodan и Censys — поиск устройств и сервисов

Shodan (shodan.io) и Censys (search.censys.io) индексируют устройства и сервисы, подключённые к интернету: серверы, веб-камеры, промышленные контроллеры. В CTF продвинутого уровня могут дать IP-адрес и попросить определить, какой сервис на нём крутится, или найти уязвимость в конфигурации.

Бесплатный аккаунт Shodan позволяет базовые запросы: hostname:example.com покажет открытые порты и баннеры сервисов. Censys дополняет Shodan данными о TLS-сертификатах — полезно для связывания доменов. Оба инструмента входят в стандартный набор OSINT-специалиста наряду с Google Dorks и theHarvester (по данным Recorded Future).

theHarvester — автоматизация сбора email и поддоменов

theHarvester входит в Kali Linux и собирает email-адреса, поддомены и виртуальные хосты из поисковых систем, PGP-серверов и социальных сетей. Для CTF-таска «найти email сотрудников компании X» — часто самый быстрый путь, потому что агрегирует данные из нескольких источников одной командой:

theHarvester -d target-company.com -b google,bing,linkedin

Флаг -b указывает источники данных — Google, Bing и LinkedIn в примере выше. Результат: список email-адресов, связанных с доменом, и обнаруженные поддомены.

Intelligence X — глубокий поиск

Intelligence X (intelx.io) ищет по email-адресам, доменам, криптовалютным адресам и телефонным номерам одновременно в нескольких источниках, включая даркнет и утечки данных. Бесплатный тариф ограничен несколькими запросами в день, но для CTF этого часто хватает. В отличие от обычных поисковиков, Intelligence X находит информацию, скрытую от стандартной индексации — то, что Google даже не видит.

Полная цепочка: OSINT-таск от начала до флага

Разберём, как техники объединяются в одном задании. Сценарий обобщён из нескольких учебных CTF — не конкретный таск, а демонстрация методики поиска флагов OSINT.

Условие: никнейм crypto_hunter_99, JPEG-фотография ночного города, домен crypto-project.example.com. Найти полное имя автора проекта.

Шаг 1 — Метаданные фотографии. Запускаем exiftool city_night.jpg. В поле Artist обнаруживаем строку J.Doe_Berlin. GPS-координат нет, но уже есть имя и город.

Шаг 2 — Поиск по нику. sherlock crypto_hunter_99 --print-found находит GitHub, Reddit и Twitter. На GitHub — репозиторий с коммитами. Добавляем .patch к URL первого коммита — видим email: jdoe.crypto@protonmail.com.

Шаг 3 — Google Dorking. Запрос "jdoe.crypto@protonmail.com" находит упоминание на форуме, где пользователь подписался полным именем «Johann Doe».

Шаг 4 — WHOIS и DNS. whois crypto-project.example.com показывает регистранта «J. Doe, Berlin». Запрос dig crypto-project.example.com TXT возвращает дополнительную запись с подтверждением.

Шаг 5 — Wayback Machine. Проверяем архив домена. В старой версии сайта — страница About с полным именем и биографией автора.

Каждый шаг давал один фрагмент — метаданные, ник, email, WHOIS, архив. Только связав их, получаем полный ответ. Построение связей между разрозненными фрагментами — ключевой навык OSINT-аналитика. Инструменты дают данные, интерпретация — ваша работа.

Большинство новичков воспринимают OSINT как «набор инструментов» — выучил Sherlock, освоил ExifTool, запомнил пять операторов Google Dorks и готов. На деле инструменты меняются каждые полтора-два года, а принципы остаются. Sherlock может устареть, но факт, что люди переиспользуют идентификаторы на десятках платформ, работает с момента появления интернета.

Утечка Facebook на 509 миллионов записей и LinkedIn на 164 миллиона — не абстрактные цифры для слайдов. Это реальный масштаб цифровых следов, которые каждый из нас оставляет ежедневно. CTF — контролируемая среда, где эти навыки можно отработать безопасно, прежде чем применять их в пентестах, threat intelligence или incident response.

Но есть момент, который редко проговаривают: в реальных расследованиях почти никогда не бывает чёткого условия «найти email по нику за 30 минут». Вместо этого — размытые вводные, неполные данные и необходимость самому решить, за какой артефакт браться первым. CTF тренируют технику, но слабо тренируют принятие решений в условиях неопределённости. После двадцати-тридцати решённых тасков стоит переходить к открытым расследованиям — TraceLabs Search Party или собственные мини-исследования на легальных данных.

Главное, что стоит забрать из этого материала — не набор команд для терминала, а привычку задавать себе вопрос: «Какой артефакт я ещё не проверил?» Если хотите разобраться в основах ИБ системно, а не собирать знания по одной статье — на IB Basics берут с любого старта и ведут до первых реальных задач.

🚀 Хочешь закрепить на практике? Реши задачи по теме на HackerLab — категория «pentest-machines».