DevOps & SysOps

Чек-лист после запуска сайта: от NPM и SSL до robots.txt и llms.txt

Сайт запущен — работа только начинается. Собрал по шагам всё, что проверяю после запуска: от прокси и сертификата до персональных данных, robots.txt и llms.txt. Для каждого шага — что сделать, как проверить и сколько это дало на реальных проектах.

Клиент
Собственные проекты: интернет-магазин на 1С-Битрикс и сайт студии на Grav
Отрасль
E-commerce, сайты услуг
Срок
Октябрь — ноябрь 2026
Технологии
Nginx Proxy Manager, Let's Encrypt, nginx, PHP-FPM, fail2ban, Redis, 1С-Битрикс, Grav, Lighthouse, Яндекс Вебмастер

Результаты

  • 8,3 → 6,1 сотрисовка главной магазина на мобильном (LCP, Lighthouse)
  • ~1 мсответ страницы из кеша вместо 25–35 мс
  • 110IP сканеров за 2 недели — забанены автоматически
  • 937внутренних ссылок на редиректы заменены прямыми

Чек-лист после запуска сайта · 13 шагов

От NPM и SSL
до robots.txt и llms.txt

01–03

Прокси, SSL, один адрес, nginx

закрыты пароли и дубли
04–05

fail2ban и кеш чистых URL

~1 мс из кеша
06–08

Скорость, формы, 152-ФЗ

LCP 8,3 → 6,1 с
09–13

robots, sitemap, ссылки, llms.txt

937 ссылок исправлено

Зачем этот чек-лист

Типичная история: сайт сдали, дизайн красивый, всё открывается. А через месяц выясняется, что форма заявки не отправляет письма, поисковик индексирует сотни дублей с метками рекламы, а в логах каждый день сотни попыток найти .env и пароль от админки.

Ниже — порядок, в котором я прохожу каждый сайт после запуска: 13 шагов от прокси до аналитики. Список собран на двух живых проектах: интернет-магазине на 1С-Битрикс и сайте студии на Grav. Цифры — из замеров на них, а не из учебника. Где эффект зависит от сайта, так и пишу.

Схема, о которой пойдёт речь: посетитель → Nginx Proxy Manager (снимает SSL) → nginx на сервере сайта → PHP-FPM → CMS. Если у вас без прокси, пропустите шаг 1, остальное то же.

Главное правило: перед каждой правкой — резервная копия файла, после — проверка. Каждый шаг ниже заканчивается проверкой.

Сводка: что даёт весь список

Скорость
Что делаемкеш страниц, один CSS, шрифт, отложенные скрипты
ЭффектLCP мобильной главной 8,3 → 6,1 с; первая отрисовка 1,4 → 0,9 с
Сервер
Что делаемкеш только чистых адресов, чистка кеша
Эффектответ ~1 мс вместо 25–35 мс; Redis 639 тыс. → 310 тыс. ключей
Безопасность
Что делаемзакрыть служебные файлы, fail2ban через nginx
Эффектзакрыты хеш пароля админки и старые копии с паролями; 110 сканеров за 2 недели — в бане
UX
Что делаемрабочие формы, одна форма с выбором услуги, «Назад» без перезагрузки
Эффектзаявки перестали теряться
152-ФЗ
Что делаемполитика, отдельное согласие, плашка cookie, уведомление РКН, хранение в России, удаление через 1 год и по запросу с актом
Эффектменьше рисков штрафа: за отсутствие уведомления — до 300 тыс. ₽, за утечки — вплоть до оборотных
SEO
Что делаемодин адрес на страницу, robots, sitemap, редиректы
Эффект210 старых адресов вместо 404 ведут на живые страницы; 937 ссылок без лишнего редиректа

Шаг 1. Прокси и SSL (Nginx Proxy Manager)

Что сделать:

  • Force SSL — все запросы по http уводить на https.
  • HTTP/2 — включить. Без него браузер грузит файлы страницы по одному. На сайте студии он оказался выключен, Lighthouse это сразу показал.
  • HSTS — включать, когда убедились, что https работает на всех поддоменах, которые нужны.
  • Передача реального IP: прокси должен отдавать X-Forwarded-For и X-Forwarded-Proto, а сервер сайта — им доверять (шаг 3).
  • Cache Assets — осторожно. Эта опция ставит свой срок кеша на статику: у нас она урезала его до ~7 часов, хотя сервер отдавал «навсегда». Шрифт на 114 КБ браузеры перекачивали чаще, чем нужно. Лучше пусть сроки задаёт сервер сайта.

Проверка: curl -sI https://site.ru/ -o /dev/null -w '%{http_version}' — должно быть 2.

Шаг 2. Один адрес у каждой страницы

Поисковик считает http://, https://www., /page и /page/ разными страницами. Нужно выбрать один вид и уводить на него всё остальное одним редиректом 301, без цепочек.

  • http:// и www. → https://site.ru/…
  • /page → /page/ (или наоборот — главное, одинаково везде)
  • //page, /page.html, /index.php, /home → канонический адрес
  • POST-запросы не перенаправлять — форма потеряет данные.

Не забудьте про всё, что строит адреса: меню, ссылки в шаблонах, canonical, хлебные крошки, карту сайта. Иначе каждый клик по сайту будет проходить через лишний редирект.

Проверка: curl -sI http://www.site.ru/page → ровно один ответ 301 сразу на конечный адрес.

Шаг 3. nginx: закрыть лишнее

  • Реальный IP посетителя. set_real_ip_from <IP прокси>; real_ip_header X-Forwarded-For;. Без этого для сервера все посетители — один IP прокси, и баны бесполезны. У нас так и было: забаненный сканер спокойно продолжал ходить.
  • Служебные файлы — в 404/444: .env, .git, *.bak, *.sql, логи, дампы, конфиги CMS (*.yaml, *.twig, *.md в служебных папках). При проверке у нас свободно скачивались файл учётной записи админки с хешем пароля, конфиг и копии скриптов *.bak со старым паролем.
  • PHP — только то, что нужно. Если CMS работает через index.php, любой другой .php — это попытка найти веб-шелл.
  • Заголовки безопасности: Strict-Transport-Security, X-Content-Type-Options: nosniff, Referrer-Policy, Permissions-Policy. X-Frame-Options — осторожно: с ним не работает Вебвизор Метрики, он показывает сайт во фрейме.
  • Сжатие gzip для HTML, CSS, JS, SVG, JSON.
  • Статика — с долгим кешем и версией в адресе (style.css?v=…), чтобы после правок браузер брал новый файл.

Проверка: curl -sI https://site.ru/.env → 404 или обрыв соединения; curl -sI https://site.ru/ → заголовки на месте.

Шаг 4. fail2ban — автоматические баны

Сканеры приходят в первый же день после запуска. На сайте студии за две недели — 110 IP, которые перебирали /wp-login.php, /phpinfo.php, /.env, /actuator.

  • За прокси банить нужно в nginx, а не в iptables. Весь HTTP приходит с IP прокси, правило файрвола по реальному IP не сработает. Делаем действие fail2ban, которое пишет IP в файл, а nginx отдаёт таким 444.
  • Набор правил: обращения к служебным файлам, массовые 404, перебор входа в админку, пути WordPress (если сайт не на нём), повторные нарушители — на месяц.
  • Медленный перебор. На магазине пароли подбирали по 2–4 попытки в час — под порогом «10 за час». Помог второй порог: 15 неудачных входов за сутки — бан на неделю. У настоящего покупателя за две недели было максимум 5 ошибок.
  • Исключения: офис, сервер интеграций, ваши IP.
  • Проверить, что под бан не попадают поисковики. Среди забаненных у нас было много «Googlebot» и «Bingbot» — все оказались подделками с облачных серверов. Проверка — обратный DNS: у настоящего робота Google адрес оканчивается на googlebot.com, у Яндекса — на yandex.ru/.net/.com.
  • Проверить, что правила вообще работают. Одно правило у нас смотрело не в тот журнал и за всё время не сработало ни разу. Другое при «исправлении» начало бы банить покупателей, у которых вход через Яндекс ID вернул ошибку 400.

Проверка: fail2ban-client status, затем тестовый бан своего тестового IP → 444, разбан → 200.

Шаг 5. Кеш страниц — только чистые адреса

Быстрее всего страница, которую не надо собирать. Но кеш легко превратить в склад мусора — или в дыру.

  • Кешировать только чистый адрес. Метки рекламы (utm_*, yclid, ysclid, gclid) не должны создавать новые копии: /page/?utm_source=… отдаём из кеша /page/. Любые другие параметры (поиск, сортировка) — мимо кеша.
  • Никогда не кешировать ответ с cookie. На магазине nginx сохранял страницы вместе с cookie сессии на 60 минут. Новый посетитель получал чужую сессию — общую корзину и избранное. Таких страниц в кеше было 91. Исправляется одной строкой, а последствия могли быть серьёзными.
  • Проверить настройки кеша CMS. В Битриксе список игнорируемых параметров композитного кеша был записан через запятую, а ядро делит его по «;» — не игнорировалось ничего, и в кеш писались страницы с любыми параметрами.
  • Чистить то, что копится. В Redis магазина служебные индексы кеша никогда не истекали: 70% ссылок в них вели в пустоту. После чистки — 639 тыс. → 310 тыс. ключей, освободилось около 170 МБ.

Эффект: на сайте студии страница из кеша отдаётся за ~1 мс вместо 25–35 мс сборки. Посетитель это почти не почувствует, а вот наплыв ботов сервер переживёт спокойно.

Проверка: заголовок X-Cache: HIT на втором запросе чистого адреса и BYPASS для адреса с ?q=.

Шаг 6. Скорость по Lighthouse

Мерить мобильную версию — именно её смотрят поисковики. Ориентиры: LCP до 2,5 с, TBT до 200 мс, CLS до 0,1.

  • Шрифт — только нужные символы. Латиница + кириллица вместо полного набора: 352 → 113 КБ.
  • Один файл стилей. Плагины CMS любят подключать свои CSS, которые на сайте не нужны. Было пять блокирующих файлов, стал один — первая отрисовка на мобильном 1,4 → 0,9–1,2 с.
  • Сторонние скрипты — последними. На обоих проектах главный тормоз — Метрика с Вебвизором: 500–700 мс блокировки на мобильном. Её можно загружать после отрисовки страницы.
  • Порядок в HTML. На магазине главным элементом отрисовки (LCP) на мобильном оказалась плашка cookie, стоявшая в самом конце кода. Переставили её, отложили синхронные скрипты в шапке и чат — LCP главной 8,3 → 6,1 с, блокировка 1 970 → 790 мс.
  • Кнопка «Назад» без перезагрузки. Заголовок Cache-Control: no-store выключает мгновенный возврат по «Назад». Для обычных страниц хватит no-cache.
  • Закреплять версии внешних библиотек. Чат на магазине подключался «последней версией» с CDN. Вышла новая — и за две недели было около 800 ошибок загрузки, чат просто не открывался.

Проверка: Lighthouse в режиме мобильного, 2–3 прогона (результаты гуляют на 5–10 баллов).

Шаг 7. Формы и удобство

  • Проверить, что формы реально отправляют. На сайте студии форма показывала «Спасибо, заявка отправлена», а на деле только имитировала отправку. Заявки терялись.
  • Одна хорошая форма вместо пяти. Вместо форм на каждой странице — кнопка «Обсудить проект», которая ведёт на контакты с уже выбранной услугой и отмеченным «нужен аудит».
  • Антиспам без капчи: скрытое поле-ловушка, проверка времени заполнения, лимит заявок с одного IP.
  • Заявки — туда, где их увидят сразу, плюс журнал на сервере на случай сбоя. Если уведомления идут в зарубежный мессенджер, это передача данных за границу — см. шаг 8.
  • Согласие на обработку персональных данных — отдельной галочкой, подробнее в шаге 8.
  • Цель «заявка» в Метрике.
  • favicon.ico и apple-touch-icon в корне. Без них браузеры на каждый заход получают 404 — мелочь, но засоряет логи и выглядит небрежно во вкладке.

Проверка: отправить тестовую заявку с телефона и убедиться, что она дошла.

Шаг 8. Персональные данные и 152-ФЗ

Как только на сайте появляется форма с именем, телефоном или почтой, владелец сайта становится оператором персональных данных. С 2025 года требования ужесточили, а штрафы выросли кратно — за утечки теперь вплоть до оборотных. Этот раздел — практический минимум, а не юридическая консультация: тексты документов лучше согласовать с юристом.

Документы на сайте

  • Политика обработки персональных данных — опубликована на сайте и доступна с каждой страницы, где собираются данные. В ней: кто оператор (реквизиты), какие данные, для чего, как долго хранятся, как отозвать согласие.
  • Согласие на обработку персональных данных — с 1 сентября 2025 года оформляется отдельно от других документов. Его нельзя «зашить» в пользовательское соглашение, оферту или политику. В тексте согласия: цель, перечень данных, действия с ними, срок, способ отзыва.
  • Пользовательское соглашение — правила пользования сайтом (ответственность, интеллектуальные права, порядок связи). Это другой документ: согласие на обработку данных в него не включают.
  • Уведомление о cookie — если на сайте Метрика или другие счётчики: коротко, что собирается и зачем, со ссылкой на раздел о cookie в политике. Показывайте плашку не сразу, а через несколько секунд: иначе на телефоне она становится самым крупным элементом первого экрана и портит LCP (как было на магазине из шага 6), а посетитель закрывает её, не успев увидеть сайт.

Форма заявки

  • Отдельная галочка согласия на обработку персональных данных, не отмеченная заранее, со ссылкой на текст согласия. Без неё форма не отправляется.
  • Если нужно согласие с пользовательским соглашением — это вторая, отдельная галочка.
  • Собирать только то, что нужно для ответа: для обратной связи хватит имени и одного контакта.

Уведомление Роскомнадзора

  • До начала обработки подать уведомление об обработке персональных данных — через сайт РКН, это бесплатно. За отсутствие уведомления — штраф до 300 тыс. ₽ для организации.
  • Назначить ответственного за обработку персональных данных — его указывают в уведомлении.

Сбор и хранение

  • Данные граждан России собираются и хранятся на серверах в России. С 1 июля 2025 года нельзя первично записывать их в зарубежные базы: иностранные конструкторы форм, CRM, таблицы и почтовые сервисы для заявок не подходят.
  • Передача за границу — это и Google Analytics, и уведомления о заявках в зарубежный мессенджер. Для неё нужно отдельное уведомление Роскомнадзора, а лучше — не передавать туда персональные данные вовсе: например, присылать в мессенджер только факт заявки, а контакты смотреть в своей системе.
  • Доступ ограничен: журнал заявок лежит вне папки сайта и недоступен из браузера, права на файл — только у веб-сервера и администратора, пароли к админке и базам не в коде.
  • Резервные копии с персональными данными хранятся так же, как основные данные, — в России и с ограниченным доступом.

Удаление

  • По достижении цели или при отзыве согласия данные уничтожаются в течение 30 дней. Факт уничтожения оформляется актом — форма утверждена Роскомнадзором.
  • Запрос человека о его данных или их удалении — ответ в течение 10 рабочих дней.
  • Срок хранения заявок определите заранее и пропишите в политике (у нас — 1 год с даты заявки), а старые записи удаляйте по расписанию — вместе с копиями в бэкапах, когда те устаревают.

Утечка

  • Об утечке персональных данных Роскомнадзору сообщают в течение 24 часов, о результатах расследования — в течение 72 часов. Поэтому шаги 3–4 этого чек-листа — это ещё и защита от штрафов.

Как это сделано на сайте студии

Проходя этот шаг на своём сайте, я нашёл типичный набор проблем: в политике было написано «использование сайта означает согласие» (так нельзя — согласие должно быть отдельным и конкретным), отдельного документа согласия не было, тексты документов были зашиты в шаблон и не менялись из админки, а дата редакции всегда показывала сегодняшний день. Срока хранения заявок и способа их удалить не было вовсе.

Что сделано:

  • Три отдельных документа: Политика обработки персональных данных — по целям: какие данные, на каком основании и сколько хранятся; Согласие на обработку персональных данных; Пользовательское соглашение с отдельным разделом о том, что согласия в нём нет. Все три правятся в админке, у каждого — фиксированная дата редакции. Ссылки на все три — в подвале каждой страницы.
  • Плашка о cookie появляется через 10 секунд и после «Понятно» больше не показывается год. На первую отрисовку и вёрстку она не влияет.
  • Форма: галочка согласия не отмечена заранее и ведёт на текст согласия и политику. Проверка не только в браузере: сервер без отметки о согласии заявку не принимает — бот или старая версия страницы её не обойдут.
  • Доказательство согласия: в каждой заявке в журнале сохраняется, когда и в какой редакции документа дано согласие. Если текст согласия поменяется, по старым заявкам будет видно, на что именно соглашался человек.
  • Срок хранения — 1 год: скрипт каждую ночь удаляет заявки старше года. В журнал уничтожения пишется только дата и количество удалённых записей — без самих данных.
  • Удаление по запросу: одна команда находит все заявки человека по его контакту, показывает их, а после подтверждения удаляет и сразу формирует акт об уничтожении с реквизитами оператора, перечнем данных и способом уничтожения.
  • Журнал заявок лежит вне папки сайта, читать его могут только веб-сервер и администратор.

Проверка: открыть форму заявки и пройти глазами путь данных — где они сохраняются, кто их видит, куда уходят уведомления, сколько хранятся и как удалить данные одного человека по его запросу.

Шаг 9. robots.txt

  • Закрыть служебное: админку, корзину, личный кабинет, поиск, обработчики форм.
  • Параметры — шаблоном /*?*param=. Правило вида /*?utm_ не ловит метку, если она стоит в адресе не первой.
  • Clean-param для Яндекса: utm_*, yclid, ysclid, gclid, from, _openstat — Яндекс склеит такие адреса с чистыми.
  • Не закрывать то, что нужно для отрисовки. У Битрикса Google подгружает страницы с параметром bxrand и аякс-блоки — закроете, и робот увидит пустую страницу.
  • Строка Sitemap: с полным адресом. Директива Host больше не нужна.

Проверка: инструмент «Анализ robots.txt» в Вебмастере на нескольких нужных и ненужных адресах.

Шаг 10. Карта сайта

  • Генерировать автоматически по расписанию, а не «один раз при запуске». У магазина штатное задание пересборки было сломано почти год, и карта не обновлялась.
  • Только канонические адреса с ответом 200 — без редиректов, дублей и выключенных товаров.
  • Карта картинок для товаров и статей — отдельный источник трафика из поиска по картинкам (у магазина в ней 15 882 картинки).
  • Старые карты — удалить и отдавать 410, чтобы поисковик перестал их запрашивать.
  • Ловушка Битрикса: генератор не видит разделы, в папке которых нет файла .section.php, — целый раздел «Услуги» выпадал из карты.

Проверка: Вебмастер → «Файлы Sitemap» — без ошибок, число адресов совпадает с ожидаемым.

Шаг 11. Ссылки и редиректы

  • Обойти сайт краулером и собрать все внутренние ссылки.
  • Ссылки на редиректы заменить прямыми. На магазине 937 ссылок в текстах вели на старые адреса через 301.
  • Битые внешние ссылки — снять, мёртвые картинки — убрать.
  • Старые адреса из логов 404 — перенаправить на ближайшую живую страницу: тот же товар в другом разделе, похожий товар, родительский раздел. У магазина таких набралось 210.

Проверка: повторный обход — ноль ссылок на 3xx и 4xx.

Шаг 12. llms.txt и версии для ИИ-ассистентов

ИИ-поиск и ассистенты всё чаще читают сайты напрямую.

  • llms.txt в корне — краткое описание сайта и список главных страниц со ссылками. Многие CMS (в Grav — плагин карты сайта) умеют собирать его сами.
  • Markdown-версии страниц (/page.md) удобны ассистентам, но для поисковиков это дубли. Отдавайте их с заголовком X-Robots-Tag: noindex, follow.

Проверка: https://site.ru/llms.txt открывается, ссылки в нём живые.

Шаг 13. Аналитика и Вебмастер

  • Метрика: фильтрация роботов, отдельный сегмент для ботов накрутки, цели на заявки.
  • Вебмастер и Search Console: карта сайта, переобход изменённых страниц, IndexNow для быстрой индексации новых.
  • Регулярный контроль: еженедельная сводка — трафик, ошибки сервера, страницы в индексе, заявки. Проблемы лучше узнавать из отчёта, а не от клиента.

Что из этого сделать в первую очередь

Если времени мало, порядок такой:

  1. Формы — проверить, что заявки доходят. Это деньги.
  2. Персональные данные — политика, отдельное согласие, уведомление РКН, хранение в России. Это штрафы.
  3. Закрыть служебные файлы и проверить, что кеш не раздаёт cookie. Это безопасность.
  4. Один адрес у страницы + robots.txt + карта сайта. Это индексация.
  5. Скорость — когда первые четыре пункта в порядке.

Хотите, чтобы я прошёл этот чек-лист по вашему сайту? Оставьте заявку — проведу бесплатный технический аудит и пришлю список того, что стоит исправить в первую очередь.

Опубликовано 06.11.2026

Нужен такой же результат?

Расскажите о задаче — проведём бесплатный технический аудит и предложим план работ.