Источник — это место, откуда приходят новости. Вы не настраиваете их вручную в формах: каждый источник — это небольшой текстовый файл настроек, который создаёт и правит ваш агент. Вы просто говорите, что подключить, а он разбирается с полями и проверяет, что источник отвечает.
Что такое источник
У каждого источника есть свой ключ — короткое имя, которым он дальше везде называется: в списках, в правилах, в карточках событий. Рядом с ключом хранятся адрес, расписание проверок, при необходимости свои заголовки или доступ через прокси-сервер, а ещё теги — по ним потом удобно отбирать события.
«Мастер настройки» в этом продукте — не отдельный экран, а ваш агент. Если вы не знаете, какую ленту взять с сайта, просто назовите адрес сайта: агент умеет искать ленты по странице сам.
Четырнадцать типов источников
- Лента — обычная новостная лента формата RSS 2.0, Atom 1.0 или JSON Feed 1.1. Формат распознаётся сам, указывать его не нужно. Самый простой и надёжный вид источника.
- Страница — слежение за страницей целиком. Материалы при этом не собираются: смысл в том, чтобы заметить изменение самой страницы. Подходит для страниц «о компании», тарифов, условий доставки.
- Список — страница, у которой нет ленты, превращается в поток записей: вы указываете, какие блоки страницы считаются товарами или объявлениями, а агент разбирает их в отдельные материалы. Так работают каталоги и доски объявлений.
- Запрос к сервису — источник обращается к службе по адресу и разбирает ответ. Нужен, когда у сервиса есть программный доступ, но нет готовой ленты.
- Поиск — сохранённый поисковый запрос: «всё, где упоминается название компании». Можно ограничить домены, свежесть и язык — чтобы в материалы не попадал мусор многолетней давности.
- Карта сайта — файл перечисления страниц сайта. Новые страницы, появившиеся в нём, приходят как материалы. Удобно для сайтов, где новости не отдают лентой, зато всегда есть карта.
- Публичный Telegram-канал — агент читает последние посты по открытому адресу канала и отдельно отмечает посты, которые были удалены в просмотренном окне.
- Приём материалов — пассивный источник: ничего не опрашивается, материалы приходят снаружи. Так подключаются почтовые рассылки — их пересылает на адрес приёма ваш почтовый сервис.
- Документ — слежение за файлом: агент замечает изменение размера и содержимого (по контрольной сумме). Подходит для прайс-листов и регламентов, которые выкладывают файлом.
- Reddit — публичное сообщество или подборка сообществ.
- YouTube — канал, автор или список воспроизведения: новые видео приходят как материалы с описанием.
- Подкасты — выпуски передачи приходят как материалы с описанием серии.
- Fediverse — учётная запись в Mastodon и подобных сетях: агент читает открытые публикации.
- Отзывы — публичная страница отзывов разбирается на отдельные отзывы, а оценка (например, «4,6») становится значением, за которым можно следить: «сообщи, если средняя оценка упадёт ниже 4,0».
Что общего у всех источников
- Расписание — как часто проверять источник. Проверку можно поставить на паузу и запустить немедленно.
- Здоровье — состояние источника: «в порядке», «серия сбоев», «ошибка», «пауза», «ждёт первой проверки». Рядом — журнал проверок: что нашлось, сколько новых материалов, что ответил сайт.
- Ограничение частоты — сколько запросов в минуту разрешено этому источнику. По умолчанию один запрос в минуту, чтобы не раздражать чужие сайты.
- Свой доступ — отдельному источнику можно задать свой прокси-сервер, свои заголовки запроса и свой способ доступа, не трогая остальные.
- Теги — метки источника («конкуренты», «поставщики», «отрасль»). По ним потом строятся правила и оповещения.
Поиск лент и перенос списка источников
Агент умеет искать ленты по адресу сайта, в том числе для YouTube, GitHub, Reddit и Mastodon — там лента прячется за неочевидным адресом.
Список источников можно выгрузить в файл формата OPML — это простой файл с перечнем адресов, понятный почти всем программам чтения новостей, — и загрузить такой файл обратно. Полезно при переезде: разом переносится список источников. Но честно: OPML переносит только список. Расписания, теги и уже собранные материалы в этот файл не попадают.
Честные ограничения
- Только публичные Telegram-каналы. Закрытые каналы требуют отдельного бота или специального доступа — этого в первой версии нет.
- Сайты, куда нужно входить, открываются вашими сохранёнными куки. Автоматический вход по логину и паролю продукт не выполняет: закончилась сессия — источник честно сообщит, что доступ потерян, а не сделает вид, что «изменений нет».
- X (Twitter), Instagram и TikTok не поддерживаются. Их условия работы делают сбор невыгодным и хрупким — лучше не обещать того, что сломается через месяц.
Дальше: как агент ходит по источникам, хранит страницы и отсеивает повторы — в разделе Сбор, вежливость и архив.
Дальше → Сбор, вежливость и архив