Описание

Функция позволяет получить текст с указанного веб-сайта и, при необходимости, извлечь информацию с его внутренних страниц. Это может быть полезно для сбора данных с сайтов.

Параметры

Параметры, которые можно передать в функцию get_website:

url - URL сайта. Указывает полный адрес веб-страницы, с которой будет извлекаться информация.
recursive - Количество относительных ссылок, с которых нужно будет тоже скачать информацию. По умолчанию равен 10.
pages - Относительные пути страниц сайта через запятую, например: about,contact. Указывает, какие конкретные страницы нужно обработать. По умолчанию пусто.
page_text_limit - Ограничение на длину текста, получаемого с одной страницы. По умолчанию равен 0 без ограничений .
file_export - Если нужно получить ответ в виде файла в формате .txt со всем скаченным текстом с сайта. По умолчанию равен 0 не экспортировать .

Примеры использования

"Пожалуйста, скачай текст с сайта https://example.com и извлеки информацию с 5 внутренних страниц."

"Получить текст с сайта https://example.com с ограничением на длину текста 500 символов и экспортировать в файл."

"Скачай информацию с сайта https://example.com, включая страницы about и contact."

Кейсы