Парсер киносайта или как создать свой киносайт
Задача по парсингу киносайта приходит в голову каждому вебмастеру, который решил создать свой киносайт. Наполнение контентом - важная часть работы над таким сайтом. И тут есть несколько вариантов как вы поступите.
- Поиск фильмов на одном из популярных кино-энциклопедий типа кинопоиска или Imdb и ручное копирование на свой сайт нужной информации по фильмам.
- Скрипт или программа, которая сможет спарсить из чужого киносайта всю необходимую информацию прямо на ваш сайт.
Так же я видел, как мой друг успешно продвинул киносайт в бурже, и обогнал своих конкурентов, используя DLE. Так что выбор движка для киносайта очевиден.
После установки CMS и шаблона для вашего будущего сайта, можно приступать к парсингу киносайта. Для этого нам понадобиться выбрать программу для парсинга. Мы рассмотрим как полнофункциональные платные решения и плагины под DLE для парсинга, так и бесплатные поделки.
Процесс парсинга разбит на 3 части.
- Сбор данных с сайта донора
- Обработка взятых данных в окончательный вид для публикации на вашем сайте
- Импорт проекта на ваш сайт на DLE
Связка Content Downloader + Zebroid. Первый скачивает контент с нужного нам сайта донора, другой обрабатывает и уникализирует контент и имеет модуль для импорта в DLE и другие популярные движки.
Суммарно эти два продукта стоят чуть более 10000 рублей. Это единоразовое вложение в профессиональные инструменты, я использую их уже почти 10 лет. В дальнейшем их можно использовать не только для создания киносайтов но и парсинга + публикации с других видов сайтов, для вебмастера мастхэв.
- Скачать Content Downloader
- Скачать Zebroid
Парсинг киносайта (пример)
Процесс парсинга через Content Downloader очень прост и интуитивно понятен. Запускаем программу для парсинга, создаем новый проект, все как и в других программах. Вот пошаговый процесс со скриншотами.Сканер сайта и сбор ссылок
Понадобиться нам, для того, чтобы собрать все ссылки на фильмы.Указываем домен на сайт, с которого требуется спарсить данные.
Теперь самое главное! Так как мы выбрали для парсинга сайт kinogo, идем туда сначала и открываем страницу с любым фильмом. Важно посмотреть ссылку страницы.
Вставляем .html в фильтр для сбора ссылок, чтобы собирался список ссылок с фильмами из kinogo
Задание границ парсинга
Далее настраиваем границы парсинга. Простым языком говоря, места на страницах, которые мы будем парсить. Такие как название фильма, картинка постера, год выпуска и даже iframe плеер с фильмом.Затем остается только нажать на две кнопки, это кнопка авто и готово в правом верхнем углу.
И тогда выбранная часть сохранится. Чтобы протестировать, будет ли программа при парсинге забирать заданный участок с названием фильма, нажмите два раза на сохраненную границу для парсинга, в нашем случае добавить макрос <CD_GRAN_1!>, что выведет название фильма.
Вывод и сохранение результатов парсинга
Затем нажмите на любую ссылку в списке для парсинга и посмотрите на вывод.Просто запустите процесс и ждите завершения. Есть еще множество настроек и нюансов, с которыми можно ознакомиться на сайте программы, там есть подробная документация с видеоуроками.
Обработка в zebroid
Про обработку спасенных данных подробно я напишу отдельный пост. Сейчас же просто хочу показать вообщем, как это происходит. Работа с программой начинается с импорт сохраненных данных из парсера.Можно уникализировать текст и картинки. Если картинок и видео нет, но вы хотите их добавить, программа сама найдет подходящие и равномерно вставит их на ваши страницы. Тут есть функции перевода, если вы хотите перевести сайт на другой язык.
Установив плагин на DLE или другие CMS, вы сможете с легкостью эскпортировать готовый результат на сайт и даже запланировать постепенную публикацию, чтобы не публиковать все сразу, и сделать самонаполняемый сайт.
Comments
Post a Comment