Respond
В будущий единорог требуется middle+/senior Python разработчик с опытом web scrapping сложных сайтов.
Задачи:
- Автоматизация скраппинга информации с крупных новостных порталов с высокой частотой запросов
- Разработка и поддержка пайплайнов по обработке и сохранению полученной информации
- Разработка архитектуры проектов по скрапингу данных и их хранению
Наши пожелания к опыту кандидата:
- Уверенное знание python 3.6+ и опыт коммерческой разработки на нем от 3-х лет
- Уверенное знание SQL и опыт работы с любой реляционной базой данных (предпочтительно MySql)
- Уверенное знание и опыт работы по парсингу web сайтов
- Отличное знание JS html css
- Умение настраивать прокси и обходить защиту от скрапинга данных
- Опыт работы с Git
Будет огромным плюсом:
- Опыт написания и поддержки асинхронных сервисов (asyncio + aiohttp/tornado e.t.c.)
- Знания и опыт работы со Scrapy или его аналогами
- Опыт работы с Selenium
Что мы предлагаем:
- Возможность с нуля создать продвинутую систему по скрапингу данных на современно стэке технологии, который вы можете выбрать сами
- Возможность в будущем вырасти в тим лида или архитектора и подобрать команду разработки под себя
- Конкурентную зарплату по рынку, так что печеньки купите себе сами