Scrapy - Scrapy - Wikipedia
 | |
| Разработчики) | Scrapinghub, Ltd. |
|---|---|
| изначальный выпуск | 26 июня 2008 г. |
| Стабильный выпуск | 2.4.1 / 17 ноября 2020[1] |
| Репозиторий |  |
| Написано в | Python |
| Операционная система | Windows, macOS, Linux |
| Тип | Поисковый робот |
| Лицензия | Лицензия BSD |
| Интернет сайт | скрап |
Scrapy (/ˈskрeɪпаɪ/ SKRAY-пай ) это бесплатно и с открытым исходным кодом веб-сканирование рамки написано на Python. Первоначально разработанный для парсинга веб-страниц, он также может использоваться для извлечения данных с помощью API или как универсальный поисковый робот.[2] В настоящее время поддерживается Scrapinghub Ltd., компания по разработке и обслуживанию веб-скрейпинга.
Архитектура проекта Scrapy построена на «пауках», которые представляют собой автономные поисковые роботы, которым предоставляется набор инструкций. Следуя духу других не повторяйся фреймворки, такие как Джанго,[3] это упрощает создание и масштабирование больших проектов сканирования, позволяя разработчикам повторно использовать свой код. Scrapy также обеспечивает сканирование ракушка, который может использоваться разработчиками для проверки своих предположений о поведении сайта.[4]
Некоторые известные компании и продукты, использующие Scrapy: Lyst,[5] [6] Parse.ly,[7] Sayone Technologies[8], Наук По Медиалаб,[9] Data.gov.uk Сайт World Government Data.[10][1]
История
Scrapy родился в лондонской компании Mydeco, занимающейся агрегацией веб-сайтов и электронной коммерции, где он был разработан и поддержан сотрудниками Mydeco и Insophia (консалтинговой компании, базирующейся в г. Монтевидео, Уругвай). Первый публичный релиз состоялся в августе 2008 года под Лицензия BSD, а релиз 1.0 состоится в июне 2015 года.[11] В 2011 году новым официальным сопровождающим стал Scrapinghub.[12][13]
Рекомендации
- ^ «Примечания к выпуску - документация Scrapy». doc.scrapy.org. Получено 18 ноября 2020.
- ^ Краткий обзор Scrapy.
- ^ "Часто задаваемые вопросы". Получено 28 июля 2015.
- ^ «Скорлупа Scrapy». Получено 28 июля 2015.
- ^ Белл, Эдди; Хойссер, Джонатан. «Масштабируемый парсинг с использованием машинного обучения». Получено 28 июля 2015.
- ^ Scrapy | Компании, использующие Scrapy
- ^ Монталенти, Эндрю. «Веб-сканирование и извлечение метаданных в Python».
- ^ "Компании по переработке отходов". Сайт Scrapy.
- ^ Hyphe v0.0.0: вышел первый выпуск нашего нового веб-краулера!
- ^ Бен Фиршман [@bfirsh] (21 января 2010 г.). "Сайт World Govt Data использует Django, Solr, Haystack, Scrapy и другие интересные модные словечки bit.ly/5jU3La #opendata #datastore" (Твит) - через Twitter.
- ^ Медина, Юлия (19 июня 2015 г.). "Вышел официальный релиз Scrapy 1.0!". scrapy-пользователи (Список рассылки).
- ^ Пабло Хоффман (2013). Список основных авторов и соавторов. Получено 18 ноября 2013.
- ^ Центр поиска интервью.