Шаги по установке фреймворка Scrapy на Python 2.7

Из-за требований дипломного проекта, необходимо собирать的大量数据 на веб-сайте, использование фреймворка Scrapy может значительно упростить этот процесс,毕竟Scrapy - это прикладная платформа, написанная для сбора данных с веб-сайтов и извлечения структурированных данных. Таким образом, начался мой путь к установке фреймворка Scrapy. Можно сказать, что этот процесс был не слишком приятным, и возникали различные ошибки, но в конце концов, фреймворк Scrapy был установлен. Ниже я总结了 процесс установки моего фреймворка Scrapy.

1. Установка python2.7

Поскольку Scrapy не поддерживает Python3.0, я удалил Python3.0 и重新 установил Python2.7 (пакет установки python2.7). При установке Python2.7 есть опция автоматического настройки переменных окружения, рекомендуется включить эту опцию, чтобы избежать добавления переменных окружения позже. Мы добавляем переменные окружения позже, это означает, что мы добавляем эти две строки в переменную окружения path системы на основе фактического места установки.

После конфигурации окружения мы проверяем, успешно ли мы установили и настроили окружение. Достаточно ввести python –version в cmd, и если будет отображаться правильная версия python, это означает, что все в порядке. Если версия не отображается, попробуйте перезагрузить cmd.

2. Установка pywin32

После установки и конфигурации python2.7 мы не можем напрямую устанавливать Scrapy, сначала нам нужно установить несколько инструментов, необходимых для Scrapy. Далее устанавливаем pywin32 (пакет установки pywin32), при установке этого программного обеспечения можно просто нажимать next.

3. Установка pip

pip на самом деле является удобным онлайн-инструментом для установки программного обеспечения, аналогичным easy install. Мы устанавливаем pip, и в будущем мы можем использовать команду pip install для установки программного обеспечения. Сначала нам нужно загрузить get-pip.py (файл get-pip.py) После завершения загрузки мы устанавливаем его в cmd, сначала переключаемся в каталог файла, затем вводим команду python get-pip.py, и мы можем начать установку, но出现了最头疼的问题，из-за того, что этот файл автоматически записывает некоторые конфигурационные файлы в нашу папку пользователей на диске C, а моя папка пользователей имеет китайское имя, это вызывает异常 кодировки.

После一番查找资料，我终于解决了这个问题， чтобы решить проблему с китайскими путями, нам нужно создать новый каталог в D:\python27\Lib\site-packages.
файл sitecustomize.py.

Затем в файле введите следующий код:

import sys
reload(sys)
sys.setdefaultencoding('gbk')

Конечно, не обязательно устанавливать кодировку gbk, это зависит от кодировки вашего компьютера. Таким образом, проблема с китайскими путями решена, и после перезагрузки cmd и выполнения команды установки pip, pip顺利完成。После установки мы можем провести проверку, в cmd ввести pip –version, если будет отображаться правильный номер версии, это означает, что все в порядке.

4. Установка lxml

После завершения установки pip я хотел легко использовать команду pip install lxml для установки, но произошло неожиданное. Из-за того, что pip требует среды vc2008, и только 2008, 2013 не подходит. Чтобы использовать этот инструмент, пришлось обращаться к Даме Умению (Google), и наконец было найдено решение. Оказывается, Microsoft предоставил нам VcForPython (установочный пакет VCForPython), и таким образом мы не должны устанавливать VC2008. После этого мы можем использовать pip install lxml для установки.

5. Установка pyOpenSSL

Во время установки этого инструмента мы можем использовать команду pip install pyOpenSSL для установки, скорость установки зависит от скорости Интернета.

6. Установка Scrapy

Наконец-то мы пережили волну трудностей и можем установить фреймворк Scrapy. После ввода команды pip install Scrapy в cmd мы можем ждать радости успеха. После завершения установки мы вводим Scrapy в cmd, чтобы проверить, был ли он действительно установлен успешно.

Наконец-то установлено, есть немного чувства成就感。

Вот и все, что есть в этой статье, надеюсь, это поможет вам в изучении, и希望大家多多支持呐喊教程。

Объявление: содержание этой статьи взято из Интернета, авторские права принадлежат соответствующему автору, контент был предложен и загружен пользователями Интернета, сайт не имеет права собственности, не был обработан вручную, и не несет ответственности за связанные с этим юридические вопросы. Если вы обнаружите подозрительное содержимое, пожалуйста, отправьте письмо по адресу: notice#oldtoolbag.com (при отправке письма, пожалуйста, замените # на @) для сообщения о нарушении авторских прав,并提供 соответствующие доказательства. При подтверждении, сайт немедленно удаляет涉嫌侵权的内容.