NLP: win10 + PyCharm + tensorflow-Берт + GPU рвота отделка

Рассказывая несколько дней назад, чтобы начать обучение с использованием Bert, в первую очередь, есть два, один Берт Google с открытым исходным кодом оригинала, один pytorch версия, здесь мы знакомятся Бертом оригинала, обеспечивая больший контроль над оригиналом секс, если вы хотите сохранить можно непосредственно использовать второй.

 A, требования питона

Следует отметить , что tensorflow графических процессоров в настоящее время поддерживает только 2.7,3.3-3.6 , если вы не ту версию питона, самостоятельного перезаряжания (или использовать следующие виртуальные среды).

 Во-вторых, Anaconda3 установка + tensorflow-GPU

Установите этот материал самостоятельно в случайном порядке, я установил для быстрее установок GPU-tensorflow . пип установить его снаружи установлена сеть, не то, что медленно, легче повесить трубку, так что использование этого, сам процесс установки Baidu.

Во-первых, создать версию пользовательской среды питона (предел версии выше)

Open Anaconda Подскажите , положение Anaconda в начале папки файла.

conda create -n learn python=3.6
learn:环境名字，自定义
python=3.6:python版本号

Во-вторых, установка tensorflow-GPU

Здесь я хотел бы напомнить, последнюю версию Берт необходимости tensorflow-GPU> 1.10.0 , в противном случае они будут сообщены следующее сообщение об ошибке

AttributeError: module 'tensorflow.contrib.tpu' has no attribute 'InputPipelineConfig'

Там не может быть непосредственно PIP , поскольку он будет непосредственно установить последнюю ссылку: https://www.tensorflow.org/install/source_windows , ссылка не может превратить стену:

====接上面创建完环境===
activate learn           激活环境
pip install tensorflow-gpu==1.10.0       安装

Не может быть установлен непосредственно, вам необходимо установить cuDNN, CUDA

В-третьих, установка cuDNN + CUDA

Две версии выше ссылки, здесь CUDA9 + cuDNN7

Во-первых, установить CUDA9

Адрес: https://developer.nvidia.com/cuda-toolkit-archive

После выбора локальной, на самом деле, а не большая разницы между онлайн установкой, автономной установкой.

Процесс установки по умолчанию не сказать, если вы выбрали обычай, три не помню , чтобы поместить папку! ! ! Обязательно , чтобы отличить его! ! !

 Это мои папки пользовательских файлов.

Во-вторых, cuDNN7 установка

Адрес: https://developer.nvidia.com/cudnn , это нужно войти, но вы можете использовать микро письмо, QQ необходимо проверить с почтовым ящиком, но вы не получаете электронную почту.

Обязательно обратите внимание на версию! ! ! А затем выберите window10, на нем.

Загруженный сжатый пакет здесь не cudnn 9 версии, но версия CUDA, за v7 это , что:

В передней части высокой энергии! ! !

Вот первые три файла не двигается, перед установкой Cuda три папки Если по умолчанию

Если обычай таков: имя папки здесь мой обычай , обычай должен различать, образец, документацию и последнюю, чтобы различать.

Три сжатых файлов в папке cuDNN ( по одному для каждой папки) помещаются внутри три Toolkit папки , соответствующая файлу, и образец документации не помните, что это сжатый файл, а не папки , копируются в соответствующий каталог.

В-третьих, определить переменную окружения

Следующие переменные среды в линии на пути внутрь.

E:\GPU\NVIDIA GPU Computing Toolkit\bin\cudart64_90.dll;
E:\GPU\NVIDIA GPU Computing Toolkit\lib\x64;
E:\GPU\NVIDIA GPU Computing Toolkit\include;
E:\GPU\NVIDIA GPU Computing Toolkit\extras\CUPTI\libx64;
E:\GPU\NVIDIA Corporation Samples\bin\win64;
E:\GPU\NVIDIA Corporation Samples\common\lib\x64;
E:\GPU\NVIDIA GPU Computing Toolkit\bin;
E:\GPU\NVIDIA GPU Computing Toolkit\libnvvp;

На этот раз вы найдете все еще не может запустить tensorflow-GPU, на этот раз вы сохранить все, перезагрузить компьютер, вы можете использовать. NAVIDA необходимость повторной идентификации.

В-четвертых, яма!

Берт запуска вы найдете INFO: tensorflow: Запуск поезда на CPU , FML, магия это, на самом деле, не имеет значения, это просто означает , что не на ТПУ, но включает в себя процессор и GPU, то вы найдете:

name: GeForce GTX 960M major: 5 minor: 0 memoryClockRate(GHz): 1.176
pciBusID: 0000:01:00.0
totalMemory: 4.00GiB freeMemory: 3.35GiB

Это не идти на GPU все же, что делает меня много тяжелой техники.