구름ide로 웹 크롤링을 따라하려다 걸림돌이 생겼다. 크롬 드라이버를 설치하고 실행해야 하는데, pc가 아니라 chrome의 버전이 따로 없었다.
다행히 조코딩님의 채널에 관련 링크가 있어서 설치가 가능했다.
[구름ide의 도움말]
help.goorm.io/ko/goormide/18.faq/language-and-environment/selenium-chromewebdriver
크롤링할 때 selenium을 사용하면 웹페이지가 변경 되더라도 사용할 수 있다.
구름ide에 접속하여 selenium을 설치하겠다.
터미널에서 pip3 install selenium 명령어를 실행하면 설치가 진행된다.
크롬을 설치해야하는데, 설치는 복사해서 붙여 넣으면 설치가 진행된다.
[설치명령어] 해당 명령어는 위 링크에서 복사 가능하다.
wget -q -O - dl-ssl.google.com/linux/linux_signing_key.pub | apt-key add -
echo 'deb [arch=amd64] dl.google.com/linux/chrome/deb/ sources.list.d/google-chrome.list
apt-get update
apt-get install -y google-chrome-stable
크롬이 설치 되었으니 버전을 확인해 보자
터미널에 google-chrome --version 명령으로 확인한다.
해당 버전에 맞는 chromedriver를 찾아보자.
chromedriver.chromium.org/downloads이곳에서 확인이 가능하다.
터미널에서 확인한 버전 87.××......을 설치해야하는데, 터미널에서 명령을 실행해야한다.
wget -N chromedriver.storage.googleapis.com/[크롬 드라이버 버전]chromedriver_linux64.zip
다운로드를 완료하면 설치하는 명령어를 입력한다.
unzip chromedriver_linux64.zip
chmod +x chromedriver
mv -f chromedriver /usr/local/share/chromedriver
ln -s /usr/local/share/chromedriver /usr/local/bin/chromedriver
ln -s /usr/local/share/chromedriver /usr/bin/chromedriver
rm chromedriver_linux64.zip
apt-get update
apt-get install -y libgconf-2-4
이제 설치가 완료 되었다.
완료된 후 주의사항이 가상환경이라 head 부분에 추가 구문이 있다.
options.add_argument("--headless")
해당 부분이 들어가서 웹페이지가 뜨지 않게 해야 한다. 가상환경이라 뷰를 제공하지.않는다는 내용으로 위의 링크로 들어가면 해당 설명은 확인할 수 있다.
[예제]
from selenium import webdriver
from selenium.webdriver.chrome.options
import Options
options = Options()
options.add_argument("--headless")
options.add_argument("--no-sandbox")
webdriver.Chrome(options=options)
driver.get('https://google.com')
driver.quit()
환경설정이 끝났으니, 이제 이미지 크롤링도 도전해 보자!
[다음편은 아래에]
2020/12/08 - [모바일환경코딩/python] - [모바일환경 코딩] - 구름ide이용하여 selenium 설치 및 chrome설치
'모바일환경코딩 > python' 카테고리의 다른 글
[웹크롤링 따라하기] 구름ide에서 python가상환경 selenium모듈로 이미지크롤링 따라하기 - 3 (0) | 2020.12.29 |
---|---|
[웹크롤링 따라하기] 구름ide에서 python가상환경 selenium모듈로 이미지크롤링 따라하기 - 2 (0) | 2020.12.24 |
[웹크롤링 따라하기] 구름ide에서 python가상환경 selenium모듈로 이미지크롤링 따라하기 - 1 (2) | 2020.12.15 |
[모바일환경에서 코딩 따라하기] 구름IDE에서 코드 편집 (0) | 2020.12.06 |
[모바일환경에서 코딩 따라하기] python가상환경 설정 및 실행해 보기 (0) | 2020.12.02 |