[2021.07.08] 인턴 +129 How to set up crawling in Linux (AWS EC2 Ubuntu 20.04)? (+How to install selenium in Linux?)
이 게시글은, AWS EC2를 만들 때, 버전이 Amazon Linux 2 AMI 가 아닌, Ubuntu20.04 에서 크롤링 개발 환경 설정 방법이다.
그렇기 때문에, Amazon Linux 2 AMI 와 Ubuntu20.04 에서 각각 리눅스에서 크롤링을 설정하는 방법이 다름
https://injekim97.tistory.com/298?category=942698
[2021.07.07] 인턴 +128 How to set up crawling in Linux (Amazon Linux 2 AMI)? :: 기초부터 다지는 공부기록
injekim97.tistory.com
-> 해당 게시글은 AWS EC2 에서 Amazon Linux 2 AMI 버전으로 리눅스에서 크롤링 개발 환경 설정 방법이다.
-------------------------------------------------------------------------------------------------------------------------
자, 이제 AWS EC2 Ubuntu20.04 에서 크롤링 개발 환경 설정 방법에 대해 알아보자.
처음 AWS EC2 Ubuntu20.04에서는 pip 모듈이 작동 X
Ubuntu20.04에서 pip 모듈 설치하는 방법 (꼭 순차적으로 진행할 것)
sudo apt update
sudo apt install python3-pip
pip3 --version
----------------------------------------------------------------------------------------------------------------------
자, 이제 pip를 통해 Ubuntu20.04에 크롤링 환경을 설정하는 법에 대해 알아보자.
sudo python3 -m pip install selenium
2. 아래의 순차적으로 컨트롤 + C , 컨트롤 + V해서 명령어 붙여넣음
wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | sudo apt-key add -
sudo sh -c 'echo "deb http://dl.google.com/linux/chrome/deb/ stable main" >> /etc/apt/sources.list.d/google-chrome.list'
sudo apt-get update
sudo apt-get install google-chrome-stable
4. 구글 크롬 버전 확인하기
google-chrome --version
5. 위의 버전에 맞게, google webdriver Linux용 설치
https://chromedriver.chromium.org/downloads
ChromeDriver - WebDriver for Chrome - Downloads
Current Releases If you are using Chrome version 92, please download ChromeDriver 92.0.4515.43 If you are using Chrome version 91, please download ChromeDriver 91.0.4472.101 If you are using Chrome version 90, please download ChromeDriver 90.0.4430.24 If y
chromedriver.chromium.org
링크주소 복사 후
sudo wget 컨트롤+v
wget https://chromedriver.storage.googleapis.com/91.0.4472.101/chromedriver_linux64.zip
5. chromedriver 압축 풀기
sudo apt install unzip
unzip *.zip6. 그런 후에, chromedriver가 있는 경로에서 아래 명령어 수행
sudo mv chromedriver /usr/local/bin
-------------------------------------------------------------------------------------------------------------------------------
<linux에서 python3 모듈 패키지 설치하는 방법(pymysql)>
python3 -m pip install pymysql
<linux에서 crontab 설치 및 기능 사용 방법>
pip install crontab
cron 시작, 정지, 재시작 (Ubuntu20.04)
sudo service cron start
sudo service cron stop
sudo service cron restart
<systemctl 등록됐는지 확인 방법>
systemctl status cron.service
댓글