본문 바로가기

Data72

[2021.07.12~14] 인턴 +133 특정 사이트(ㅂㄹㄱㅈㄱㄷ) crawling 실습8 on 로컬 PC 보호되어 있는 글 입니다. 2021. 7. 12.
[2021.07.07] 인턴 +128 How to set up crawling in Linux (Amazon Linux 2 AMI)? [2021.07.07] 인턴 +128 How to set up crawling in Linux (Amazon Linux 2 AMI)? -> AWS EC2를 만들때 설정한 환경이다. 해당 게시글은 , EC2 버전 환경 : Amazon Linux 2 AMI (HVM), SSD Volume Type -> yum 을 통해 pip를 설치 해야함 -> 또한, ssh -i *.pem userid=ec2-user@ipv4주소로 접속가능함. 2021-07-08 17:40 게시물 클릭 에러발생 (페이지 로딩전에 클릭을 했기 때문에 에러가 발생함) * 해결방법: 1daysago,after1day의 모든 time.sleep()부분을 time.sleep(10) 으로 수정해준다. ---------------------------.. 2021. 7. 7.
[2021.07.06~14] 인턴 +127 특정 사이트(?-talk) crawling 실습7 in 로컬 PC 보호되어 있는 글 입니다. 2021. 7. 6.
[2021.07.05] 인턴 +126 How to add data to AWS DB (in Python)? [2021.07.05] 인턴 +126 How to add data to AWS DB (in Python)? 파이썬을 이용하여, AWS DB에 데이터를 넣는 방법에 대해 알아보도록 하자. 우선, AWS DB에 연동하기 위해 EC2-인스턴스를 만든 후, 가상머신에 접속하여, Mysql을 설치 해줘야 한다. -> 개인정보를 위해, 퍼블릭 IPv4 DNS 값을 넣어주면 된다. (해당 계정은 IAM이 아닌 ROOT 계정임) +@ VS CODE에서 mysql 사용하는 방법 - 해당 사진에서 VS CODE에서 mysql 설치하는 방법은 생략함(awstoolkit 설치하듯이, mysql 검색하여 설치하면 됨) -> 설치를 했다면, 해당 페이지 처럼 Connect가 뜨는데, Host,Username,Port,Passwo.. 2021. 7. 5.
[2021.07.01] 인턴 +122 How to Use Crawling in AWS Lambda with Selenium Module? [2021.07.01] 인턴 +122 How to Use Crawling in AWS Lambda with Selenium Module? https://docs.aws.amazon.com/lambda/latest/dg/welcome.html What is AWS Lambda? - AWS Lambda In the AWS Lambda Developer Guide, we assume that you have experience with coding, compiling, and deploying programs using one of the supported languages. docs.aws.amazon.com -> aws lambda document AWS 클라우드 공부를 약 2주정도 시간을 투자하여, 내가.. 2021. 7. 1.
[2021.06.29] 인턴 +120 How to create user-agent in python? [2021.06.29] 인턴 +120 How to create user-agent in python? 해당 게시글은, Cloud(AWS,Azure,Google-cloud) 에서, crawling을 할 때 가짜 계정을 만들어서, 우회하는 방법이다. pip install fake_useragent -> 해당 명령어로 fake_useragent 모듈을 설치하자. How to create user-agent in python(samele code) from selenium import webdriver from selenium.webdriver.chrome.options import Options from fake_useragent import UserAgent options = Options() ua = Us.. 2021. 6. 29.