본문 바로가기

Data/Crawling31

[2021.07.05] 인턴 +126 How to add data to AWS DB (in Python)? [2021.07.05] 인턴 +126 How to add data to AWS DB (in Python)? 파이썬을 이용하여, AWS DB에 데이터를 넣는 방법에 대해 알아보도록 하자. 우선, AWS DB에 연동하기 위해 EC2-인스턴스를 만든 후, 가상머신에 접속하여, Mysql을 설치 해줘야 한다. -> 개인정보를 위해, 퍼블릭 IPv4 DNS 값을 넣어주면 된다. (해당 계정은 IAM이 아닌 ROOT 계정임) +@ VS CODE에서 mysql 사용하는 방법 - 해당 사진에서 VS CODE에서 mysql 설치하는 방법은 생략함(awstoolkit 설치하듯이, mysql 검색하여 설치하면 됨) -> 설치를 했다면, 해당 페이지 처럼 Connect가 뜨는데, Host,Username,Port,Passwo.. 2021. 7. 5.
[2021.07.01] 인턴 +122 How to Use Crawling in AWS Lambda with Selenium Module? [2021.07.01] 인턴 +122 How to Use Crawling in AWS Lambda with Selenium Module? https://docs.aws.amazon.com/lambda/latest/dg/welcome.html What is AWS Lambda? - AWS Lambda In the AWS Lambda Developer Guide, we assume that you have experience with coding, compiling, and deploying programs using one of the supported languages. docs.aws.amazon.com -> aws lambda document AWS 클라우드 공부를 약 2주정도 시간을 투자하여, 내가.. 2021. 7. 1.
[2021.06.29] 인턴 +120 How to create user-agent in python? [2021.06.29] 인턴 +120 How to create user-agent in python? 해당 게시글은, Cloud(AWS,Azure,Google-cloud) 에서, crawling을 할 때 가짜 계정을 만들어서, 우회하는 방법이다. pip install fake_useragent -> 해당 명령어로 fake_useragent 모듈을 설치하자. How to create user-agent in python(samele code) from selenium import webdriver from selenium.webdriver.chrome.options import Options from fake_useragent import UserAgent options = Options() ua = Us.. 2021. 6. 29.
[2021.05.12] 인턴 +72 CSV 파일을 읽어오는 방법 (일부분 값 추출 방법도 포함) [2021.05.12] 인턴 +72 CSV 파일을 읽어오는 방법 (일부분 값 추출 방법도 포함) import pandas as pd # csv file loading data = pd.read_csv("C:\/python_file\/0512test_update_crawling.csv") data # print문을 쓰면 못생기게 나옴, print문 생략할 것, 그리고 print문이 없을 땐 젤 마지막에 써야 값이 나옴 자, 이제 인스타그램에서 크롤링해서 저장한 CSV 파일의 코드를 가져와서 필요한 부분을 추출해보자. -----------------------------------------------------------------------------------------------------------.. 2021. 5. 12.
[2021.05.11] 인턴 +71 (최종) - 저장된 CSV 데이터를 읽어서, 인플루언서 업데이트 비교(리팩토링O, 조건1-3 포함) 보호되어 있는 글 입니다. 2021. 5. 11.
[2021.05.10] 인턴 +70 (최종) - 인스타그램 인플루언서 젤 위의 상단 포스트 3개 데이터 추출 후 CSV변환 (리팩토링 O,조건 4-5) 보호되어 있는 글 입니다. 2021. 5. 10.

티스토리툴바