Continue with Github 와 같이 회원가입을 진행한다.
스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
git clone https://github.com/your_name/your_unique_repo.git
virtualenv venv
source venv/Scripts/activate
pip install dash plotly Flask pandas gunicorn psycopg2-binary SQLAlchemy Flask-SQLAlchemy
app.py, Procfile, runtime.txt, requirements.txt 파일이 필요하다.# -*- coding:utf-8 -*-
from flask import Flask
app = Flask(__name__)
@app.route('/')
def index():
return "Hello World"
web: gunicorn app:app
python-3.9.12
Root 경로에서 아래와 같이 실행한다.pip freeze > requirements.txt
$ ls
app.py Procfile README.md requirements.txt runtime.txt venv/
from app import app
if __name__ == "__main__":
app.run(threaded=True, port=5000)
heroku login
heroku create your_project_repo
git add .
git commit -m "initial updated"
git push # github repo에 추가
git push heroku main
스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.virtualenv venv
pip install Flask psycopg2 SQLAlchemy pandas gunicorn
# -*- coding: utf-8 -*-
from flask import Flask
app = Flask(__name__)
@app.route("/")
def index():
return "Hello World!"
3개의 파일이 필요하다.
Procfile 을 생성한다.web: gunicorn index:server
index 파일명을 의미한다.server = app.server 을 추가한다.app = dash.Dash(__name__, meta_tags=[{"name": "viewport",
"content": "width=device-width"}])
server = app.server
runtime.txt)python-3.8.7
Heroku 회원가입을 안했다면, 진행한다.
Windows와 Virtualenv를 활용하여 빠르게 App 배포를 해본다.
C:\Program Files\heroku\bin
$ heroku -v
heroku/7.53.0 win32-x64 node-v12.21.0
(base)
$ heroku login
heroku: Press any key to open up the browser to login or q to exit:
Opening browser to https://cli-auth.heroku.com/auth/cli/browser/93982084-f22f-4a6b-b347-94f1aa4b6b47?requestor=SFMyNTY.g2gDbQAAAA4xMTIuMTQ0LjIyOC43Nm4GACiKMnR9AWIAAVGA.j9hng63oLOpCVOcHcWyOYDqT4s11jMHDtEesGw5xUD4
heroku: Waiting for login...
Logging in... done
Logged in as your_email@gmail.com
$ git clone https://github.com/your_name/heroku-app-green.git
$ heroku create heroku-app
» Warning: heroku update available from 7.53.0 to 7.59.2.
Creating heroku-app... !
! Name heroku-app is already taken
$ heroku create heroku-app-green
» Warning: heroku update available from 7.53.0 to 7.59.2.
Creating heroku-app-green... done
https://heroku-app-green.herokuapp.com/ | https://git.heroku.com/heroku-app-green.git
(base)
$ heroku login
heroku: Press any key to open up the browser to login or q to exit:
Opening browser to https://cli-auth.heroku.com/auth/cli/browser/9320abcd-b8c6-406d-9198-ca14d1e59a26?requestor=SFMyNTY.g2gDbQAAAA4yMjEuMTU3LjM3LjIxNm4GAGgtTBB7AWIAAVGA.GlyVc8jbyiW6NG0MVzCS0bOjtzBWvYRfjB9-gnkQaoQ
Logging in... done
Logged in as your_email_address
$ heroku git:remote -a your_app
» Warning: heroku update available from 7.53.0 to 7.59.2.
set git remote heroku to https://git.heroku.com/heroku-app-green.git
heroku-app-green 이 생긴 것을 확인할 수 있다.
스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.colorama==0.4.4
dash==1.21.0
gunicorn==20.1.0
numpy==1.19.4
pandas==1.2.0
beautifulsoup4==4.9.3
openpyxl==3.0.7
requests==2.26.0
pip install -r requirements.txt 해도 좋고, 아니면 개별적으로 설치를 해도 좋다.# 크롤링 라이브러리
from bs4 import BeautifulSoup
import requests
import re
# 데이터프레임
import pandas as pd
# 샘플 URL을 적용한다.
url = "https://news.naver.com/main/read.naver?mode=LSD&mid=shm&sid1=100&oid=022&aid=0003609357"
def get_df(url):
# 댓글을 달 빈 리스트를 생성합니다.
List = []
url = url
oid = url.split("oid=")[1].split("&")[0]
aid = url.split("aid=")[1]
page = 1
header = {
"User-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36",
"referer": url,
}
while True:
c_url = "https://apis.naver.com/commentBox/cbox/web_neo_list_jsonp.json?ticket=news&templateId=default_society&pool=cbox5&_callback=jQuery1707138182064460843_1523512042464&lang=ko&country=&objectId=news" + oid + "%2C" + aid + "&categoryId=&pageSize=20&indexSize=10&groupId=&listType=OBJECT&pageType=more&page=" + str(
page) + "&refresh=false&sort=FAVORITE"
# 파싱하는 단계입니다.
r = requests.get(c_url, headers=header)
cont = BeautifulSoup(r.content, "html.parser")
total_comm = str(cont).split('comment":')[1].split(",")[0]
match = re.findall('"contents":([^\*]*),"userIdNo"', str(cont))
# 댓글을 리스트에 중첩합니다.
List.append(match)
# 한번에 댓글이 20개씩 보이기 때문에 한 페이지씩 몽땅 댓글을 긁어 옵니다.
if int(total_comm) <= ((page) * 20):
break
else:
page += 1
#
def flatten(l):
flatList = []
for elem in l:
# if an element of a list is a list
# iterate over this list and add elements to flatList
if type(elem) == list:
for e in elem:
flatList.append(e)
else:
flatList.append(elem)
return flatList
# 리스트 결과입니다.
# print(flatten(List))
# convert dataframe
data = pd.DataFrame(flatten(List), columns=["기사댓글"])
data = data.rename_axis("index").reset_index()
# write_excel
# data.to_excel("news_comments.xlsx", sheet_name="Sheet1")
return data
# data = get_df(url) # URL 테스트 시, 실행
data = pd.DataFrame({"index": [0], "기사댓글": ["댓글"]}) # 앱 배포시 실행
# print(data.head())
