Update src/streamlit_app.py

src/streamlit_app.py

@@ -22,6 +22,17 @@ import kss  # KoNLPy 대신 KSS 사용
 from PIL import Image
 import base64
 from io import BytesIO
+import logging
+
+# 로깅 설정
+logging.basicConfig(
+    level=logging.INFO,
+    format='%(asctime)s - %(levelname)s - %(message)s',
+    handlers=[
+        logging.StreamHandler(),
+        logging.FileHandler('/tmp/crawler.log')
+    ]
+)
 
 # 워드클라우드 추가
 try:
@@ -130,16 +141,21 @@ def crawl_naver_news(keyword, num_articles=5):
     """
     네이버 뉴스 기사를 수집하는 함수
     """
+    logging.info(f"크롤링 시작: 키워드={keyword}, 기사 수={num_articles}")
     url = f"https://search.naver.com/search.naver?where=news&query={keyword}"
     results = []
     
     try:
         # 페이지 요청
+        logging.info(f"요청 URL: {url}")
         response = requests.get(url)
+        logging.info(f"응답 상태 코드: {response.status_code}")
+        
         soup = BeautifulSoup(response.text, 'html.parser')
         
         # 뉴스 아이템 찾기
         news_items = soup.select('div.sds-comps-base-layout.sds-comps-full-layout')
+        logging.info(f"찾은 뉴스 아이템 수: {len(news_items)}")
         
         # 각 뉴스 아이템에서 정보 추출
         for i, item in enumerate(news_items):
@@ -174,40 +190,50 @@ def crawl_naver_news(keyword, num_articles=5):
                     'description': description,
                     'source': source,
                     'date': date,
-                    'content': ""  # 나중에 원문 내용을 저장할 필드
+                    'content': ""
                 })
                 
+                logging.info(f"기사 추출 성공: {title}")
+                
             except Exception as e:
-                st.error(f"기사 정보 추출 중 오류 발생: {str(e)}")
+                logging.error(f"기사 정보 추출 중 오류 발생: {str(e)}", exc_info=True)
                 continue
                 
     except Exception as e:
-        st.error(f"페이지 요청 중 오류 발생: {str(e)}")
+        logging.error(f"페이지 요청 중 오류 발생: {str(e)}", exc_info=True)
         
+    logging.info(f"크롤링 완료: {len(results)}개 기사 수집")
     return results
 
 # 기사 원문 가져오기
 def get_article_content(url):
+    logging.info(f"기사 원문 가져오기 시작: {url}")
     try:
         response = requests.get(url, timeout=5)
+        logging.info(f"원문 요청 상태 코드: {response.status_code}")
+        
         soup = BeautifulSoup(response.text, 'html.parser')
         
         # 네이버 뉴스 본문 찾기
         content = soup.select_one('#dic_area')
         if content:
             text = content.text.strip()
-            text = re.sub(r'\s+', ' ', text)  # 여러 공백 제거
+            text = re.sub(r'\s+', ' ', text)
+            logging.info("네이버 뉴스 본문 추출 성공")
             return text
             
-        # 다른 뉴스 사이트 본문 찾기 (여러 사이트 대응 필요)
+        # 다른 뉴스 사이트 본문 찾기
         content = soup.select_one('.article_body, .article-body, .article-content, .news-content-inner')
         if content:
             text = content.text.strip()
             text = re.sub(r'\s+', ' ', text)
+            logging.info("일반 뉴스 본문 추출 성공")
             return text
             
+        logging.warning("본문을 찾을 수 없음")
         return "본문을 가져올 수 없습니다."
     except Exception as e:
+        logging.error(f"원문 가져오기 오류: {str(e)}", exc_info=True)
         return f"오류 발생: {str(e)}"
 
 # NLTK를 이용한 키워드 분석 (KSS 활용)
@@ -423,11 +449,14 @@ def run_scheduled_task():
         traceback.print_exc()
 
 def perform_news_task(task_type, keyword, num_articles, file_prefix):
+    logging.info(f"스케줄러 작업 시작: {task_type}, 키워드={keyword}")
     try:
         articles = crawl_naver_news(keyword, num_articles)
+        logging.info(f"수집된 기사 수: {len(articles)}")
         
         # 기사 내용 가져오기
-        for article in articles:
+        for i, article in enumerate(articles):
+            logging.info(f"기사 {i+1}/{len(articles)} 원문 가져오기: {article['title']}")
             article['content'] = get_article_content(article['link'])
             time.sleep(0.5)  # 서버 부하 방지
         
@@ -439,10 +468,12 @@ def perform_news_task(task_type, keyword, num_articles, file_prefix):
         with open(filename, 'w', encoding='utf-8') as f:
             json.dump(articles, f, ensure_ascii=False, indent=2)
         
+        logging.info(f"결과 저장 완료: {filename}")
+        
         global_scheduler_state.last_run = datetime.now()
         print(f"{datetime.now()} - {task_type} 뉴스 기사 수집 완료: {keyword}")
         
-        # 전역 상태에 수집 결과를 저장 (UI 업데이트용)
+        # 전역 상태에 수집 결과를 저장
         result_item = {
             'task_type': task_type,
             'keyword': keyword,
@@ -453,7 +484,7 @@ def perform_news_task(task_type, keyword, num_articles, file_prefix):
         global_scheduler_state.scheduled_results.append(result_item)
         
     except Exception as e:
-        print(f"작업 실행 중 오류 발생: {e}")
+        logging.error(f"작업 실행 중 오류 발생: {str(e)}", exc_info=True)
         traceback.print_exc()
 
 def start_scheduler(daily_tasks, interval_tasks):
@@ -1015,6 +1046,15 @@ elif menu == "뉴스 기사 예약하기":
     with tab3:
         st.subheader("스케줄러 제어 및 상태")
         
+        # 로그 뷰어 추가
+        if st.checkbox("로그 보기"):
+            try:
+                with open('/tmp/crawler.log', 'r') as f:
+                    logs = f.readlines()
+                st.text_area("최근 로그", value=''.join(logs[-100:]), height=400)
+            except Exception as e:
+                st.error(f"로그 파일을 읽을 수 없습니다: {str(e)}")
+        
         col1, col2 = st.columns(2)
         
         with col1: