[Feat] U-SAINT 스크랩핑

[daeun084]

💡 Discription

• [x] LoginSession 유지
• [x] 소스코드와 검사 코드 간 차이 확인
• [x] 페이지 검사 코드 모두 스크랩핑
• [x] 필요한 정보의 태그, 속성 파악
• [x] 원하는 웹 페이지 접근

🚨 Issue

• 유세인트 메인 페이지의 검사 코드와 소스 코드가 일치하지 않음
• 소스코드가 웹 페이지의 상단바만 표시
• webdriver을 통해 소스 코드만 접근 가능
• 검사 코드에 접근하는 방법 고안 필요

[chanmin-00]

from selenium import webdriver
from selenium.webdriver.common.by import By

import requests
from bs4 import BeautifulSoup
from urllib.request import urlopen
#!pip install selenium
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait

url = "https://saint.ssu.ac.kr/irj/portal"
login_url = "https://smartid.ssu.ac.kr/Symtra_sso/smln.asp?apiReturnUrl=https%3A%2F%2Fsaint.ssu.ac.kr%2FwebSSO%2Fsso.jsp"

username = "20203058"
password = "비밀번호"

login_data = {
    "userid": username,
    "pwd": password
}

session = requests.Session()

driver = webdriver.Chrome()
driver.implicitly_wait(3)
driver.get(login_url)

# 'find_element_by_name' 대신 'find_element'와 By.NAME을 사용합니다.
username_element = driver.find_element(By.NAME, 'userid')
password_element = driver.find_element(By.NAME, 'pwd')
username_element.send_keys(username)
password_element.send_keys(password)
login_button = driver.find_element(By.XPATH, '//*[@id="sLogin"]/div/div[1]/form/div/div[2]/a')
login_button.click()

wait = WebDriverWait(driver, 10)

# 이제 HTML 내용을 가져올 수 있습니다.
html = driver.page_source
soup = BeautifulSoup(html, "html.parser")
member_name = soup.find("span", {"class": "top_user"})
print(member_name)

#html = session.get(url)
#soup = BeautifulSoup(html.text, "html.parser")
#print(soup)

[chanmin-00]

from selenium import webdriver
from selenium.webdriver.common.by import By

import requests
from bs4 import BeautifulSoup
from urllib.request import urlopen
#!pip install selenium
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait

url = "https://saint.ssu.ac.kr/irj/portal"
login_url = "https://smartid.ssu.ac.kr/Symtra_sso/smln.asp?apiReturnUrl=https%3A%2F%2Fsaint.ssu.ac.kr%2FwebSSO%2Fsso.jsp"

username = "20203058"
password = "비밀번호"

login_data = {
    "userid": username,
    "pwd": password
}

session = requests.Session()

driver = webdriver.Chrome()
driver.implicitly_wait(3)
driver.get(login_url)

# 'find_element_by_name' 대신 'find_element'와 By.NAME을 사용합니다.
username_element = driver.find_element(By.NAME, 'userid')
password_element = driver.find_element(By.NAME, 'pwd')
username_element.send_keys(username)
password_element.send_keys(password)
login_button = driver.find_element(By.XPATH, '//*[@id="sLogin"]/div/div[1]/form/div/div[2]/a')
login_button.click()
// 로그인한 상태에서 화면 이동 가능
button = driver.find_element(By.XPATH, '//*[@id="ddba4fb5fbc996006194d3c0c0aea5c4"]/a')
button.click()
wait = WebDriverWait(driver, 30)

# 이제 HTML 내용을 가져올 수 있습니다.
html = driver.page_source
soup = BeautifulSoup(html, "html.parser")
member_name = soup.find("소프트")
print(soup)

[Namjeongsu]

찬민이랑 같은 방식으로 계속 시도를 해보고 있었는데 이런 방식으로 작성하니까 세션이 만료되서 그런가? 자동 로그아웃 되어버려서 원하는 페이지 코드를 얻을 수가 없음

[chanmin-00]

학적정보란에서 원하는 개인정보 크롤링

#!pip install selenium
from selenium import webdriver
from selenium.webdriver.common.by import By

import requests
import re
from bs4 import BeautifulSoup
from urllib.request import urlopen
from selenium.webdriver.support.ui import WebDriverWait

# 유세인트 홈페이지 주소와 로그인 페이지 주소
url = "https://saint.ssu.ac.kr/irj/portal"
login_url = "https://smartid.ssu.ac.kr/Symtra_sso/smln.asp?apiReturnUrl=https%3A%2F%2Fsaint.ssu.ac.kr%2FwebSSO%2Fsso.jsp"

# 입력 받을 아이디와 비밀번호
username = "20203058"
password = "Jjw112233#"

# requests를 통해 세션 시작
# session = requests.Session()

driver = webdriver.Chrome()
driver.implicitly_wait(3)
driver.get(login_url)

# 'find_element_by_name' 대신 'find_element'와 By.NAME을 사용합니다.
# 태그 요소를 찾아서 그 태그가 감싸고 있는 아이디와 비번 데이터를 보낸다
username_element = driver.find_element(By.NAME, 'userid')
password_element = driver.find_element(By.NAME, 'pwd')
username_element.send_keys(username)
password_element.send_keys(password)
login_button = driver.find_element(By.XPATH, '//*[@id="sLogin"]/div/div[1]/form/div/div[2]/a')
login_button.click()
# 로그인한 상태에서 화면 이동 가능
button = driver.find_element(By.XPATH, '//*[@id="ddba4fb5fbc996006194d3c0c0aea5c4"]/a')
button.click()
wait = WebDriverWait(driver, 30)

num_element = driver.find_element(By.CSS_SELECTOR, 'body > script:nth-child(13)')
number = num_element.get_attribute('innerHTML')
num_index = number.find(username);
print(number[num_index:num_index+8])

iframe_element = driver.find_element(By.NAME, 'contentAreaFrame')
driver.switch_to.frame(iframe_element)
iframe2_element = driver.find_element(By.XPATH, '//*[@id="isolatedWorkArea"]')
driver.switch_to.frame(iframe2_element)

wait = WebDriverWait(driver, 30)
class_element = driver.find_element(By.CSS_SELECTOR, '#WDFD')
print(class_element.get_attribute('value'))
driver.switch_to.default_content() 

[chanmin-00]

졸업사정표 크롤링

#!pip install selenium
from selenium import webdriver
from selenium.webdriver.common.by import By

import time
import requests
import re
from bs4 import BeautifulSoup
from urllib.request import urlopen
from selenium.webdriver.support.ui import WebDriverWait

# 유세인트 홈페이지 주소와 로그인 페이지 주소
url = "https://saint.ssu.ac.kr/irj/portal"
login_url = "https://smartid.ssu.ac.kr/Symtra_sso/smln.asp?apiReturnUrl=https%3A%2F%2Fsaint.ssu.ac.kr%2FwebSSO%2Fsso.jsp"

# 입력 받을 아이디와 비밀번호
username = "20192396"
password = "wjdtntkdtjs13@26"

# requests를 통해 세션 시작
# session = requests.Session()

driver = webdriver.Chrome()
driver.implicitly_wait(3)
driver.get(login_url)

# 'find_element_by_name' 대신 'find_element'와 By.NAME을 사용합니다.
# 태그 요소를 찾아서 그 태그가 감싸고 있는 아이디와 비번 데이터를 보낸다
username_element = driver.find_element(By.NAME, 'userid')
password_element = driver.find_element(By.NAME, 'pwd')
username_element.send_keys(username)
password_element.send_keys(password)
login_button = driver.find_element(By.XPATH, '//*[@id="sLogin"]/div/div[1]/form/div/div[2]/a')
login_button.click()
# 로그인한 상태에서 화면 이동 가능
button = driver.find_element(By.XPATH, '//*[@id="ddba4fb5fbc996006194d3c0c0aea5c4"]/a')
button.click()
wait = WebDriverWait(driver, 10)

num_element = driver.find_element(By.CSS_SELECTOR, 'body > script:nth-child(13)')
number = num_element.get_attribute('innerHTML')
num_index = number.find(username)
print(number[num_index:num_index+8])

iframe_element = driver.find_element(By.NAME, 'contentAreaFrame')
driver.switch_to.frame(iframe_element)
iframe2_element = driver.find_element(By.XPATH, '//*[@id="isolatedWorkArea"]')
driver.switch_to.frame(iframe2_element)

wait = WebDriverWait(driver, 10)
class_element = driver.find_element(By.CSS_SELECTOR, '#WDFD')
print(class_element.get_attribute('value'))
driver.switch_to.default_content() 

grade_element = driver.find_element(By.XPATH, '//*[@id="8d3da4feb86b681d72f267880ae8cef5"]')
grade_element.click()
wait = WebDriverWait(driver, 10)
close_element = driver.find_element(By.XPATH, '//*[@id="30f2303171c98bdf57db799d0b834646"]/a')
close_element.click()

iframe_element = driver.find_element(By.NAME, 'contentAreaFrame')
driver.switch_to.frame(iframe_element)
iframe2_element = driver.find_element(By.XPATH, '//*[@id="isolatedWorkArea"]')
driver.switch_to.frame(iframe2_element)
wait = WebDriverWait(driver, 30)

# 테이블의 display-none 목록을 모두 block으로 바꾸어줌
driver.execute_script('''
    var tables = document.querySelectorAll('table');
    tables.forEach(function(table) {
        table.style.display = 'block';
    });
''')

tables = driver.find_elements(By.XPATH, '/html/body/table')
# 각 테이블의 내용 출력
time.sleep(3)
for table in tables:
    # 테이블의 모든 행(row)을 찾기
    rows = table.find_elements(By.TAG_NAME, 'tr')
    # 각 행의 셀(cell) 출력
    for row in rows:
        cells = row.find_elements(By.TAG_NAME, 'td')
        for cell in cells:
            print(cell.text)

print("good")