tag_id : 태그 id (우선 추출하긴 했는데.. 굳이 필요 없을 것 같기도 합니다😅)
description : 설명
main_work: 주요 업무
qualification: 자격요건
preferences: 우대사항
welfare: 혜택 및 복지
tech_list: 기술스택
데이터 추출 예시
https://www.wanted.co.kr/wd/195530
```python
{'title': '데브옵스 엔지니어 (보안)',
'company_name': '트리플콤마(골드스푼)',
'company_id': '/company/8040',
'tag_name': ['연봉업계평균이상',
'인원급성장',
'50명이하',
'설립4~9년',
'유연근무',
'반려동물',
'맥주',
'커피',
'IT, 컨텐츠'],
'tag_id': ['/tag_search?tag=%25EC%2597%25B0%25EB%25B4%2589%25EC%2597%2585%25EA%25B3%2584%25ED%258F%2589%25EA%25B7%25A0%25EC%259D%25B4%25EC%2583%2581',
'/tag_search?tag=%25EC%259D%25B8%25EC%259B%2590%25EA%25B8%2589%25EC%2584%25B1%25EC%259E%25A5',
'/tag_search?tag=50%25EB%25AA%2585%25EC%259D%25B4%25ED%2595%2598',
'/tag_search?tag=%25EC%2584%25A4%25EB%25A6%25BD4~9%25EB%2585%2584',
'/tag_search?tag=%25EC%259C%25A0%25EC%2597%25B0%25EA%25B7%25BC%25EB%25AC%25B4',
'/tag_search?tag=%25EB%25B0%2598%25EB%25A0%25A4%25EB%258F%2599%25EB%25AC%25BC',
'/tag_search?tag=%25EB%25A7%25A5%25EC%25A3%25BC',
'/tag_search?tag=%25EC%25BB%25A4%25ED%2594%25BC',
'/tag_search?tag=IT%252C%2520%25EC%25BB%25A8%25ED%2585%2590%25EC%25B8%25A0'],
'description': ['트리플콤마는 국내 최초 서류인증 기반 프리미엄 매칭 서비스인 ‘골드스푼’ 을 개발한 기업입니다.',
"2018년 당시, 불신과 의심으로 가득차있던 소개팅 앱 시장에서 골드스푼은 국내 최초로 '본인명의 서류 기반' 매칭 서비스를 개발하여 '믿을 수 있는 소개팅 서비스'라는 개념을 만들어냈으며, 전문직, 자산가, 고소득 직장인 등 자격을 갖춘 남성들에게만 가입을 허용해 '신뢰' '탁월함' '안전' 을 상징하는 서비스가 되었습니다. ",
'2019년에 기술보증기금으로부터 벤처기업으로 선정되었으며 공중보건 의사협회, 치과의사협회, 한의사협회와 단독제휴를 맺은 유일한 소개팅 서비스입니다.',
'현재 해당 분야에서 가장 빠르게 성장하고 있는 골드스푼 서비스를 발전시키기 위해 지속적으로 우수한 인재를 충원하고 있으며 이에 채용공고를 올리게 되었습니다.',
"2023년 10월에는 40대를 위한 신규 서비스인 '더멤버스'를 출시하였고 영업을 시작하였습니다.* 탁월한 인재에게 최고의 보상과 성취감을 제공하는 트리플콤마에서 재능을 펼쳐보세요! *"],
'main_work': ['AWS 인프라 운영 및 비용/성능 최적화 (예: EC2, RDS, .. )',
'AWS 보안 아키텍처 설계, 구축, 운영 및 자동화 개발',
'클라우드 표준 보안 요구 사항 개발',
'인프라/어플리케이션 모니터링 시스템 구축 및 운영',
'Automated CI/CD 시스템 구축 및 운영',
'시스템 / 데이터 백업 정책 설정 및 운영'],
'qualification': ['AWS 클라우드 환경에서 3년 이상의 서비스 구축 및 운영 경험',
'VPC flow, GuardDuty, CloudTrail의 로그 분석 경험',
'클라우드 환경에서의 보안 서비스 (Security Group, Network ACL, WAF) 정책 설정 경험',
'ISMS / ISMS-P 인증 심사 대응을 위한 기술 지원 업무 경험이 있는 분'],
'preferences': ['ISMS-P 인증 심사원 자격 보유자',
'AWS 클라우드 환경에서의 보안을 경험해 보신 분',
'IaC(Infrastructure as Code)에 대한 이해가 있으신 분',
'SIEM 시스템을 구축 운영해 보신 분',
'Prowler 보안툴 사용 경험이 있으신 분'],
'welfare': ['1. 합당한 보상',
'뛰어난 인재에게 합당한 보상을 지급합니다. ',
'열심히 하는만큼 더 받을 수 있도록 성과에 따른 인센티브도 존재합니다.2. 근무 여건의 강점',
'유연근무제를 시행하고 있습니다.- 주 1회 재택근무- 조직 컨디션에 따라 유연근무제 확대를 지속 검토합니다.',
'2호선 삼성역 2분거리 초역세권에 사무실이 있습니다.',
'맥주를 무제한으로 드실 수 있고 고급 커피머신이 준비되어 있습니다.',
'모든 직원이 서로 ~님으로 호칭하고 존댓말을 사용하는 수평적인 문화입니다.',
'매월 20만원씩 충전되는 식대 법인카드를 제공합니다3. 그 밖의 강점들',
'반려동물과 함께 출근 가능합니다.',
'자유롭게 연차/반차를 사용합니다.',
'일이 없어도 억지로 야근을 하거나, 눈치 보면서 퇴근을 하지 않습니다.',
'경조사비/경조휴가를 지원합니다.',
'식대를 제공하고 간식을 무제한 제공합니다.',
'4대보험을 지원합니다.'],
'tech_list': ['Android',
'Firebase',
'iOS',
'React',
'Java',
'Kotlin',
'Swift',
'TypeScript',
'AWS',
'NodeJS',
'iOS 개발',
'React Native',
'Flutter']}
```
논의사항
이전에 윤호님께 tag_name / tag_id 필드를 "복지"로 말씀드렸던 것 같은데요..
정확히는 아래처럼 공고별 태그를 뽑은거라 복지는 "welfare" 필드로 따로 빼면 어떨까 싶습니다..!
데이터 추출은 아직 진행중이라, 완료되면 bigquery에 올려서 공유드릴게요 :)
이제 사이트별로 갖고 있는 정보를 통합시켜야 할 것 같은데요,
우선 사이트별로 각각 스키마 알맞게 만들어서 bigquery에 올려둔 다음에
dbt로 transform해서 통합시키는거 시도해보면 어떨까 싶어요!
(다른 아이디어 있으시면 언제든 말씀해주세요ㅎㅎ)
Resolve #9
데이터 추출 예시
https://www.wanted.co.kr/wd/195530 ```python {'title': '데브옵스 엔지니어 (보안)', 'company_name': '트리플콤마(골드스푼)', 'company_id': '/company/8040', 'tag_name': ['연봉업계평균이상', '인원급성장', '50명이하', '설립4~9년', '유연근무', '반려동물', '맥주', '커피', 'IT, 컨텐츠'], 'tag_id': ['/tag_search?tag=%25EC%2597%25B0%25EB%25B4%2589%25EC%2597%2585%25EA%25B3%2584%25ED%258F%2589%25EA%25B7%25A0%25EC%259D%25B4%25EC%2583%2581', '/tag_search?tag=%25EC%259D%25B8%25EC%259B%2590%25EA%25B8%2589%25EC%2584%25B1%25EC%259E%25A5', '/tag_search?tag=50%25EB%25AA%2585%25EC%259D%25B4%25ED%2595%2598', '/tag_search?tag=%25EC%2584%25A4%25EB%25A6%25BD4~9%25EB%2585%2584', '/tag_search?tag=%25EC%259C%25A0%25EC%2597%25B0%25EA%25B7%25BC%25EB%25AC%25B4', '/tag_search?tag=%25EB%25B0%2598%25EB%25A0%25A4%25EB%258F%2599%25EB%25AC%25BC', '/tag_search?tag=%25EB%25A7%25A5%25EC%25A3%25BC', '/tag_search?tag=%25EC%25BB%25A4%25ED%2594%25BC', '/tag_search?tag=IT%252C%2520%25EC%25BB%25A8%25ED%2585%2590%25EC%25B8%25A0'], 'description': ['트리플콤마는 국내 최초 서류인증 기반 프리미엄 매칭 서비스인 ‘골드스푼’ 을 개발한 기업입니다.', "2018년 당시, 불신과 의심으로 가득차있던 소개팅 앱 시장에서 골드스푼은 국내 최초로 '본인명의 서류 기반' 매칭 서비스를 개발하여 '믿을 수 있는 소개팅 서비스'라는 개념을 만들어냈으며, 전문직, 자산가, 고소득 직장인 등 자격을 갖춘 남성들에게만 가입을 허용해 '신뢰' '탁월함' '안전' 을 상징하는 서비스가 되었습니다. ", '2019년에 기술보증기금으로부터 벤처기업으로 선정되었으며 공중보건 의사협회, 치과의사협회, 한의사협회와 단독제휴를 맺은 유일한 소개팅 서비스입니다.', '현재 해당 분야에서 가장 빠르게 성장하고 있는 골드스푼 서비스를 발전시키기 위해 지속적으로 우수한 인재를 충원하고 있으며 이에 채용공고를 올리게 되었습니다.', "2023년 10월에는 40대를 위한 신규 서비스인 '더멤버스'를 출시하였고 영업을 시작하였습니다.* 탁월한 인재에게 최고의 보상과 성취감을 제공하는 트리플콤마에서 재능을 펼쳐보세요! *"], 'main_work': ['AWS 인프라 운영 및 비용/성능 최적화 (예: EC2, RDS, .. )', 'AWS 보안 아키텍처 설계, 구축, 운영 및 자동화 개발', '클라우드 표준 보안 요구 사항 개발', '인프라/어플리케이션 모니터링 시스템 구축 및 운영', 'Automated CI/CD 시스템 구축 및 운영', '시스템 / 데이터 백업 정책 설정 및 운영'], 'qualification': ['AWS 클라우드 환경에서 3년 이상의 서비스 구축 및 운영 경험', 'VPC flow, GuardDuty, CloudTrail의 로그 분석 경험', '클라우드 환경에서의 보안 서비스 (Security Group, Network ACL, WAF) 정책 설정 경험', 'ISMS / ISMS-P 인증 심사 대응을 위한 기술 지원 업무 경험이 있는 분'], 'preferences': ['ISMS-P 인증 심사원 자격 보유자', 'AWS 클라우드 환경에서의 보안을 경험해 보신 분', 'IaC(Infrastructure as Code)에 대한 이해가 있으신 분', 'SIEM 시스템을 구축 운영해 보신 분', 'Prowler 보안툴 사용 경험이 있으신 분'], 'welfare': ['1. 합당한 보상', '뛰어난 인재에게 합당한 보상을 지급합니다. ', '열심히 하는만큼 더 받을 수 있도록 성과에 따른 인센티브도 존재합니다.2. 근무 여건의 강점', '유연근무제를 시행하고 있습니다.- 주 1회 재택근무- 조직 컨디션에 따라 유연근무제 확대를 지속 검토합니다.', '2호선 삼성역 2분거리 초역세권에 사무실이 있습니다.', '맥주를 무제한으로 드실 수 있고 고급 커피머신이 준비되어 있습니다.', '모든 직원이 서로 ~님으로 호칭하고 존댓말을 사용하는 수평적인 문화입니다.', '매월 20만원씩 충전되는 식대 법인카드를 제공합니다3. 그 밖의 강점들', '반려동물과 함께 출근 가능합니다.', '자유롭게 연차/반차를 사용합니다.', '일이 없어도 억지로 야근을 하거나, 눈치 보면서 퇴근을 하지 않습니다.', '경조사비/경조휴가를 지원합니다.', '식대를 제공하고 간식을 무제한 제공합니다.', '4대보험을 지원합니다.'], 'tech_list': ['Android', 'Firebase', 'iOS', 'React', 'Java', 'Kotlin', 'Swift', 'TypeScript', 'AWS', 'NodeJS', 'iOS 개발', 'React Native', 'Flutter']} ```논의사항