sp500-scraper

다양한 데이터 소스에서 가져온 S&P 500의 구성 종목 이력을 담고 있습니다.

사용 방법 (Usage)

각 데이터 소스는 평일마다 하루에 한 번 조회됩니다. 데이터는 csv와 parquet 두 가지 형식으로 저장됩니다. 일반적으로 각 실행은 파일 이름 규칙인 YYYYMMDD로 저장됩니다. 저는 이 데이터를 arrow를 사용하여 상호 작용하는 것을 선호합니다.

먼저 리포지토리를 복제하세요:

git clone https://github.com/riazarbi/sp500-scraper

그다음, R에서 (사용 언어에 맞게 조정):

library(arrow)
open_dataset("sp500-scraper/wikipedia/sp500/parquet, unify_schemas = TRUE")

데이터 소스 참고 사항 (Data Source Notes)

이 데이터가 얼마나 과거까지 이어지는지는 제가 웹사이트에서 데이터를 파싱할 수 있는 범위에 따라 달라집니다.

iShares

상태(STATUS): 작동 중(working)
최초 날짜(FIRST DATE): 2006-10-31

iShares 심볼은 때때로 SEC 티커와 다릅니다 (예: 각 데이터셋의 Visa Corp 참조). 하지만 이 소스는 ISIN을 포함하고 있습니다.

Wikipedia

상태(STATUS): 작동 중(working)
최초 날짜(FIRST DATE): 2007-03-07

SEC 티커와 일치하는 것으로 보입니다. 데이터 구조는 시간이 지남에 따라 진화해 왔기 때문에, 모든 열을 유지했지만 가능한 한 정렬되도록 이름을 변경하려고 노력했습니다. CIK은 2014-05-12에 추가되어 심볼 결합이 훨씬 쉬워졌습니다.

2022-11-01 이전 데이터는 Wikipedia 커밋 히스토리를 탐색하여 수집되었습니다. 저희는 모든 개정판을 가져왔으며, 심볼의 큰 비율을 변경한 변경 사항이나 12시간 이내에 자체적으로 덮어쓰여진 변경 사항은 생략했습니다. 이를 통해 허위 변경 사항이 제거되기를 바랍니다.

2022-11-01 이후 데이터는 html 테이블을 파싱했고, 2022-11-01 이전 데이터는 wikitext를 파싱했습니다.

Tidyquant

상태(STATUS): 작동 중(working)
최초 날짜(FIRST DATE): 2022-11-08

저희는 단순히 tidyquant::tq_index("SP500")를 실행하고 그 결과를 파일로 저장합니다. 여기에는 SEDOL과 CUSIP 번호가 포함되어 있습니다.

유용한 링크 (Useful links)

SEC 티커 <-> CIK 매핑 (깨끗함, 완전성 보장 없음): https://www.sec.gov/files/company_tickers.json
모든 CIK를 엔티티 이름에 매칭 (지저분함, 완전함): https://www.sec.gov/Archives/edgar/cik-lookup-data.txt