DS School - Config Test

[yeomko22]

test config

• ML model은 config를 주입 받아서 학습을 진행하도록 구현한다.
• 그리고 config는 yaml 파일로 정의한다.
• yaml 파일로부터 config 객체를 생성하는 함수와 이를 모델에 주입해주는 함수를 각각 만든다.
• 이들에 대한 테스트 코드를 짜서 config에 대한 테스트를 진행할 수 있다.
• 만일 개발자가 잘못된 config를 주입할 경우 에러를 발생시켜 줄 수 있도록 안전장치를 마련하는 것이다.
• 이 떄 pydantic 라이브러리를 유용하게 사용할 수 있다.
• pydantic으로 config의 schema를 만들어라. 그리고 여기에 타입 검사, 범위 검사 등의 validation을 추가해라.

def test_fetch_config_structure(tmpdir):
    # Given
    # We make use of the pytest built-in tmpdir fixture
    configs_dir = Path(tmpdir)
    config_1 = configs_dir / "sample_config.yml"
    config_1.write_text(TEST_CONFIG_TEXT)
    parsed_config = fetch_config_from_yaml(cfg_path=config_1)

    # When
    config = create_and_validate_config(parsed_config=parsed_config)

    # Then
    assert config.model_config
    assert config.app_config

def test_config_validation_raises_error_for_invalid_config(tmpdir):
    # Given
    # We make use of the pytest built-in tmpdir fixture
    configs_dir = Path(tmpdir)
    config_1 = configs_dir / "sample_config.yml"

    # invalid config attempts to set a prohibited loss
    # function which we validate against an allowed set of
    # loss function parameters.
    config_1.write_text(INVALID_TEST_CONFIG_TEXT)
    parsed_config = fetch_config_from_yaml(cfg_path=config_1)

    # When
    with pytest.raises(ValidationError) as excinfo:
        create_and_validate_config(parsed_config=parsed_config)

    # Then
    assert "not in the allowed set" in str(excinfo.value)

[yeomko22]

test input data

• input data의 schema도 미리 정의해놓은 다음, validation test를 수행한다.

  
  def test_validate_inputs(sample_input_data):
  # When
  validated_inputs, errors = validate_inputs(input_data=sample_input_data)
  
  # Then
  assert not errors
  
  # we expect that 2 rows are removed due to missing vars
  # 1459 is the total number of rows in the test data set (test.csv)
  # and 1457 number returned after 2 rows are filtered out.
  assert len(sample_input_data) == 1459
  assert len(validated_inputs) == 1457

def test_validate_inputs_identifies_errors(sample_input_data):

Given

test_inputs = sample_input_data.copy()

# introduce errors
test_inputs.at[1, "BldgType"] = 50  # we expect a string

# When
validated_inputs, errors = validate_inputs(input_data=test_inputs)

# Then
assert errors
assert errors[1] == {"BldgType": ["Not a valid string."]}