シラバスがない場合はシラバスがないことを示す

[oshamashama]

シラバスがない場合は科目番号をリンク化しない、など

[sobadon]

方法メモ（メインは azuki だが、とりあえずここに）

• KdB のシラバスページへアクセスするとき、一度 azuki 側のページにアクセスした後、KdB にリダイレクトさせる（クッションさせる？）方式にする。クッションさせたところでシラバスページが存在するかを裏で確認し、存在すればリダイレクトさせ、存在しなければ「存在しません」メッセージを表示する。ユーザーがアクセスするタイミングで都度調査する。
• 毎日・毎週クロールし、存在する / しないを保持しておく（azuki の担当範囲かはわからない）

存在を確認する方法

• 以下で使う科目番号 GB13312 のシラバスページは存在している
• HEAD リクエストだと存在しているページでも存在しないページでも 403 が返ってくる

  ❯ curl --cipher 'DEFAULT:!DH' -s -D - -o /dev/null --head "https://kdb.tsukuba.ac.jp/syllabi/2021/GB13312/jpn/"
  HTTP/1.1 403 403
  Date: Wed, 15 Sep 2021 01:53:34 GMT
  Server: Apache
  Cache-Control: private
  Expires: Thu, 01 Jan 1970 00:00:00 GMT
  Set-Cookie: kdb-twins=2417535168.41030.0000; path=/; Httponly; Secure

❯ curl --cipher 'DEFAULT:!DH' -s -D - -o /dev/null "https://kdb.tsukuba.ac.jp/syllabi/2021/fake/jpn/" --head
HTTP/1.1 403 403
Date: Wed, 15 Sep 2021 01:58:08 GMT
Server: Apache
Cache-Control: private
Expires: Thu, 01 Jan 1970 00:00:00 GMT
Set-Cookie: kdb-twins=2400757952.41030.0000; path=/; Httponly; Secure

• 存在しているページに GET リクエストだと 200 が返ってくる

  • しかしながら、Content-Length はない（GET しちゃっているので判定方法は Content-Length 以外でもいけるが）

    ❯ curl --cipher 'DEFAULT:!DH' -s -D - -o /dev/null "https://kdb.tsukuba.ac.jp/syllabi/2021/GB13312/jpn/"
    HTTP/1.1 200 200
    Date: Wed, 15 Sep 2021 01:54:31 GMT
    Server: Apache
    Strict-Transport-Security: max-age=0
    X-Frame-Options: SAMEORIGIN
    X-Content-Type-Options: nosniff
    X-XSS-Protection: 1; mode=block
    Cache-Control: no-cache
    Set-Cookie: JSESSIONID=118BE75770672F7917F7C6C350EE73F9; Path=/syllabi; Secure; HttpOnly
    Pragma: No-cache
    Cache-Control: no-store
    Content-Type: text/html;charset=UTF-8
    Content-Language: ja-JP
    Transfer-Encoding: chunked
    Set-Cookie: kdb-twins=2400757952.41030.0000; path=/; Httponly; Secure

• 存在しないページに GET でも 200 が返ってくる

  • 存在するページと異なる点として、Content-Length が返ってくる

    ❯ curl --cipher 'DEFAULT:!DH' -s -D - -o /dev/null "https://kdb.tsukuba.ac.jp/syllabi/2021/fake/jpn/"
    HTTP/1.1 200 200
    Date: Wed, 15 Sep 2021 01:57:01 GMT
    Server: Apache
    Strict-Transport-Security: max-age=0
    X-Frame-Options: SAMEORIGIN
    X-Content-Type-Options: nosniff
    X-XSS-Protection: 1; mode=block
    Cache-Control: no-cache
    Set-Cookie: JSESSIONID=514FF3F2C3BBDD52D2FC391F64245381; Path=/syllabi; Secure; HttpOnly
    Pragma: No-cache
    Cache-Control: no-store
    Content-Type: text/html;charset=UTF-8
    Content-Language: ja-JP
    Content-Length: 790
    Set-Cookie: kdb-twins=2434312384.41030.0000; path=/; Httponly; Secure

その他

オプションなしでただ curl を叩いたら curl: (35) error:141A318A:SSL routines:tls_process_ske_dhe:dh key too small というエラーが発生したので、https://kemasoft.net/?mr/curl%A4%C7dh_key_too_small を参考にオプションを付与した。