Allow missing of optional items, on memory unzipping, some fixes and refactorings

[takohei]

Close Issues

• Allow missing of optional items
  • no file of calendar.txt: MIERUNE/GTFS-GO#68, MIERUNE/GTFS-GO#21
  • no field of routes.txt.agency_id: MIERUNE/GTFS-GO#69
  • no record in calendar.txt: MIERUNE/GTFS-GO#70
• Add FileNotFound message
  • Sub folder: MIERUNE/GTFS-GO#75
• Read NaN-like strings as valid values instead of NaN
  • "null": MIERUNE/GTFS-GO#70

Description

Allow missing of optional items.

• Purpose
  • Support a wider variety of GTFS data
  • Items allowed to be missing
  • files: calendar.txt
  • fields: agency_id@routes.txt, agency.txt
  • record: calendar.txt
• Changes
  • GTFS() set NaN values if the items are missing.

Process zip files on memory without extracting them into directories

• Purpose
  • Save storage space
  • Simplify usage
  • Reduce processing time
• Changes
  • GTFS() takes a zip file path as the argument and internally decompresses the files on memory
  • still accepts directories

Add FileNotFound message

• Purpose
  • To make it easier for users to recognize the cause of the error and the solution to it
• Changes
  • GTFS() raise exceptions.

Read NaN-like strings as valid values instead of NaN

• Purpose
  • Fix error when NaN-like strings are included in the field to be used.
  • NaN-like strings are "null", " ", etc.
• Changes
  • Set parameters to pd.read_csv().

Refactoring

• Changed NaN value of parent_station from "nan" to None.
• Changed the casting process for GTFS field types.
• Removed useless data copying in __get_trips_on_a_date().
• Changed a single column data frame to a series in In __get_trips_on_a_date().

Manual Testing

• Allow missing of optional items
  • no file of calendar.txt: MIERUNE/GTFS-GO#21
  • https://github.com/MIERUNE/GTFS-GO/files/5955822/6_repaired_zipped.zip , don't unify stops because of data error in parent_station.
  • no field of routes.txt.agency_id: MIERUNE/GTFS-GO#69
  • https://transitfeeds.com/p/transports-metropolitans-de-barcelona-tmb/995/latest/download)
  • no record in calendar.txt: MIERUNE/GTFS-GO#70
  • https://github.com/MIERUNE/GTFS-GO/files/11573006/gtfs_compressed.zip , extract zip in zip.
• Add FileNotFound message
  • Sub folder: MIERUNE/GTFS-GO#75
  • https://github.com/MIERUNE/GTFS-GO/files/14998967/GTFS_GLTC.zip
• Read NaN-like strings as valid values instead of NaN
  • "null": MIERUNE/GTFS-GO#70
  • https://github.com/MIERUNE/GTFS-GO/files/11573006/gtfs_compressed.zip , extract zip in zip, check unify stops.

Summary by CodeRabbit

• 新機能
  • GTFSファイルの入力処理を簡素化し、ソースディレクトリを直接渡すように変更しました。
• バグ修正
  • 異なる停留所を集約する処理で、フィルタリングロジックを改善しました。
  • calendar.txtが存在しない場合の処理を追加し、サービスと日付のフィルタリングロジックをリファクタリングしました。

[coderabbitai[bot]]

概要

この変更では、GTFSデータを扱う関数の入力方法が簡素化され、データ処理の効率が向上しました。また、データの整合性チェックが強化され、オプショナルな列にデフォルト値を設定する機能が追加されています。

変更点

ファイル	変更内容
.../__main__.py, gtfs.py	GTFS関数がgtfs_dirの代わりにgtfs_pathを受け取るように変更。ZIPファイルの解凍と一時ディレクトリの使用を不要に。
aggregate.py	__aggregate_similar_stopsメソッドがservice_flagではなくtrip_ids_filtered_by_dayを使ってstop_timesをフィルタ。__get_similar_stop_tupleでのparent_stationのチェックがpd.isnullを使用するよう変更。__get_trips_on_a_dateではcalendar.txtが欠けている場合に空のシリーズを生成し、サービスと日付のフィルタリングロジックをリファクタ。

🐰✨ ぴょんぴょん跳ねる小さな足で
コードの森を駆け巡る
新しい道を切り開くたび
データの海はさらに明るく
ぴかぴかの未来へと続く🌟
🐇💻

---

Recent Review Details

**Configuration used: CodeRabbit UI**

Commits

Files that changed from the base of the PR and between 479af5c941a1280f8d2f4858faaa9dff98145437 and 65ccce58e6aa955db9132c84ad09f90954c38a5a.

Files selected for processing (3)

* gtfs_parser/__main__.py (2 hunks) * gtfs_parser/aggregate.py (3 hunks) * gtfs_parser/gtfs.py (1 hunks)

Additional Context Used

Ruff (1)

gtfs_parser/aggregate.py (1)

108-108: Do not compare types, use `isinstance()`

Additional comments not posted (10)

gtfs_parser/gtfs.py (6)

`14-68`: `GTFS` 関数のリファクタリングが行われ、ディレクトリと zip ファイルの両方を処理し、ファイルをメモリ内で完全に処理するようになりました。必要なファイルのチェックや特定の列のキャストも行われています。 --- `31-37`: zip ファイルが見つからない場合に `FileNotFoundError` をスローするようになっていますが、エラーメッセージにパスを含めることで、問題の特定が容易になります。 --- `45-46`: 必要なファイルが不足している場合にエラーをスローする処理が追加されました。これにより、ユーザーはどのファイルが不足しているかを明確に知ることができます。 --- `54-56`: 特定の列をキャストする処理が追加されました。これにより、データの整合性が向上し、後続の処理でのエラーが減少する可能性があります。 --- `59-60`: `stops` テーブルの `parent_station` 列がオプショナルであることを考慮し、存在しない場合に None を設定するようになっています。これにより、データの柔軟性が向上します。 --- `64-68`: 単一のエージェンシーの場合に `agency_id` を設定する処理が追加されました。これにより、データの一貫性が保たれ、エージェンシー間でのデータの混在を防ぐことができます。

gtfs_parser/__main__.py (1)

`55-55`: GTFS コンストラクタにソースディレクトリを直接渡すように変更されました。これにより、zip ファイルの展開や一時ディレクトリの使用が不要になり、入力ソースの取り扱いが簡素化されます。

gtfs_parser/aggregate.py (3)

`48-50`: `stop_times` を `trip_ids_filtered_by_day` に基づいてフィルタリングするように変更されました。これにより、より正確なデータ処理が可能になります。 --- `160-160`: `parent_station` のチェックに `pd.isnull` を使用するように変更されました。これにより、より正確な null チェックが可能になり、データの整合性が向上します。 --- `409-439`: `calendar.txt` が欠落している場合に空のシリーズを生成し、サービスと日付のフィルタリングロジックをリファクタリングするようになりました。これにより、必須でないファイルが欠けていても処理を続行できるようになり、柔軟性が向上します。

--- Thank you for using CodeRabbit. We offer it for free to the OSS community and would appreciate your support in helping us grow. If you find it useful, would you consider giving us a shout-out on your favorite social media?

Share

- [X](https://twitter.com/intent/tweet?text=I%20just%20used%20%40coderabbitai%20for%20my%20code%20review%2C%20and%20it%27s%20fantastic%21%20It%27s%20free%20for%20OSS%20and%20offers%20a%20free%20trial%20for%20the%20proprietary%20code.%20Check%20it%20out%3A&url=https%3A//coderabbit.ai) - [Mastodon](https://mastodon.social/share?text=I%20just%20used%20%40coderabbitai%20for%20my%20code%20review%2C%20and%20it%27s%20fantastic%21%20It%27s%20free%20for%20OSS%20and%20offers%20a%20free%20trial%20for%20the%20proprietary%20code.%20Check%20it%20out%3A%20https%3A%2F%2Fcoderabbit.ai) - [Reddit](https://www.reddit.com/submit?title=Great%20tool%20for%20code%20review%20-%20CodeRabbit&text=I%20just%20used%20CodeRabbit%20for%20my%20code%20review%2C%20and%20it%27s%20fantastic%21%20It%27s%20free%20for%20OSS%20and%20offers%20a%20free%20trial%20for%20proprietary%20code.%20Check%20it%20out%3A%20https%3A//coderabbit.ai) - [LinkedIn](https://www.linkedin.com/sharing/share-offsite/?url=https%3A%2F%2Fcoderabbit.ai&mini=true&title=Great%20tool%20for%20code%20review%20-%20CodeRabbit&summary=I%20just%20used%20CodeRabbit%20for%20my%20code%20review%2C%20and%20it%27s%20fantastic%21%20It%27s%20free%20for%20OSS%20and%20offers%20a%20free%20trial%20for%20proprietary%20code)

Tips

### Chat There are 3 ways to chat with [CodeRabbit](https://coderabbit.ai): - Review comments: Directly reply to a review comment made by CodeRabbit. Example: - `I pushed a fix in commit .` - `Generate unit testing code for this file.` - `Open a follow-up GitHub issue for this discussion.` - Files and specific lines of code (under the "Files changed" tab): Tag `@coderabbitai` in a new review comment at the desired location with your query. Examples: - `@coderabbitai generate unit testing code for this file.` - `@coderabbitai modularize this function.` - PR comments: Tag `@coderabbitai` in a new PR comment to ask questions about the PR branch. For the best results, please provide a very specific query, as very limited context is provided in this mode. Examples: - `@coderabbitai generate interesting stats about this repository and render them as a table.` - `@coderabbitai show all the console.log statements in this repository.` - `@coderabbitai read src/utils.ts and generate unit testing code.` - `@coderabbitai read the files in the src/scheduler package and generate a class diagram using mermaid and a README in the markdown format.` Note: Be mindful of the bot's finite context window. It's strongly recommended to break down tasks such as reading entire modules into smaller chunks. For a focused discussion, use review comments to chat about specific files and their changes, instead of using the PR comments. ### CodeRabbit Commands (invoked as PR comments) - `@coderabbitai pause` to pause the reviews on a PR. - `@coderabbitai resume` to resume the paused reviews. - `@coderabbitai review` to trigger a review. This is useful when automatic reviews are disabled for the repository. - `@coderabbitai resolve` resolve all the CodeRabbit review comments. - `@coderabbitai help` to get help. Additionally, you can add `@coderabbitai ignore` anywhere in the PR description to prevent this PR from being reviewed. ### CodeRabbit Configration File (`.coderabbit.yaml`) - You can programmatically configure CodeRabbit by adding a `.coderabbit.yaml` file to the root of your repository. - Please see the [configuration documentation](https://docs.coderabbit.ai/guides/configure-coderabbit) for more information. - If your editor has YAML language server enabled, you can add the path at the top of this file to enable auto-completion and validation: `# yaml-language-server: $schema=https://coderabbit.ai/integrations/schema.v2.json` ### Documentation and Community - Visit our [Documentation](https://coderabbit.ai/docs) for detailed information on how to use CodeRabbit. - Join our [Discord Community](https://discord.com/invite/GsXnASn26c) to get help, request features, and share feedback. - Follow us on [X/Twitter](https://twitter.com/coderabbitai) for updates and announcements.