AssertionError: non-negative timestamp expected

[kanjieater]

I'm not sure how a negative timestamp could have been generated, but I seem to have done it 😆 .

When I run whisperx "/mnt/d/Editing/Audiobooks/a7/a7.wav" --language Japanese --output_dir "/mnt/d/Editing/Audiobooks/a7/" --model large-v2 --vad_filter --align_model WAV2VEC2_ASR_LARGE_LV60K_960H --hf_token some_token

I get

~~ Transcribing VAD chunk: (06:11:47.932 --> 06:12:14.290) ~~
[00:00.000 --> 00:07.000] ヘビオーザ・ハークソンを貶めた 人間ども今は勝ち誇るがよいわ
[00:07.000 --> 00:16.960] 三年三年経てば時が満ちる その時こそ奴らは喜びの頂から
[00:16.960 --> 00:26.480] 絶望の谷底に落ちるであろうよ 頂が高いほどに谷は深くなり
~~ Transcribing VAD chunk: (06:12:17.902 --> 06:12:44.345) ~~
[00:00.000 --> 00:06.880] 小声が起ったその小声は地下深く から沸き起り地上に到達する前
[00:06.880 --> 00:13.840] に消滅して人間たちの耳に届く ことはなかったのである
[00:13.840 --> 00:21.400] パルス歴三百二十一年九月二日 のことであった
[00:21.400 --> 00:25.440] お楽しみいただけましたでしょうか このプログラムはオーディブル
[00:25.440 --> 00:28.280] お届けしました
Performing alignment...
Failed to align segment ("ザ・ハーク様の霜べたる身に与えられし術の一つだ。グールイラムツという、空気が蛇となって人に巻きつき、しめ殺すのよ。どうだ。お望みなら、汝の全身の骨を砕き、生きながら日常のクラゲとしてくれようか。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("ヒルメスはおどしにかかったが、いじゃくだとかでひんみんのようにやせこけたさいしょうは、ふるえあがるようなことはなかった。「いえ、はえて申し上げますが、ゆめごたんきをおこされますが、わたくしめがこうやってでんかのごぜんにしこういたしましたのは、でんかのおやくにたちたいからでございます。」お溜め御貸しを"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("すぐるとし、殿下の父をたるお方の身に何事が生じたか、わたくしめはよく存じ上げております。なかなかに世間の噂など、わたくしめの知るところに及ぶものではございません。わざとらしくフスラブが口を閉ざしたとき、ヒルメスの表情は完全に変っていた。無意識のうちに彼は足を組むのをやめ、玉座から半身を乗り出していた。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("何をする!サーム!殿下、こやつは最初フスラブ卿などではございません何?ヒルメスの視線を受けて最初フスラブは驚いた否、驚くふりを装ってマルズバーンに呼びかけたこれはしたりサーブ将軍!おぬしとは、窮地の中であるのになぜ、このような仕打ちをなさるのじゃ。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("ミルフェス王子よ、こやつの忠義面にだまされのがよいぞ。こやつは、さあ、ムーア、アンドラゴラス目に除任されて、マルズバーンの英職に尽きながら、いまではお主に仕えて新任されておる。偏説者じゃ。次はお主を捨てて、アンドラゴロスめのもとに帰産するかもしれぬぞ。信じてよいのかな?"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("すべては王とに入場してからだ。タハミーネよ、このことに関わったすべての人間が、傷口に塩水を浴びせられる時が近づいておる。同契約のルシタニア軍が退場しても、なかなかに喜劇の幕は下りぬわ。私にとっては喜劇ではございません。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("なんだ、今さらそんなことを言っておるのか。大大使殿下の御資質など、とうに俺は知っていたぞ。知ることと信じることは、別のものだと思うな。むろんそうだとも。たとえば、お主のある種の才能に対して、俺が知っていることと、お主が信じていることは、えらく差があるからな。言いたいことがあるなら、はっきり言ったらどうだ、ダーリューン。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("この時、アンドラゴラスの声はあまりに低く、ほとんどささやくようであった。父殺しではある。だが言っておくぞ。烈神だったのは、よより兄、オスロエスの方だった。それも当然のこと、兄は自分の気先を父王に奪われたのばかりだ。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("おーい!エクバターナの衆!食べ物ならここにあるぞ!王太子アルスラン殿下のご命令でな!議論から運んできたのだ!さあみんな!思い切り食って!上を見出せ!"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("大したものだ。お太子殿下は一夜にしてエクバターナを掌握なさった。もはや何者も殿下の権勢を揺るがせることはできまい。まったく見事な乗っ取りだったな。ナラサス卿はバシルサンを出て10ヶ月で天下を乗っ取ってしまった。クバードが片目を細めて笑った。"): no characters in this segment found in model dictionary, resorting to original...
Traceback (most recent call last):
  File "/home/ke/.pyenv/versions/subgen/bin/whisperx", line 8, in <module>
    sys.exit(cli())
  File "/home/ke/.pyenv/versions/3.9.9/envs/subgen/lib/python3.9/site-packages/whisperx/transcribe.py", line 723, in cli
    write_vtt(result_aligned["segments"], file=vtt)
  File "/home/ke/.pyenv/versions/3.9.9/envs/subgen/lib/python3.9/site-packages/whisperx/utils.py", line 59, in write_vtt
    f"{format_timestamp(segment['start'])} --> {format_timestamp(segment['end'])}\n"
  File "/home/ke/.pyenv/versions/3.9.9/envs/subgen/lib/python3.9/site-packages/whisperx/utils.py", line 34, in format_timestamp
    assert seconds >= 0, "non-negative timestamp expected"
AssertionError: non-negative timestamp expected

I'm happy to share the 6 hour file for testing purposes on request. I tried breaking the audio into a small clip, and tested on https://github.com/m-bain/whisperX/issues/84, but unfortunately ended up with other errors.

[kanjieater]

1.zip Managed to reproduce easily with a smaller test file:

~~ Transcribing VAD chunk: (19:18.106 --> 19:41.140) ~~
[00:00.000 --> 00:09.660] スクールで食べるように作ったお弁当はじゃあ家で食べるのね そこ置いておくから食べられそうなら食べて
[00:09.660 --> 00:15.680] 心の目を見ず 自分の朝の支度を始める
[00:15.680 --> 00:22.200] お父さんがいてくれたら 少しはかばってくれたかもしれないのに
[00:22.200 --> 00:24.200] 苦しくなった。
~~ Transcribing VAD chunk: (19:43.385 --> 20:12.747) ~~
[00:00.000 --> 00:15.840] 友働きの両親のうち、お父さんの会社の方が通勤するのに遠いから、その分朝が早い、心が起きる頃には、もういないことがほとんどだ。
[00:16.960 --> 00:23.840] そのままでいると怒られるかもしれないから、黙ったまま階段を上る。
[00:23.840 --> 00:29.840] 背後から追い討ちのようにため息が聞こえた。
Performing alignment...
Failed to align segment ("みんなの知らないところで、私たちは、もう、友達。私に、特別なことが何にもなくても、私が、運動神経が特別良くなくても、頭が良くなくても、私に、みんなが羨ましがるような長所が、本当に何にもなくても"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("国道沿いのスーパーまでは距離があって、車がなければなかなか行けないせいか、心の小さい頃から、週に一度、うちの裏にある公園に三河製菓の車がやってくる。近所に住むお年寄りや、小さな子供を連れたお母さんが、この曲を聞いて買い物にやってくる。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("大きな音楽を響かせるスピーカーがうるさいと苦情を言う人もいて、騒音問題になっている、とも。騒音…とまでは思わないけど、心もこの音を聞くと、居合なく、今が平日の昼間だということを意識する。意識させられてしまう。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("子供が笑う声が聞こえた。平日午前中の十一時というのが、こういう時間なんだということを心は、学校を休むようになって初めて知った。三河星家の車は心にとって小学校の頃から夏休みや冬休みに見かけるものだった。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("こんな風にカーテンを敷いて、部屋で身を固くしている平日に見るものではなかった、去年までは。心は息を殺して、音を絞ったテレビを見ながら、その明かりが外に漏れていなければいいな。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("三河聖火が来なくても、心の部屋の向こうに見える公園には、いつも近所の若いお母さんたちが子供を遊ばせに来ている。色とりどりのバッグをハンドルのところにかけたベビーカーがベンチのそばに並んでいるのを見ると、あ、午前中もあとちょっとだ、と思う。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("十時から十一時くらいにかけて集まり始めた親子たちは、十二時にはお昼ご飯のためにみんな一旦そこからいなくなる。そうしたら、少しカーテンが開けられる。カーテンの布地の淡いオレンジ色を通し、昼でもくすんだようになった部屋はずっと過ごしていると。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("全部、そうしたほうがいい理由がきちんとある。朝はカーテンを開けなさい、だとか、学校には子供はみんな行かなければならない、だとか。おととい、お母さんと見学に行ったスクールに、今日から本当に行ける気がしていた。だけど…"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("朝起きたらダメだった。いつものようにお腹が痛い。けびょうじゃない、本当に痛い。どうしてかわからなかった。朝、学校に行く時間になると、けびょうじゃないのに、本当にお腹や時には頭も痛くなるのだ。無理しなくていい。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("ホットミルクとトーストを用意していたお母さんが、心の声を聞いて露骨に表情をなくした。黙った。心を見ない。まるで心の声が聞こえなかったように俯いて、湯気を立てるマグカップを食卓に運ぶ。そのまま、うんざりしたような声が…"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("スクールは学校じゃないのよ。毎日じゃないし、来てる人数も学校より少ないし。先生も良い人そうだったでしょう。行くって心が言ったんでしょう。どうするの?行かないの?」ヤツギバヤに責められるように言われると、ああ、お母さんは言って欲しいんだ、とわかる。だけど、違う。行きたくないんじゃないの。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("けびょうじゃない。ほんとうにおなかがいたい。こころがこたえないでいると、おかあさんがいらいらしたように、きゅうにとけをきにしだす。「はあ、もうこんなじかん。」と、したうちをする。「どうするの?」足が固まったようになって動けない"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("今日は行けないけど、次にスクールがある日にまたお腹が痛くなるかどうかなんてわからない。けびょうじゃなくて、本当に痛いからただ行けないだけなのに、こんな理不尽なことを聞かれるなんて、と悲しくなってくる。答えないままお母さんを見ていると、お母さんが"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("台所にミルクの湯気がふわっと大きく上がって、すぐに水音とともに消えた。本当は後で食べようと思っていたけど、答える暇もなかった。ドアの前でパジャマ姿のまま動けない心を無視するように「ちょっとどいて。」と通り抜けたお母さんが奥のリビングに消える。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("すぐにどこかに電話する声が聞こえてきた。あ、すいません。安西ですけれども。と、それまでの不機嫌を寝こそぎ拭ったような、よそゆきの声が聞こえてくる。ええそうなんですよお腹が痛いと言い出して"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("申し訳ありません。見学の時には、あの子の方が行きたいって乗り気だったんですけど。はい、はい、本当にご迷惑おかけして。お母さんがココロを連れて行ってくれたスクールは、ココロの教室というところだった。入り口に掛かった看板の上に、子供育成支援。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("心の瀬をポンと押す。ここの名前が、心の教室なのが、なんだか申し訳なかった。心と同じ名前。お母さんだって気づいているだろう。お母さんは、ここに自分を連れてくるために、娘にこの名前をつけたわけじゃないのに。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("胸がギュッと痛んだ。不登校と呼ばれる子供が、学校の他に通う場所があるということを、ココロは自分がこうなって初めて知った。小学校の頃、ココロたちのクラスで学校に来ない子は一人もいなかった。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("みんな、多少のズル休みは1日か2日していたかもしれないけど、とにかく、ここに来るような子は一人もいなかった。スクールで迎えてくれた先生たちも、みんな自分たちの心の教室をスクールと呼んでいた。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("子供番組の歌のお姉さんのような雰囲気の人だった。胸についたひまわり型の名札に、誰か子供が書いたらしい彼女の似顔絵と「北島」という名前が書いてある。「はい」と答える声が、我ながら小さく不明瞭だった。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("それに、目がとても優しい。好感を持ったけど、この人が今はもう卒業して、あの学校の中学生でないことが間違いに羨ましかった。心は、雪品醍醐中に通ってるなんてとても言えない。まだ、入学したばかり。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("友働きの両親のうち、お父さんの会社の方が通勤するのに遠いから、その分朝が早い、心が起きる頃には、もういないことがほとんどだ。そのままでいると怒られるかもしれないから、黙ったまま階段を上る。背後から追い討ちのようにため息が聞こえた。"): no characters in this segment found in model dictionary, resorting to original...
Traceback (most recent call last):
  File "/home/ke/.pyenv/versions/subgen/bin/whisperx", line 8, in <module>
    sys.exit(cli())
  File "/home/ke/.pyenv/versions/3.9.9/envs/subgen/lib/python3.9/site-packages/whisperx/transcribe.py", line 723, in cli
    write_vtt(result_aligned["segments"], file=vtt)
  File "/home/ke/.pyenv/versions/3.9.9/envs/subgen/lib/python3.9/site-packages/whisperx/utils.py", line 59, in write_vtt
    f"{format_timestamp(segment['start'])} --> {format_timestamp(segment['end'])}\n"
  File "/home/ke/.pyenv/versions/3.9.9/envs/subgen/lib/python3.9/site-packages/whisperx/utils.py", line 34, in format_timestamp
    assert seconds >= 0, "non-negative timestamp expected"
AssertionError: non-negative timestamp expected

And it still outputs these vtt & txt files which seem broken (too short, misaligned, missing the whisper outputs, etc): かがみの孤城.zip

[Pikauba]

I am pretty sure the reason why this still happens here is because, instead of being based on the official repo of whisper, this project holds copies of outdated code from the offical Whisper's project.

Seems like this problem has been solved as described here: #810 and here: #914

You can take a look at the fix here: Fix infinite loop caused by incorrect timestamp tokens prediction

Which is not presents in WhisperX's code -> whisperx/decoding.py

Code from WhisperX should be refactored in order to follow the original code base to avoid this type of problems.

[kanjieater]

1.zip Managed to reproduce easily with a smaller test file:

~~ Transcribing VAD chunk: (19:18.106 --> 19:41.140) ~~
[00:00.000 --> 00:09.660] スクールで食べるように作ったお弁当はじゃあ家で食べるのね そこ置いておくから食べられそうなら食べて
[00:09.660 --> 00:15.680] 心の目を見ず 自分の朝の支度を始める
[00:15.680 --> 00:22.200] お父さんがいてくれたら 少しはかばってくれたかもしれないのに
[00:22.200 --> 00:24.200] 苦しくなった。
~~ Transcribing VAD chunk: (19:43.385 --> 20:12.747) ~~
[00:00.000 --> 00:15.840] 友働きの両親のうち、お父さんの会社の方が通勤するのに遠いから、その分朝が早い、心が起きる頃には、もういないことがほとんどだ。
[00:16.960 --> 00:23.840] そのままでいると怒られるかもしれないから、黙ったまま階段を上る。
[00:23.840 --> 00:29.840] 背後から追い討ちのようにため息が聞こえた。
Performing alignment...
Failed to align segment ("みんなの知らないところで、私たちは、もう、友達。私に、特別なことが何にもなくても、私が、運動神経が特別良くなくても、頭が良くなくても、私に、みんなが羨ましがるような長所が、本当に何にもなくても"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("国道沿いのスーパーまでは距離があって、車がなければなかなか行けないせいか、心の小さい頃から、週に一度、うちの裏にある公園に三河製菓の車がやってくる。近所に住むお年寄りや、小さな子供を連れたお母さんが、この曲を聞いて買い物にやってくる。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("大きな音楽を響かせるスピーカーがうるさいと苦情を言う人もいて、騒音問題になっている、とも。騒音…とまでは思わないけど、心もこの音を聞くと、居合なく、今が平日の昼間だということを意識する。意識させられてしまう。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("子供が笑う声が聞こえた。平日午前中の十一時というのが、こういう時間なんだということを心は、学校を休むようになって初めて知った。三河星家の車は心にとって小学校の頃から夏休みや冬休みに見かけるものだった。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("こんな風にカーテンを敷いて、部屋で身を固くしている平日に見るものではなかった、去年までは。心は息を殺して、音を絞ったテレビを見ながら、その明かりが外に漏れていなければいいな。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("三河聖火が来なくても、心の部屋の向こうに見える公園には、いつも近所の若いお母さんたちが子供を遊ばせに来ている。色とりどりのバッグをハンドルのところにかけたベビーカーがベンチのそばに並んでいるのを見ると、あ、午前中もあとちょっとだ、と思う。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("十時から十一時くらいにかけて集まり始めた親子たちは、十二時にはお昼ご飯のためにみんな一旦そこからいなくなる。そうしたら、少しカーテンが開けられる。カーテンの布地の淡いオレンジ色を通し、昼でもくすんだようになった部屋はずっと過ごしていると。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("全部、そうしたほうがいい理由がきちんとある。朝はカーテンを開けなさい、だとか、学校には子供はみんな行かなければならない、だとか。おととい、お母さんと見学に行ったスクールに、今日から本当に行ける気がしていた。だけど…"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("朝起きたらダメだった。いつものようにお腹が痛い。けびょうじゃない、本当に痛い。どうしてかわからなかった。朝、学校に行く時間になると、けびょうじゃないのに、本当にお腹や時には頭も痛くなるのだ。無理しなくていい。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("ホットミルクとトーストを用意していたお母さんが、心の声を聞いて露骨に表情をなくした。黙った。心を見ない。まるで心の声が聞こえなかったように俯いて、湯気を立てるマグカップを食卓に運ぶ。そのまま、うんざりしたような声が…"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("スクールは学校じゃないのよ。毎日じゃないし、来てる人数も学校より少ないし。先生も良い人そうだったでしょう。行くって心が言ったんでしょう。どうするの?行かないの?」ヤツギバヤに責められるように言われると、ああ、お母さんは言って欲しいんだ、とわかる。だけど、違う。行きたくないんじゃないの。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("けびょうじゃない。ほんとうにおなかがいたい。こころがこたえないでいると、おかあさんがいらいらしたように、きゅうにとけをきにしだす。「はあ、もうこんなじかん。」と、したうちをする。「どうするの?」足が固まったようになって動けない"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("今日は行けないけど、次にスクールがある日にまたお腹が痛くなるかどうかなんてわからない。けびょうじゃなくて、本当に痛いからただ行けないだけなのに、こんな理不尽なことを聞かれるなんて、と悲しくなってくる。答えないままお母さんを見ていると、お母さんが"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("台所にミルクの湯気がふわっと大きく上がって、すぐに水音とともに消えた。本当は後で食べようと思っていたけど、答える暇もなかった。ドアの前でパジャマ姿のまま動けない心を無視するように「ちょっとどいて。」と通り抜けたお母さんが奥のリビングに消える。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("すぐにどこかに電話する声が聞こえてきた。あ、すいません。安西ですけれども。と、それまでの不機嫌を寝こそぎ拭ったような、よそゆきの声が聞こえてくる。ええそうなんですよお腹が痛いと言い出して"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("申し訳ありません。見学の時には、あの子の方が行きたいって乗り気だったんですけど。はい、はい、本当にご迷惑おかけして。お母さんがココロを連れて行ってくれたスクールは、ココロの教室というところだった。入り口に掛かった看板の上に、子供育成支援。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("心の瀬をポンと押す。ここの名前が、心の教室なのが、なんだか申し訳なかった。心と同じ名前。お母さんだって気づいているだろう。お母さんは、ここに自分を連れてくるために、娘にこの名前をつけたわけじゃないのに。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("胸がギュッと痛んだ。不登校と呼ばれる子供が、学校の他に通う場所があるということを、ココロは自分がこうなって初めて知った。小学校の頃、ココロたちのクラスで学校に来ない子は一人もいなかった。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("みんな、多少のズル休みは1日か2日していたかもしれないけど、とにかく、ここに来るような子は一人もいなかった。スクールで迎えてくれた先生たちも、みんな自分たちの心の教室をスクールと呼んでいた。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("子供番組の歌のお姉さんのような雰囲気の人だった。胸についたひまわり型の名札に、誰か子供が書いたらしい彼女の似顔絵と「北島」という名前が書いてある。「はい」と答える声が、我ながら小さく不明瞭だった。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("それに、目がとても優しい。好感を持ったけど、この人が今はもう卒業して、あの学校の中学生でないことが間違いに羨ましかった。心は、雪品醍醐中に通ってるなんてとても言えない。まだ、入学したばかり。"): no characters in this segment found in model dictionary, resorting to original...
Failed to align segment ("友働きの両親のうち、お父さんの会社の方が通勤するのに遠いから、その分朝が早い、心が起きる頃には、もういないことがほとんどだ。そのままでいると怒られるかもしれないから、黙ったまま階段を上る。背後から追い討ちのようにため息が聞こえた。"): no characters in this segment found in model dictionary, resorting to original...
Traceback (most recent call last):
  File "/home/ke/.pyenv/versions/subgen/bin/whisperx", line 8, in <module>
    sys.exit(cli())
  File "/home/ke/.pyenv/versions/3.9.9/envs/subgen/lib/python3.9/site-packages/whisperx/transcribe.py", line 723, in cli
    write_vtt(result_aligned["segments"], file=vtt)
  File "/home/ke/.pyenv/versions/3.9.9/envs/subgen/lib/python3.9/site-packages/whisperx/utils.py", line 59, in write_vtt
    f"{format_timestamp(segment['start'])} --> {format_timestamp(segment['end'])}\n"
  File "/home/ke/.pyenv/versions/3.9.9/envs/subgen/lib/python3.9/site-packages/whisperx/utils.py", line 34, in format_timestamp
    assert seconds >= 0, "non-negative timestamp expected"
AssertionError: non-negative timestamp expected

And it still outputs these vtt & txt files which seem broken (too short, misaligned, missing the whisper outputs, etc): かがみの孤城.zip

I managed to move past this issue for this file using the suggestion here: https://github.com/m-bain/whisperX/issues/84 Use language codes instead of full words like Whisper does. --language ja not --language Japanese

I will verify the original file can complete after I see where #84 lands regarding Failed to align segment the broken vtt it produces

[Infinitay]

Getting the same assertion error. Windows 10, latest whisperx installed via pipx but I merged the changes from the existing PR #91 on top. Python 3.9.9, Torch for CUDA 11.7

Command: whisperx --vad_filter --parallel_bs 2 --model medium --language Korean --align_model wav2vec2-xls-r-300m-korean --output_dir "update_test/" korean-convo-lingo.mp3 note I am using VAD here

Align Model: https://huggingface.co/w11wo/wav2vec2-xls-r-300m-korean

Audio Clip: https://www.youtube.com/watch?v=PcysuLjtTeo yt-dlp https://www.youtube.com/watch?v=PcysuLjtTeo --extract-audio --audio-format mp3 -o "korean-convo-lingo.mp3"

[14:27.295 --> 14:29.795]  이 피자 맛있습니다.
[14:29.795 --> 14:31.795]  와우, 정말 놀랍습니다.
[14:31.795 --> 14:34.955]  저는 이 피자 제일 맛있다고 생각합니다.
Performing alignment...
Traceback (most recent call last):
  File "C:\Python39\lib\runpy.py", line 197, in _run_module_as_main
    return _run_code(code, main_globals, None,
  File "C:\Python39\lib\runpy.py", line 87, in _run_code
    exec(code, run_globals)
  File "c:\users\infinitay\.local\bin\whisperx.exe\__main__.py", line 7, in <module>
  File "C:\Users\infinitay\.local\pipx\venvs\whisperx\lib\site-packages\whisperx\transcribe.py", line 739, in cli
    write_vtt(result_aligned["segments"], file=vtt)
  File "C:\Users\infinitay\.local\pipx\venvs\whisperx\lib\site-packages\whisperx\utils.py", line 59, in write_vtt
    f"{format_timestamp(segment['start'])} --> {format_timestamp(segment['end'])}\n"
  File "C:\Users\infinitay\.local\pipx\venvs\whisperx\lib\site-packages\whisperx\utils.py", line 34, in format_timestamp
    assert seconds >= 0, "non-negative timestamp expected"
AssertionError: non-negative timestamp expected

EDIT: When I was testing other audio clips I realized that the behavior differs depending on the aligh model I am using. With the same audio clip and command linked above, I changed the model to use wav2vec2-large-xls-r-1b-korean-sample5 instead and it ran without any errors.

---

The same behavior of one model working but another not occurs again for another audio clip of a song. Audio Clip: https://www.youtube.com/watch?v=lxPndeAzfwI Model that failed: wav2vec2-large-xls-r-1b-korean-sample5 (model was linked above) Model that passed: wav2vec2-xls-r-300m-korean (model was linked above)

---

Found another example of one model working and another resulting in "non-negative timestamp expected" Audio Clip: https://www.youtube.com/watch?v=Z_NaYKUR3sM Model that failed: wav2vec2-large-xls-r-1b-korean-sample5 (model was linked above) Model that passed: wav2vec2-xls-r-300m-korean (model was linked above)

[m-bain]

whisper fix and VAD filtering means this cant happen any more in theory :')