Quotation marks

[DavidHaslam]

The attached text file provides a character frequency analysis of the 66 USFM files.

merged.usfm.character.frequency.txt

For this issue the following lines are of particular interest.

U+0022  "   1,462   QUOTATION MARK
U+0027  '   171 APOSTROPHE
U+2018  ‘   15  LEFT SINGLE QUOTATION MARK
U+2019  ’   15  RIGHT SINGLE QUOTATION MARK
U+201C  “   640 LEFT DOUBLE QUOTATION MARK
U+201D  ”   638 RIGHT DOUBLE QUOTATION MARK

It's evident that this translation makes no use of continuation quotation marks.

It's apparent that not all the quotations make proper use of left and right quotation marks. To achieve consistent punctuation of quotations in the translation,

• Most of the U+0022 pairs will need to be replaced by U+201C and U+201D.
• Most of the U+0027 pairs will need to be replaced by U+2018 and U+2019. NB. As 171 is not an even number, there must be at least one instance of U+0027 that has no corresponding mark at the other end of the quotation.

Notice also the difference of 2 between the counts of U+201C and U+201D. With some ingenuity in method, I have traced this problem to John 16 where the marking of quotations does not fully reflect the text. The translation team needs to revisit this chapter and make suitable corrections.

[DavidHaslam]

To see what might be feasible, a simple TextPipe filter was made: Replace ordinary quotation mark pairs by left and right QMs

1. within a line
2. spanning lines

Log results:

2017-09-22 10:00:50,Info,67 replace(s) performed for pattern match ['(.+)']
2017-09-22 10:00:50,Info,516 replace(s) performed for pattern match ["(.+)"]
2017-09-22 10:00:51,Info,13 replace(s) performed for pattern match ['(.+)']
2017-09-22 10:00:51,Info,208 replace(s) performed for pattern match ["(.+)"]

Leaves unconverted:

• 11 U+0027 single
• 14 U+0022 double

Residual U+0027 single:

\v 22 ਇਸ ਤਰ੍ਹਾਂ ਇਹ ਜਲ ਜਿਹੜਾ ਸਰਾਪ ਲਿਆਉਂਦਾ ਹੈ ਤੇਰੇ ਸਰੀਰ ਵਿੱਚ ਜਾ ਕੇ ਤੇਰੇ ਢਿੱਡ ਨੂੰ ਸੁਜਾਵੇ ਅਤੇ ਤੇਰੇ ਪੱਟ ਨੂੰ ਸਾੜੇ ਤਾਂ ਇਸਤਰੀ ਆਖੇ, “ਆਮੀਨ, ਆਮੀਨ । ''
\v 22 ਇਸ ਤਰ੍ਹਾਂ ਇਹ ਜਲ ਜਿਹੜਾ ਸਰਾਪ ਲਿਆਉਂਦਾ ਹੈ ਤੇਰੇ ਸਰੀਰ ਵਿੱਚ ਜਾ ਕੇ ਤੇਰੇ ਢਿੱਡ ਨੂੰ ਸੁਜਾਵੇ ਅਤੇ ਤੇਰੇ ਪੱਟ ਨੂੰ ਸਾੜੇ ਤਾਂ ਇਸਤਰੀ ਆਖੇ, “ਆਮੀਨ, ਆਮੀਨ । ''
\v 36 ਅਤੇ ਜਦ ਸੰਦੂਕ ਠਹਿਰਦਾ ਸੀ ਤਾਂ ਮੂਸਾ ਕਹਿੰਦਾ ਹੁੰਦਾ ਸੀ, ''ਹੇ ਯਹੋਵਾਹ, ਇਸਰਾਏਲ ਦੇ ਲੱਖਾਂ ਹਜ਼ਾਰਾਂ ਵਿੱਚ ਮੁੜ ਆ" l
\v 36 ਅਤੇ ਜਦ ਸੰਦੂਕ ਠਹਿਰਦਾ ਸੀ ਤਾਂ ਮੂਸਾ ਕਹਿੰਦਾ ਹੁੰਦਾ ਸੀ, ''ਹੇ ਯਹੋਵਾਹ, ਇਸਰਾਏਲ ਦੇ ਲੱਖਾਂ ਹਜ਼ਾਰਾਂ ਵਿੱਚ ਮੁੜ ਆ" l
\v 25 ਤਦ ਲੋਕ ਉੱਤਰ ਦੇਣਗੇ, 'ਇਸ ਲਈ ਕਿ ਉਨ੍ਹਾਂ ਨੇ ਆਪਣੇ ਪਿਉ-ਦਾਦਿਆਂ ਦੇ ਪਰਮੇਸ਼ੁਰ ਯਹੋਵਾਹ ਦੇ ਨੇਮ ਨੂੰ ਤਿਆਗ ਦਿੱਤਾ ਜਿਹੜਾ ਉਸ ਨੇ ਉਨ੍ਹਾਂ ਨਾਲ ਬੰਨ੍ਹਿਆ ਸੀ, ਜਦ ਉਹ ਉਨ੍ਹਾਂ ਨੂੰ ਮਿਸਰ ਦੇਸ਼ ਤੋਂ ਬਾਹਰ ਲਿਆਇਆ,
\v 15 ਗਿਦਾਊਨ ਨੇ ਉਸ ਨੂੰ ਕਿਹਾ, “ਹੇ ਪ੍ਰਭੂ, ਮੈਂ ਇਸਰਾਏਲ ਨੂੰ ਕਿਸ ਤਰ੍ਹਾਂ ਛੁਡਾਵਾਂ ?  ਵੇਖ, ਮੇਰਾ ਟੱਬਰ ਮਨੱਸ਼ਹ ਵਿੱਚ ਸਾਰਿਆਂ ਨਾਲੋਂ ਕੰਗਾਲ ਹੈ, ਅਤੇ ਆਪਣੇ ਪਿਤਾ ਦੇ ਘਰਾਣੇ ਵਿੱਚੋਂ ਮੈਂ ਸਭ ਤੋਂ ਛੋਟਾ ਹਾਂ l'”
\v 6 ਤਾਂ ਉਹ ਉਸ ਨੂੰ ਕਹਿੰਦੇ, “ਭਲਾ, 'ਸ਼ਿੱਬੋਲਥ” ਤਾਂ ਬੋਲ“ ਅਤੇ ਉਹ ਕਹਿੰਦਾ ”ਸਿੱਬੋਲਥ“ ਕਿਉਂ ਜੋ ਉਹ ਇਸ ਗੱਲ ਨੂੰ ਠੀਕ ਤਰ੍ਹਾਂ ਨਹੀਂ ਬੋਲ ਸਕਦਾ ਸੀ, ਤਾਂ ਉਹ ਉਸ ਨੂੰ ਫੜ ਕੇ ਯਰਦਨ ਦੇ ਕੰਢਿਆਂ ਕੋਲ ਵੱਢ ਸੁੱਟਦੇ ਸਨ l ਇਸ ਤਰ੍ਹਾਂ ਉਸ ਸਮੇਂ ਬਤਾਲੀ ਹਜ਼ਾਰ ਇਫ਼ਰਾਈਮੀ ਮਾਰੇ ਗਏ l
\v 6 ਤਦ ਅਜ਼ਰਾ ਨੇ ਯਹੋਵਾਹ ਨੂੰ ਜਿਹੜਾ ਮਹਾਨ ਪਰਮੇਸ਼ੁਰ ਹੈ ਮੁਬਾਰਕ ਕਿਹਾ, ਤਾਂ ਸਾਰੀ ਪਰਜਾ ਨੇ ਹੱਥ ਚੁੱਕ ਕੇ ''ਆਮੀਨ ਆਮੀਨ“ ਕਿਹਾ ਅਤੇ ਯਹੋਵਾਹ ਦੇ ਅੱਗੇ ਧਰਤੀ ਤੱਕ ਸਿਰ ਝੁਕਾ ਕੇ ਮੱਥਾ ਟੇਕਿਆ l
\v 6 ਤਦ ਅਜ਼ਰਾ ਨੇ ਯਹੋਵਾਹ ਨੂੰ ਜਿਹੜਾ ਮਹਾਨ ਪਰਮੇਸ਼ੁਰ ਹੈ ਮੁਬਾਰਕ ਕਿਹਾ, ਤਾਂ ਸਾਰੀ ਪਰਜਾ ਨੇ ਹੱਥ ਚੁੱਕ ਕੇ ''ਆਮੀਨ ਆਮੀਨ“ ਕਿਹਾ ਅਤੇ ਯਹੋਵਾਹ ਦੇ ਅੱਗੇ ਧਰਤੀ ਤੱਕ ਸਿਰ ਝੁਕਾ ਕੇ ਮੱਥਾ ਟੇਕਿਆ l
\s ਮੌਤ ਤੋਂ ਬਚਣ 'ਤੇ ਪਰਮੇਸ਼ੁਰ ਦਾ ਧੰਨਵਾਦ
\v 14 ਇਸ ਕਾਰਨ, ਸੈਨਾਂ ਦੇ ਪਰਮੇਸ਼ੁਰ ਯਹੋਵਾਹ ਦਾ ਵਾਕ ਹੈ, 'ਵੇਖ, ਹੇ ਇਸਰਾਏਲ ਦੇ ਘਰਾਣੇ, ਮੈਂ ਤੁਹਾਡੇ ਵਿਰੁੱਧ ਇੱਕ ਕੌਮ ਨੂੰ ਉਠਾਵਾਂਗਾ ਜਿਹੜੀ ਹਮਾਥ ਦੇ ਪ੍ਰਵੇਸ਼ ਤੋਂ ਲੈ ਕੇ ਅਰਾਬਾਹ ਦੀ ਨਦੀ ਤੱਕ ਤੁਹਾਨੂੰ ਸਤਾਏਗੀ ।”

Residual U+0022 double:

\v 2 "ਇਸਰਾਏਲੀਆਂ ਨਾਲ ਗੱਲ ਕਰ ਅਤੇ ਉਨ੍ਹਾਂ ਨੂੰ ਆਖ ਕਿ ਜੇਕਰ ਤੁਹਾਡੇ ਵਿੱਚੋਂ ਕੋਈ ਮਨੁੱਖ ਯਹੋਵਾਹ ਦੇ ਅੱਗੇ ਭੇਟ ਲਿਆਵੇ ਤਾਂ ਤੁਸੀਂ ਪਸ਼ੂਆਂ ਵਿੱਚੋਂ ਅਰਥਾਤ ਵੱਗਾਂ ਅਤੇ ਇੱਜੜਾਂ ਵਿੱਚੋਂ ਆਪਣੀ ਭੇਟ ਲਿਆਉਣਾ । 
\v 26 ਯਹੋਵਾਹ ਆਪਣਾ ਮੁਖ ਤੇਰੇ ਵੱਲ ਫੇਰੇ ਅਤੇ ਤੈਨੂੰ ਸ਼ਾਂਤੀ ਦੇਵੇ l "
\v 36 ਅਤੇ ਜਦ ਸੰਦੂਕ ਠਹਿਰਦਾ ਸੀ ਤਾਂ ਮੂਸਾ ਕਹਿੰਦਾ ਹੁੰਦਾ ਸੀ, ''ਹੇ ਯਹੋਵਾਹ, ਇਸਰਾਏਲ ਦੇ ਲੱਖਾਂ ਹਜ਼ਾਰਾਂ ਵਿੱਚ ਮੁੜ ਆ" l
\q1 "ਵਾਹੇਬ ਜਿਹੜਾ ਸੁਫ਼ਾਹ ਵਿੱਚ ਹੈ,
\v 31 ਪਰ ਤੂੰ ਇੱਥੇ ਮੇਰੇ ਕੋਲ ਖੜ੍ਹਾ ਹੋ ਜਾ ਅਤੇ ਮੈਂ ਤੈਨੂੰ ਉਹ ਸਾਰਾ ਹੁਕਮਨਾਮਾ, ਬਿਧੀਆਂ ਅਤੇ ਕਨੂੰਨ ਦੱਸਾਂਗਾ, ਜਿਹੜੇ ਤੂੰ ਉਨ੍ਹਾਂ ਨੂੰ ਸਿਖਾਉਣੇ ਹਨ, ਤਾਂ ਜੋ ਉਹ ਉਨ੍ਹਾਂ ਨੂੰ ਉਸ ਦੇਸ਼ ਵਿੱਚ ਪੂਰਾ ਕਰਨ ਜਿਹੜਾ ਮੈਂ ਉਨ੍ਹਾਂ ਨੂੰ ਅਧਿਕਾਰ ਕਰਨ ਲਈ ਦਿੰਦਾ ਹਾਂ । "
\v 4 ਤਦ ਉਸ ਨੇ ਉਨ੍ਹਾਂ ਫੱਟੀਆਂ ਉੱਤੇ ਲਿਖਿਆ ਜਿਵੇਂ ਪਹਿਲਾਂ ਲਿਖਿਆ ਸੀ ਅਰਥਾਤ ਉਹ ਦਸ ਹੁਕਮ ਜਿਹੜੇ ਯਹੋਵਾਹ ਨੇ ਤੁਹਾਨੂੰ ਪਹਾੜ ਉੱਤੇ ਅੱਗ ਦੇ ਵਿੱਚੋਂ ਦੀ ਸਭਾ ਵਾਲੇ ਦਿਨ ਦਿੱਤੇ ਸਨ । " ਫੇਰ ਯਹੋਵਾਹ ਨੇ ਉਹ ਫੱਟੀਆਂ ਮੈਨੂੰ ਦੇ ਦਿੱਤੀਆਂ । 
\v 8 ਬਾਰਾਕ ਨੇ ਉਸ ਨੂੰ ਕਿਹਾ, "ਜੇਕਰ ਤੂੰ ਮੇਰੇ ਨਾਲ ਚੱਲੇਂਗੀ ਤਾਂ ਹੀ ਮੈਂ ਜਾਵਾਂਗਾ ਪਰ ਜੇ ਤੂੰ ਮੇਰੇ ਨਾਲ ਨਾ ਚੱਲੇਂ ਤਾਂ ਮੈਂ ਵੀ ਨਹੀਂ ਜਾਵਾਂਗਾ l
\v 28 ਸੋ ਸ਼ਾਊਲ ਦਾਊਦ ਦੇ ਮਗਰ ਲੱਗਣੋਂ ਹਟਿਆ ਅਤੇ ਫ਼ਲਿਸਤੀਆਂ ਦੇ ਵਿਰੁੱਧ ਹੋਇਆ । ਇਸ ਲਈ ਉਨ੍ਹਾਂ ਨੇ ਉਸ ਥਾਂ ਦਾ ਨਾਮ "ਰਿਹਾਈ ਦੀ ਚਟਾਨ ਰੱਖਿਆ । 
\v 37 ਇਸ ਧਰਤੀ ਦੀ ਬਹੁਤੀ ਪੈਦਾਵਾਰ ਉਨ੍ਹਾਂ ਰਾਜਿਆਂ ਨੂੰ ਮਿਲਦੀ ਹੈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਤੂੰ ਸਾਡੇ ਉੱਤੇ ਸਾਡੇ ਪਾਪਾਂ ਦੇ ਕਾਰਨ ਠਹਿਰਾਇਆ ਹੈ, ਅਤੇ ਉਹ ਸਾਡੇ ਸਰੀਰਾਂ ਉੱਤੇ ਅਤੇ ਸਾਡੇ ਪਸ਼ੂਆਂ ਉੱਤੇ ਆਪਣੀ ਇੱਛਾ ਅਨੁਸਾਰ ਹਕੂਮਤ ਕਰਦੇ ਹਨ, ਇਸ ਕਾਰਨ ਅਸੀਂ ਵੱਡੇ ਦੁੱਖ ਵਿੱਚ ਹਾਂ l"
\v 8 ਇਸ ਲਈ ਹੁਣ ਆਪਣੇ ਲਈ ਸੱਤ ਬਲ਼ਦ ਅਤੇ ਸੱਤ ਮੇਂਢੇ ਲਓ, ਅਤੇ ਮੇਰੇ ਦਾਸ ਅਯੂੱਬ ਕੋਲ ਜਾਓ ਅਤੇ ਆਪਣੇ ਲਈ ਹੋਮ ਦੀ ਬਲੀ ਚੜ੍ਹਾਓ ਅਤੇ ਮੇਰਾ ਦਾਸ ਅਯੂੱਬ ਤੁਹਾਡੇ ਲਈ ਪ੍ਰਾਰਥਨਾ ਕਰੇਗਾ l ਮੈਂ ਤਾਂ ਉਸੇ ਦੀ ਪ੍ਰਾਰਥਨਾ ਕਬੂਲ ਕਰਾਂਗਾ, ਤਾਂ ਜੋ ਮੈਂ ਤੁਹਾਡੇ ਨਾਲ ਤੁਹਾਡੀ ਮੂਰਖਤਾਈ ਦੇ ਅਨੁਸਾਰ ਵਰਤਾਓ ਨਾ ਕਰਾਂ, ਕਿਉਂ ਜੋ ਤੁਸੀਂ ਮੇਰੇ ਵਿਖੇ ਸੱਚ ਨਹੀਂ ਬੋਲੇ, ਜਿਵੇਂ ਮੇਰਾ ਦਾਸ ਅਯੂੱਬ ਬੋਲਿਆ l"
\q "ਹੇ ਮੇਰੀ ਪਿਆਰੀ, ਮੇਰੀ ਪ੍ਰੀਤਮਾ, ਮੇਰੀ ਕਬੂਤਰੀ, ਮੇਰੀ ਨਿਰਮਲ, ਮੇਰੇ ਲਈ ਬੂਹਾ ਖੋਲ੍ਹ !
\v 11 ਤਦ ਕੀ ਇਸ ਵੱਡੇ ਸ਼ਹਿਰ ਨੀਨਵਾਹ ਉੱਤੇ ਜਿਸ ਦੇ ਵਿੱਚ ਇੱਕ ਲੱਖ ਵੀਹ ਹਜ਼ਾਰ ਤੋਂ ਵੱਧ ਲੋਕ ਹਨ, ਜਿਹੜੇ ਆਪਣੇ ਸੱਜੇ ਖੱਬੇ ਹੱਥ ਦਾ ਭੇਤ ਵੀ ਨਹੀਂ ਪਛਾਣ ਸਕਦੇ ਅਤੇ ਬਹੁਤ ਸਾਰੇ ਪਸ਼ੂ ਵੀ ਹਨ, ਮੈਨੂੰ ਤਰਸ ਨਹੀਂ ਆਉਣਾ ਚਾਹੀਦਾ ? "
\ip ਈ. ਪੂ. ਸੱਤਵੀਂ ਸਦੀ ਦੇ ਲਗਭਗ ਅੰਤ ਵਿੱਚ ਨਬੀ ਹਬੱਕੂਕ ਦੇ ਬਚਨ ਉਸ ਸਮੇਂ ਲਿਖੇ ਗਏ ਸਨ ਜਦ ਬਾਬਲ ਦਾ ਰਾਜ ਸੱਤਾ ਵਿੱਚ ਸੀ । ਇਨ੍ਹਾਂ ਜ਼ਾਲਮ ਲੋਕਾਂ ਦੀ ਹਿੰਸਾ ਨੇ ਉਸ ਨੂੰ ਬੁਰੀ ਤਰ੍ਹਾਂ ਹਿਲਾ ਕੇ ਰੱਖ ਦਿੱਤਾ, ਇਸ ਲਈ ਉਸ ਨੇ ਪਰਮੇਸ਼ੁਰ ਨੂੰ ਪੁੱਛਿਆ, “ਫੇਰ ਤੂੰ ਧੋਖੇਬਾਜਾਂ ਨੂੰ ਕਿਉਂ ਵੇਖਦਾ ਰਹਿੰਦਾ ਹੈਂ ?  ਜਦ ਦੁਸ਼ਟ ਧਰਮੀ ਨੂੰ ਨਿਗਲ ਲੈਂਦਾ ਹੈ, ਤਾਂ ਤੂੰ ਕਿਉਂ ਚੁੱਪ ਰਹਿੰਦਾ ਹੈਂ ? ” (1:13) ਪਰਮੇਸ਼ੁਰ ਦਾ ਉੱਤਰ ਸੀ ਕਿ ਉਹ ਆਪਣੇ ਠਹਿਰਾਏ ਹੋਏ ਸਮੇਂ ਦੇ ਅੰਤ ਵਿੱਚ ਕਾਰਵਾਈ ਕਰੇਗਾ, ਅਤੇ ਇਸੇ ਦੌਰਾਨ 
\v 8 ਜਦ ਤੁਸੀਂ ਅੰਨ੍ਹੇ ਪਸ਼ੂ ਦਾ ਚੜ੍ਹਾਵਾ ਚੜ੍ਹਾਉਂਦੇ ਹੋ ਤਾਂ “ਕੁੱਝ ਬੁਰਿਆਈ ਨਹੀਂ,” ਜਦ ਲੰਗੜੇ ਜਾਂ ਬਿਮਾਰ ਪਸ਼ੂ ਦਾ ਚੜ੍ਹਾਵਾ ਚੜ੍ਹਾਉਂਦੇ ਹੋ ਤਾਂ ਕੁੱਝ ਬੁਰਿਆਈ ਨਹੀਂ!" ਜ਼ਰਾ ਤੂੰ ਆਪਣੇ ਹਾਕਮ ਨੂੰ ਏਹੋ ਹੀ ਚੜ੍ਹਾ, - ਕੀ ਉਹ ਤੇਰੇ ਕੋਲੋਂ ਖੁਸ਼ ਹੋਵੇਗਾ ਜਾਂ ਕੀ ਉਹ ਤੈਨੂੰ ਆਦਰ ਦੇਵੇਗਾ ?  ਸੈਨਾਂ ਦੇ ਯਹੋਵਾਹ ਦਾ ਵਾਕ ਹੈ ।

[DavidHaslam]

These results show that the method can be improved by first replacing adjacent '' by ". With this improvement, log results:

2017-09-22 10:13:19,Info,32 replace(s) performed for exact match ['']
2017-09-22 10:13:19,Info,50 replace(s) performed for pattern match ['(.+)']
2017-09-22 10:13:19,Info,533 replace(s) performed for pattern match ["(.+)"]
2017-09-22 10:13:19,Info,1 replace(s) performed for pattern match ['(.+)']
2017-09-22 10:13:19,Info,207 replace(s) performed for pattern match ["(.+)"]

Leaves still unconverted:

• 5 U+0027 single
• 14 U+0022 double (no change)

The residual U+0027 are then:

\v 25 ਤਦ ਲੋਕ ਉੱਤਰ ਦੇਣਗੇ, 'ਇਸ ਲਈ ਕਿ ਉਨ੍ਹਾਂ ਨੇ ਆਪਣੇ ਪਿਉ-ਦਾਦਿਆਂ ਦੇ ਪਰਮੇਸ਼ੁਰ ਯਹੋਵਾਹ ਦੇ ਨੇਮ ਨੂੰ ਤਿਆਗ ਦਿੱਤਾ ਜਿਹੜਾ ਉਸ ਨੇ ਉਨ੍ਹਾਂ ਨਾਲ ਬੰਨ੍ਹਿਆ ਸੀ, ਜਦ ਉਹ ਉਨ੍ਹਾਂ ਨੂੰ ਮਿਸਰ ਦੇਸ਼ ਤੋਂ ਬਾਹਰ ਲਿਆਇਆ,
\v 15 ਗਿਦਾਊਨ ਨੇ ਉਸ ਨੂੰ ਕਿਹਾ, “ਹੇ ਪ੍ਰਭੂ, ਮੈਂ ਇਸਰਾਏਲ ਨੂੰ ਕਿਸ ਤਰ੍ਹਾਂ ਛੁਡਾਵਾਂ ?  ਵੇਖ, ਮੇਰਾ ਟੱਬਰ ਮਨੱਸ਼ਹ ਵਿੱਚ ਸਾਰਿਆਂ ਨਾਲੋਂ ਕੰਗਾਲ ਹੈ, ਅਤੇ ਆਪਣੇ ਪਿਤਾ ਦੇ ਘਰਾਣੇ ਵਿੱਚੋਂ ਮੈਂ ਸਭ ਤੋਂ ਛੋਟਾ ਹਾਂ l'”
\v 6 ਤਾਂ ਉਹ ਉਸ ਨੂੰ ਕਹਿੰਦੇ, “ਭਲਾ, 'ਸ਼ਿੱਬੋਲਥ” ਤਾਂ ਬੋਲ“ ਅਤੇ ਉਹ ਕਹਿੰਦਾ ”ਸਿੱਬੋਲਥ“ ਕਿਉਂ ਜੋ ਉਹ ਇਸ ਗੱਲ ਨੂੰ ਠੀਕ ਤਰ੍ਹਾਂ ਨਹੀਂ ਬੋਲ ਸਕਦਾ ਸੀ, ਤਾਂ ਉਹ ਉਸ ਨੂੰ ਫੜ ਕੇ ਯਰਦਨ ਦੇ ਕੰਢਿਆਂ ਕੋਲ ਵੱਢ ਸੁੱਟਦੇ ਸਨ l ਇਸ ਤਰ੍ਹਾਂ ਉਸ ਸਮੇਂ ਬਤਾਲੀ ਹਜ਼ਾਰ ਇਫ਼ਰਾਈਮੀ ਮਾਰੇ ਗਏ l
\s ਮੌਤ ਤੋਂ ਬਚਣ 'ਤੇ ਪਰਮੇਸ਼ੁਰ ਦਾ ਧੰਨਵਾਦ
\v 14 ਇਸ ਕਾਰਨ, ਸੈਨਾਂ ਦੇ ਪਰਮੇਸ਼ੁਰ ਯਹੋਵਾਹ ਦਾ ਵਾਕ ਹੈ, 'ਵੇਖ, ਹੇ ਇਸਰਾਏਲ ਦੇ ਘਰਾਣੇ, ਮੈਂ ਤੁਹਾਡੇ ਵਿਰੁੱਧ ਇੱਕ ਕੌਮ ਨੂੰ ਉਠਾਵਾਂਗਾ ਜਿਹੜੀ ਹਮਾਥ ਦੇ ਪ੍ਰਵੇਸ਼ ਤੋਂ ਲੈ ਕੇ ਅਰਾਬਾਹ ਦੀ ਨਦੀ ਤੱਕ ਤੁਹਾਨੂੰ ਸਤਾਏਗੀ ।”

[DavidHaslam]

Unfortunately, some places end up with the left and right quotation marks swapped! Here's one example in Deuteronomy 1:

\v 27 ਜਦਕਿ ਤੁਸੀਂ ਆਪਣੇ ਤੰਬੂਆਂ ਵਿੱਚ ਬੁੜਬੁੜ ਕਰਨ ਲੱਗ ਪਏ ਅਤੇ ਆਖਿਆ, ”ਯਹੋਵਾਹ ਸਾਡੇ ਨਾਲ ਵੈਰ ਰੱਖਦਾ ਹੈ, ਇਸ ਲਈ ਸਾਨੂੰ ਮਿਸਰ ਦੇਸ਼ ਤੋਂ ਕੱਢ ਕੇ ਲੈ ਆਇਆ ਤਾਂ ਜੋ ਸਾਨੂੰ ਅਮੋਰੀਆਂ ਦੇ ਹੱਥਾਂ ਵਿੱਚ ਦੇ ਦੇਵੇ, ਜੋ ਸਾਡਾ ਨਾਸ਼ ਕਰ ਦੇਣ । 
\v 28 ਅਸੀਂ ਕਿੱਧਰ ਜਾਈਏ ?  ਸਾਡੇ ਭਰਾਵਾਂ ਨੇ ਇਹ ਆਖ ਕੇ ਸਾਡਾ ਹੌਂਸਲਾ ਤੋੜ ਦਿੱਤਾ ਹੈ ਕਿ ਉਹ ਲੋਕ ਸਾਡੇ ਤੋਂ ਵੱਡੇ ਅਤੇ ਉੱਚੇ-ਲੰਮੇ ਹਨ ! ਉਹਨਾਂ ਦੇ ਸ਼ਹਿਰ ਵੱਡੇ ਅਤੇ ਅਕਾਸ਼ ਤੱਕ ਉੱਚੇ ਗੜ੍ਹਾਂ ਵਾਲੇ ਹਨ ਅਤੇ ਅਸੀਂ ਉੱਥੇ ਅਨਾਕੀਆਂ ਨੂੰ ਵੀ ਵੇਖਿਆ ਹੈ !“

In this case, the problem is earlier in the chapter, where verse 13 ends with a double quotation mark for which there was no corresponding start quotation mark. cf. Verse 8 ended the previous quotation.

\v 6 “ਸਾਡੇ ਪਰਮੇਸ਼ੁਰ ਯਹੋਵਾਹ ਨੇ ਹੋਰੇਬ ਵਿੱਚ ਸਾਨੂੰ ਕਿਹਾ ਸੀ, ਤੁਹਾਨੂੰ ਇਸ ਪਹਾੜ ਵਿੱਚ ਰਹਿੰਦੇ ਹੋਏ ਬਹੁਤ ਦਿਨ ਹੋ ਗਏ ਹਨ,
\v 7 ਇਸ ਲਈ ਹੁਣ ਤੁਸੀਂ ਇੱਥੋਂ ਕੂਚ ਕਰੋ ਅਤੇ ਅਮੋਰੀਆਂ ਦੇ ਪਹਾੜੀ ਦੇਸ਼ ਨੂੰ ਅਤੇ ਅਰਾਬਾਹ ਦੇ ਨੇੜੇ-ਤੇੜੇ ਦੇ ਸਥਾਨਾਂ ਵਿੱਚ, ਪਹਾੜੀ ਦੇਸ਼ ਵਿੱਚ, ਮੈਦਾਨ ਵਿੱਚ, ਦੱਖਣ ਵੱਲ ਅਤੇ ਸਮੁੰਦਰ ਦੇ ਕੰਢਿਆਂ ਉੱਤੇ, ਲਬਾਨੋਨ ਪਹਾੜ ਵਿੱਚ ਅਤੇ ਵੱਡੇ ਦਰਿਆ ਫ਼ਰਾਤ ਤੱਕ ਰਹਿਣ ਵਾਲੇ ਕਨਾਨੀਆਂ ਦੇ ਦੇਸ਼ ਵਿੱਚ ਚਲੇ ਜਾਓ । 
\v 8 ਵੇਖੋ, ਮੈਂ ਇਸ ਦੇਸ਼ ਨੂੰ ਤੁਹਾਡੇ ਸਾਹਮਣੇ ਰੱਖ ਦਿੱਤਾ ਹੈ, ਜਿਸ ਦੇਸ਼ ਦੀ ਯਹੋਵਾਹ ਨੇ ਤੁਹਾਡੇ ਪਿਉ-ਦਾਦਿਆਂ ਨਾਲ ਅਰਥਾਤ ਅਬਰਾਹਾਮ, ਇਸਹਾਕ ਅਤੇ ਯਾਕੂਬ ਨਾਲ ਸਹੁੰ ਖਾਧੀ ਸੀ ਕਿ ਮੈਂ ਇਸ ਦੇਸ਼ ਨੂੰ ਤੁਹਾਨੂੰ ਅਤੇ ਤੁਹਾਡੇ ਬਾਅਦ ਤੁਹਾਡੇ ਵੰਸ਼ ਨੂੰ ਦਿਆਂਗਾ, ਇਸ ਲਈ ਜਾਓ ਅਤੇ ਇਸ ਦੇਸ਼ ਨੂੰ ਆਪਣੇ ਅਧੀਨ ਕਰ ਲਓ । ” i

It only takes the fact of one missing quotation mark to upset the subsequent line spanning replacements.

Need to devise better replace patterns.

[joshykurian]

@RahulMasih

[DavidHaslam]

Isaiah 44:5 has a very strange use of apostrophes to wrap a comma. \v 5 ਕੋਈ ਆਖੇਗਾ, ''ਮੈਂ ਯਹੋਵਾਹ ਦਾ ਹਾਂ,'' ਕੋਈ ਆਪਣੇ ਆਪ ਨੂੰ ਯਾਕੂਬ ਦੇ ਨਾਮ ਤੋਂ ਸਦਾਵੇਗਾ, ਕੋਈ ਆਪਣੇ ਹੱਥ ਉੱਤੇ ਲਿਖੇਗਾ, ''ਯਹੋਵਾਹ ਦਾ',' ਅਤੇ ਆਪ ਨੂੰ ਇਸਰਾਏਲ ਦੇ ਨਾਮ ਦੀ ਪਦਵੀ ਦੇਵੇਗਾ ।

I suspect this is a typo! This is a verse where two apostrophes had been keyed rather than " \x22.

Should it really have been as follows? \v 5 ਕੋਈ ਆਖੇਗਾ, "ਮੈਂ ਯਹੋਵਾਹ ਦਾ ਹਾਂ," ਕੋਈ ਆਪਣੇ ਆਪ ਨੂੰ ਯਾਕੂਬ ਦੇ ਨਾਮ ਤੋਂ ਸਦਾਵੇਗਾ, ਕੋਈ ਆਪਣੇ ਹੱਥ ਉੱਤੇ ਲਿਖੇਗਾ, "ਯਹੋਵਾਹ ਦਾ," ਅਤੇ ਆਪ ਨੂੰ ਇਸਰਾਏਲ ਦੇ ਨਾਮ ਦੀ ਪਦਵੀ ਦੇਵੇਗਾ ।

which with left and right double quotation marks becomes: \v 5 ਕੋਈ ਆਖੇਗਾ, “ਮੈਂ ਯਹੋਵਾਹ ਦਾ ਹਾਂ,” ਕੋਈ ਆਪਣੇ ਆਪ ਨੂੰ ਯਾਕੂਬ ਦੇ ਨਾਮ ਤੋਂ ਸਦਾਵੇਗਾ, ਕੋਈ ਆਪਣੇ ਹੱਥ ਉੱਤੇ ਲਿਖੇਗਾ, “ਯਹੋਵਾਹ ਦਾ,” ਅਤੇ ਆਪ ਨੂੰ ਇਸਰਾਏਲ ਦੇ ਨਾਮ ਦੀ ਪਦਵੀ ਦੇਵੇਗਾ ।

[DavidHaslam]

There seem to be instances where \x27 was keyed to start a quotation but \x22 was keyed to end it.

Here's an example in Deuteronomy 29:

\v 25 ਤਦ ਲੋਕ ਉੱਤਰ ਦੇਣਗੇ, 'ਇਸ ਲਈ ਕਿ ਉਨ੍ਹਾਂ ਨੇ ਆਪਣੇ ਪਿਉ-ਦਾਦਿਆਂ ਦੇ ਪਰਮੇਸ਼ੁਰ ਯਹੋਵਾਹ ਦੇ ਨੇਮ ਨੂੰ ਤਿਆਗ ਦਿੱਤਾ ਜਿਹੜਾ ਉਸ ਨੇ ਉਨ੍ਹਾਂ ਨਾਲ ਬੰਨ੍ਹਿਆ ਸੀ, ਜਦ ਉਹ ਉਨ੍ਹਾਂ ਨੂੰ ਮਿਸਰ ਦੇਸ਼ ਤੋਂ ਬਾਹਰ ਲਿਆਇਆ,
\v 26 ਉਨ੍ਹਾਂ ਨੇ ਜਾ ਕੇ ਦੂਜੇ ਦੇਵਤਿਆਂ ਦੀ ਪੂਜਾ ਕੀਤੀ ਅਤੇ ਉਹਨਾਂ ਦੇ ਅੱਗੇ ਮੱਥਾ ਟੇਕਿਆ, ਉਹ ਦੇਵਤੇ ਜਿਨ੍ਹਾਂ ਨੂੰ ਉਹ ਜਾਣਦੇ ਵੀ ਨਹੀਂ ਸਨ, ਨਾ ਹੀ ਉਸ ਨੇ ਉਨ੍ਹਾਂ ਲਈ ਠਹਿਰਾਏ ਸਨ ।
\v 27 ਇਸ ਕਾਰਨ ਯਹੋਵਾਹ ਦਾ ਕ੍ਰੋਧ ਇਸ ਦੇਸ਼ ਦੇ ਉੱਤੇ ਭੜਕਿਆ ਤਾਂ ਜੋ ਉਹ ਸਾਰੇ ਸਰਾਪ ਜਿਹੜੇ ਇਸ ਪੁਸਤਕ ਵਿੱਚ ਲਿਖੇ ਹੋਏ ਹਨ, ਇਸ ਉੱਤੇ ਪਾਵੇ ।
\v 28 ਯਹੋਵਾਹ ਨੇ ਕ੍ਰੋਧ, ਗੁੱਸੇ ਅਤੇ ਵੱਡੇ ਕਹਿਰ ਵਿੱਚ ਉਨ੍ਹਾਂ ਨੂੰ ਉਨ੍ਹਾਂ ਦੇ ਦੇਸ਼ ਵਿੱਚੋਂ ਉਖਾੜ ਕੇ ਦੂਜੇ ਦੇਸ਼ ਵਿੱਚ ਸੁੱਟ ਦਿੱਤਾ, ਜਿਵੇਂ ਅੱਜ ਦੇ ਦਿਨ ਹੈ । "

[DavidHaslam]

Another typo is when a single \x27 occurs somewhere between a pair of \x22.

Here's an example in Judges 12: \v 6 ਤਾਂ ਉਹ ਉਸ ਨੂੰ ਕਹਿੰਦੇ, "ਭਲਾ, 'ਸ਼ਿੱਬੋਲਥ" ਤਾਂ ਬੋਲ" ਅਤੇ ਉਹ ਕਹਿੰਦਾ "ਸਿੱਬੋਲਥ" ਕਿਉਂ ਜੋ ਉਹ ਇਸ ਗੱਲ ਨੂੰ ਠੀਕ ਤਰ੍ਹਾਂ ਨਹੀਂ ਬੋਲ ਸਕਦਾ ਸੀ, ਤਾਂ ਉਹ ਉਸ ਨੂੰ ਫੜ ਕੇ ਯਰਦਨ ਦੇ ਕੰਢਿਆਂ ਕੋਲ ਵੱਢ ਸੁੱਟਦੇ ਸਨ । ਇਸ ਤਰ੍ਹਾਂ ਉਸ ਸਮੇਂ ਬਤਾਲੀ ਹਜ਼ਾਰ ਇਫ਼ਰਾਈਮੀ ਮਾਰੇ ਗਏ ।

The first pair is "ਭਲਾ, 'ਸ਼ਿੱਬੋਲਥ" and includes \x27 apostrophe. The second pair " ਅਤੇ ਉਹ ਕਹਿੰਦਾ " doesn't look like a quotation, but like the end of one and start of another.

Perhaps this is the way it were intended? \v 6 ਤਾਂ ਉਹ ਉਸ ਨੂੰ ਕਹਿੰਦੇ, "ਭਲਾ, 'ਸ਼ਿੱਬੋਲਥ' ਤਾਂ ਬੋਲ" ਅਤੇ ਉਹ ਕਹਿੰਦਾ 'ਸਿੱਬੋਲਥ' ਕਿਉਂ ਜੋ ਉਹ ਇਸ ਗੱਲ ਨੂੰ ਠੀਕ ਤਰ੍ਹਾਂ ਨਹੀਂ ਬੋਲ ਸਕਦਾ ਸੀ, ਤਾਂ ਉਹ ਉਸ ਨੂੰ ਫੜ ਕੇ ਯਰਦਨ ਦੇ ਕੰਢਿਆਂ ਕੋਲ ਵੱਢ ਸੁੱਟਦੇ ਸਨ । ਇਸ ਤਰ੍ਹਾਂ ਉਸ ਸਮੇਂ ਬਤਾਲੀ ਹਜ਼ਾਰ ਇਫ਼ਰਾਈਮੀ ਮਾਰੇ ਗਏ ।

When converted to use left and right qms, it would become: \v 6 ਤਾਂ ਉਹ ਉਸ ਨੂੰ ਕਹਿੰਦੇ, “ਭਲਾ, ‘ਸ਼ਿੱਬੋਲਥ’ ਤਾਂ ਬੋਲ” ਅਤੇ ਉਹ ਕਹਿੰਦਾ ‘ਸਿੱਬੋਲਥ’ ਕਿਉਂ ਜੋ ਉਹ ਇਸ ਗੱਲ ਨੂੰ ਠੀਕ ਤਰ੍ਹਾਂ ਨਹੀਂ ਬੋਲ ਸਕਦਾ ਸੀ, ਤਾਂ ਉਹ ਉਸ ਨੂੰ ਫੜ ਕੇ ਯਰਦਨ ਦੇ ਕੰਢਿਆਂ ਕੋਲ ਵੱਢ ਸੁੱਟਦੇ ਸਨ । ਇਸ ਤਰ੍ਹਾਂ ਉਸ ਸਮੇਂ ਬਤਾਲੀ ਹਜ਼ਾਰ ਇਫ਼ਰਾਈਮੀ ਮਾਰੇ ਗਏ ।

Observe that the two words now wrapped in single quotation marks are almost identical.

• ‘ਸ਼ਿੱਬੋਲਥ’
• ‘ਸਿੱਬੋਲਥ’

Indeed, it's this very similarity that's the basis of the event this verse describes.

[DavidHaslam]

There are also several cases where a quotation

• starts with \x22 and ends with \x{201D}

or

• starts with \x{201C} and ends with \x22

Cunningly designed regular expressions were developed to address both these cases.

[DavidHaslam]

My improved TextPipe filter now leaves the following unconverted:

U+0022  "   81  QUOTATION MARK  50 of which are followed by a Gurmukhi letter
U+0027  '    4  APOSTROPHE   3 of which are  followed by a Gurmukhi letter

That's without fixing some of the complex typos reported above.

This would be a significant improvement that leaves far fewer detailed cases for the translators to review. Even so, it's still a real possibility that some of my 'fixes' may be incorrect.

[DavidHaslam]

Applying my latest fixes would yield:

• 66 matches to the line-spanning regexp \x{2018}.+?\x{2019}
• 1338 matches to the line-spanning regexp \x{201C}.+?\x{201D}

However, the left and right double quotation mark counts still do not match.

U+0022  "   81  QUOTATION MARK
U+0027  '   4   APOSTROPHE
U+2018  ‘   66  LEFT SINGLE QUOTATION MARK
U+2019  ’   66  RIGHT SINGLE QUOTATION MARK
U+201C  “   1,352   LEFT DOUBLE QUOTATION MARK
U+201D  ”   1,339   RIGHT DOUBLE QUOTATION MARK

i.e. There are still some unmatched left and right double qms to investigate.

[DavidHaslam]

@joshykurian

Am I correct to assume that when a right double quotation mark follows any of:

• a Devanagari Danda
• a Question Mark
• an Exclamation Mark

then no space is required?

e.g. Not like this:

\v 22 ਉਸ ਨੇ ਪੁੱਤਰ ਨੂੰ ਜਨਮ ਦਿੱਤਾ ਅਤੇ ਉਸ ਨੇ ਉਸ ਦਾ ਨਾਮ ਗੇਰਸ਼ੋਮ ਰੱਖਿਆ ਕਿਉਂ ਜੋ ਉਸ ਨੇ ਆਖਿਆ, “ਮੈਂ ਪਰਦੇਸ ਵਿੱਚ ਪਰਦੇਸੀ ਹੋਇਆ ਹਾਂ । ”

but like this:

\v 22 ਉਸ ਨੇ ਪੁੱਤਰ ਨੂੰ ਜਨਮ ਦਿੱਤਾ ਅਤੇ ਉਸ ਨੇ ਉਸ ਦਾ ਨਾਮ ਗੇਰਸ਼ੋਮ ਰੱਖਿਆ ਕਿਉਂ ਜੋ ਉਸ ਨੇ ਆਖਿਆ, “ਮੈਂ ਪਰਦੇਸ ਵਿੱਚ ਪਰਦੇਸੀ ਹੋਇਆ ਹਾਂ ।”

[DavidHaslam]

Another serious pitfall is when a quotation starts with \x27 and ends improperly with \x22. The next occurrence of \x27 could be many verses later, and the result of pairing two \x27 would result in a very long quotation, possibly even spanning a chapter boundary.

Here's an example in Deuteronomy 29:

\v 25 ਤਦ ਲੋਕ ਉੱਤਰ ਦੇਣਗੇ, 'ਇਸ ਲਈ ਕਿ ਉਨ੍ਹਾਂ ਨੇ ਆਪਣੇ ਪਿਉ-ਦਾਦਿਆਂ ਦੇ ਪਰਮੇਸ਼ੁਰ ਯਹੋਵਾਹ ਦੇ ਨੇਮ ਨੂੰ ਤਿਆਗ ਦਿੱਤਾ ਜਿਹੜਾ ਉਸ ਨੇ ਉਨ੍ਹਾਂ ਨਾਲ ਬੰਨ੍ਹਿਆ ਸੀ, ਜਦ ਉਹ ਉਨ੍ਹਾਂ ਨੂੰ ਮਿਸਰ ਦੇਸ਼ ਤੋਂ ਬਾਹਰ ਲਿਆਇਆ,
\v 26 ਉਨ੍ਹਾਂ ਨੇ ਜਾ ਕੇ ਦੂਜੇ ਦੇਵਤਿਆਂ ਦੀ ਪੂਜਾ ਕੀਤੀ ਅਤੇ ਉਹਨਾਂ ਦੇ ਅੱਗੇ ਮੱਥਾ ਟੇਕਿਆ, ਉਹ ਦੇਵਤੇ ਜਿਨ੍ਹਾਂ ਨੂੰ ਉਹ ਜਾਣਦੇ ਵੀ ਨਹੀਂ ਸਨ, ਨਾ ਹੀ ਉਸ ਨੇ ਉਨ੍ਹਾਂ ਲਈ ਠਹਿਰਾਏ ਸਨ ।
\v 27 ਇਸ ਕਾਰਨ ਯਹੋਵਾਹ ਦਾ ਕ੍ਰੋਧ ਇਸ ਦੇਸ਼ ਦੇ ਉੱਤੇ ਭੜਕਿਆ ਤਾਂ ਜੋ ਉਹ ਸਾਰੇ ਸਰਾਪ ਜਿਹੜੇ ਇਸ ਪੁਸਤਕ ਵਿੱਚ ਲਿਖੇ ਹੋਏ ਹਨ, ਇਸ ਉੱਤੇ ਪਾਵੇ ।
\v 28 ਯਹੋਵਾਹ ਨੇ ਕ੍ਰੋਧ, ਗੁੱਸੇ ਅਤੇ ਵੱਡੇ ਕਹਿਰ ਵਿੱਚ ਉਨ੍ਹਾਂ ਨੂੰ ਉਨ੍ਹਾਂ ਦੇ ਦੇਸ਼ ਵਿੱਚੋਂ ਉਖਾੜ ਕੇ ਦੂਜੇ ਦੇਸ਼ ਵਿੱਚ ਸੁੱਟ ਦਿੱਤਾ, ਜਿਵੇਂ ਅੱਜ ਦੇ ਦਿਨ ਹੈ । "

Verse 28 should have ended the quotation with \x27 rather than \x22. In my planned conversion, the quotation in these verses would start with U+2018 and end with U+2019.

This is within a much longer quotation of Moses that begins in 29:2 and ends at 30:20. The same speech contains further level-2 quotations that use single quotation marks.

cf. The next instance of \x27 is not until Deuteronomy 31:17 and is at the start of a quotation.

[DavidHaslam]

Improving my regexp to prevent converting such improper level-2 quotations leaves 4 instances of \x27 untouched. In addition to the above example in Deut. 29, these are the other 3 places:

Judges 6:15 has a spurious \x27 just before the end of the level-1 quotation. \v 15 ਗਿਦਾਊਨ ਨੇ ਉਸ ਨੂੰ ਕਿਹਾ, “ਹੇ ਪ੍ਰਭੂ, ਮੈਂ ਇਸਰਾਏਲ ਨੂੰ ਕਿਸ ਤਰ੍ਹਾਂ ਛੁਡਾਵਾਂ ? ਵੇਖ, ਮੇਰਾ ਟੱਬਰ ਮਨੱਸ਼ਹ ਵਿੱਚ ਸਾਰਿਆਂ ਨਾਲੋਂ ਕੰਗਾਲ ਹੈ, ਅਤੇ ਆਪਣੇ ਪਿਤਾ ਦੇ ਘਰਾਣੇ ਵਿੱਚੋਂ ਮੈਂ ਸਭ ਤੋਂ ਛੋਟਾ ਹਾਂ ।'”

Psalm 116 has a spurious \x27 in its section heading: \s ਮੌਤ ਤੋਂ ਬਚਣ 'ਤੇ ਪਰਮੇਸ਼ੁਰ ਦਾ ਧੰਨਵਾਦ

Amos 6:14 is the remaining location. \v 14 ਇਸ ਕਾਰਨ, ਸੈਨਾਂ ਦੇ ਪਰਮੇਸ਼ੁਰ ਯਹੋਵਾਹ ਦਾ ਵਾਕ ਹੈ, 'ਵੇਖ, ਹੇ ਇਸਰਾਏਲ ਦੇ ਘਰਾਣੇ, ਮੈਂ ਤੁਹਾਡੇ ਵਿਰੁੱਧ ਇੱਕ ਕੌਮ ਨੂੰ ਉਠਾਵਾਂਗਾ ਜਿਹੜੀ ਹਮਾਥ ਦੇ ਪ੍ਰਵੇਸ਼ ਤੋਂ ਲੈ ਕੇ ਅਰਾਬਾਹ ਦੀ ਨਦੀ ਤੱਕ ਤੁਹਾਨੂੰ ਸਤਾਏਗੀ ।"

This verse should be ordered: "Quotation," narrative, "quotation." Clearly, it does not have the proper quotation marks for this structure.

[DavidHaslam]

Following the above improvement, the statistics are unchanged. Merely the locations of 3 of the unconverted \x27 are different.

[DavidHaslam]

Here's another serious pitfall involving quotation marks.

When a long quotation includes a short quotation, but where the latter uses the same level-1 quotation marks.

Job 19 (a speech of Job) is one example:

\c 19
\s ਅਯੂੱਬ ਦਾ ਉੱਤਰ
\p
\v 1 ਤਦ ਅਯੂੱਬ ਨੇ ਉੱਤਰ ਦੇ ਕੇ ਆਖਿਆ,
\v 2 "ਤੁਸੀਂ ਕਦੋਂ ਤੱਕ ਮੇਰੀ ਜਾਨ ਨੂੰ ਸਤਾਓਗੇ, ਅਤੇ ਮੈਨੂੰ ਗੱਲਾਂ ਨਾਲ ਚੂਰ-ਚੂਰ ਕਰੋਗੇ ?
\v 3 ਹੁਣ ਦਸ ਵਾਰ ਤੁਸੀਂ ਮੈਨੂੰ ਲੱਜਿਆਵਾਨ ਕੀਤਾ, ਤੁਸੀਂ ਸ਼ਰਮ ਨਹੀਂ ਕਰਦੇ ਜੋ ਤੁਸੀਂ ਮੇਰੇ ਨਾਲ ਸਖ਼ਤੀ ਕਰਦੇ ਹੋ ?
\v 4 ਮੰਨ ਲਓ ਕਿ ਮੇਰੇ ਕੋਲੋਂ ਭੁੱਲ ਹੋਈ ਤਾਂ ਵੀ ਮੇਰੀ ਭੁੱਲ ਮੇਰੇ ਉੱਤੇ ਹੀ ਰਹੇਗੀ ।
\v 5 ਜੇ ਤੁਸੀਂ ਸੱਚਮੁੱਚ ਮੇਰੇ ਵਿਰੁੱਧ ਆਪਣੇ ਆਪ ਨੂੰ ਵਡਿਆਉਂਦੇ ਹੋ, ਅਤੇ ਮੇਰੀ ਬੇਇੱਜ਼ਤੀ ਕਰਕੇ ਮੇਰੇ ਨਾਲ ਬਹਿਸ ਕਰਦੇ ਹੋ,
\v 6 ਤਾਂ ਹੁਣ ਜਾਣ ਲਓ ਕਿ ਪਰਮੇਸ਼ੁਰ ਹੀ ਨੇ ਮੈਨੂੰ ਝੁਕਾਇਆ ਹੈ, ਅਤੇ ਮੈਨੂੰ ਆਪਣੇ ਜਾਲ ਵਿੱਚ ਫਸਾਇਆ ਹੈ ।
\p
\v 7 ਵੇਖੋ ਮੈਂ "ਜ਼ੁਲਮ, ਜ਼ੁਲਮ !" ਪੁਕਾਰਦਾ ਹਾਂ, ਪਰ ਕੋਈ ਮੈਨੂੰ ਉੱਤਰ ਨਹੀਂ ਦਿੰਦਾ, ਮੈਂ ਸਹਾਇਤਾ ਲਈ ਦੁਹਾਈ ਦਿੰਦਾ ਹਾਂ ਪਰ ਕੋਈ ਨਿਆਂ ਨਹੀਂ ਕਰਦਾ !
\v 8 ਉਹ ਨੇ ਮੇਰੇ ਰਾਹ ਨੂੰ ਬੰਦ ਕੀਤਾ ਤਾਂ ਜੋ ਮੈਂ ਲੰਘ ਨਾ ਸਕਾਂ, ਅਤੇ ਮੇਰੇ ਰਸਤਿਆਂ ਵਿੱਚ ਹਨੇਰਾ ਕਰ ਦਿੱਤਾ ਹੈ ।
\v 9 ਉਹ ਨੇ ਮੇਰਾ ਪਰਤਾਪ ਮੇਰੇ ਉੱਤੋਂ ਲਾਹ ਲਿਆ, ਅਤੇ ਮੇਰੇ ਸਿਰ ਦਾ ਮੁਕਟ ਲੈ ਲਿਆ ਹੈ ।
\v 10 ਉਹ ਨੇ ਮੈਨੂੰ ਚੌਂਹਾਂ ਪਾਸਿਆਂ ਤੋਂ ਤੋੜ ਸੁੱਟਿਆ, ਜਦੋਂ ਤੱਕ ਮੈਂ ਮੁੱਕ ਨਾ ਗਿਆ, ਅਤੇ ਮੇਰੀ ਆਸ ਨੂੰ ਰੁੱਖ ਵਾਂਗੂੰ ਪੁੱਟ ਸੁੱਟਿਆ ਹੈ ।
\v 11 ਉਹ ਨੇ ਆਪਣੇ ਕ੍ਰੋਧ ਨੂੰ ਮੇਰੇ ਉੱਤੇ ਭੜਕਾਇਆ ਹੈ, ਅਤੇ ਮੈਨੂੰ ਆਪਣੇ ਵਿਰੋਧੀਆਂ ਵਿੱਚ ਗਿਣ ਲਿਆ ਹੈ !
\v 12 ਉਹ ਦੇ ਜੱਥੇ ਇਕੱਠੇ ਹੋ ਕੇ ਆਉਂਦੇ, ਅਤੇ ਮੇਰੇ ਵਿਰੁੱਧ ਆਪਣਾ ਰਾਹ ਤਿਆਰ ਕਰਦੇ ਹਨ, ਅਤੇ ਮੇਰੇ ਤੰਬੂ ਦੇ ਆਲੇ-ਦੁਆਲੇ ਡੇਰੇ ਲਾਉਂਦੇ ਹਨ ।
\p
\v 13 ਉਹ ਨੇ ਮੇਰੇ ਭਰਾ ਮੈਥੋਂ ਦੂਰ ਕਰ ਦਿੱਤੇ, ਅਤੇ ਮੇਰੇ ਜਾਣ-ਪਛਾਣ ਵਾਲੇ ਮੈਥੋਂ ਬਿਲਕੁਲ ਬੇਗਾਨੇ ਹੋ ਗਏ ।
\v 14 ਮੇਰੇ ਅੰਗ ਸਾਕ ਕੰਮ ਨਾ ਆਏ, ਅਤੇ ਮੇਰੇ ਜਾਣ-ਪਛਾਣ ਵਾਲੇ ਮੈਨੂੰ ਭੁੱਲ ਗਏ ।
\v 15 ਮੇਰੇ ਘਰ ਵਿੱਚ ਰਹਿਣ ਵਾਲੇ ਸਗੋਂ ਮੇਰੀਆਂ ਦਾਸੀਆਂ ਵੀ ਮੈਨੂੰ ਓਪਰਾ ਗਿਣਦੀਆਂ ਹਨ, ਉਹਨਾਂ ਦੀ ਨਿਗਾਹ ਵਿੱਚ ਮੈਂ ਪਰਦੇਸੀ ਹਾਂ ।
\v 16 ਮੈਂ ਆਪਣੇ ਨੌਕਰ ਨੂੰ ਬੁਲਾਉਂਦਾ ਪਰ ਉਹ ਜਵਾਬ ਨਹੀਂ ਦਿੰਦਾ, ਮੈਨੂੰ ਉਹ ਦੀ ਮਿੰਨਤ ਕਰਨੀ ਪੈਂਦੀ ਹੈ ।
\v 17 ਮੇਰਾ ਸਾਹ ਮੇਰੀ ਪਤਨੀ ਲਈ ਘਿਣਾਉਣਾ ਹੈ, ਅਤੇ ਮੇਰੇ ਆਪਣੇ ਭਰਾ ਮੈਥੋਂ ਘਿਣ ਕਰਦੇ ਹਨ ।
\v 18 ਮੁੰਡੇ ਵੀ ਮੈਨੂੰ ਤੁੱਛ ਜਾਣਦੇ ਹਨ, ਜੇ ਮੈਂ ਉੱਠਾਂ ਤਾਂ ਉਹ ਮੈਨੂੰ ਮਿਹਣੇ ਮਾਰਦੇ ਹਨ !
\v 19 ਮੇਰੇ ਸਾਰੇ ਗੂੜ੍ਹੇ ਮਿੱਤਰ ਮੈਥੋਂ ਨਫ਼ਰਤ ਕਰਦੇ ਹਨ, ਅਤੇ ਮੇਰੇ ਪਿਆਰੇ ਮੇਰੇ ਵਿਰੁੱਧ ਹੋ ਗਏ ਹਨ ।
\v 20 ਮੇਰੀਆਂ ਹੱਡੀਆਂ ਮੇਰੀ ਖੱਲ ਅਤੇ ਮੇਰੇ ਮਾਸ ਵਿੱਚ ਸੁੰਗੜ ਗਈਆਂ ਹਨ, ਅਤੇ ਮੈਂ ਮੌਤ ਤੋਂ ਵਾਲ-ਵਾਲ ਬਚਿਆ ਹਾਂ !
\p
\v 21 ਹੇ ਮੇਰੇ ਮਿੱਤਰੋ, ਮੇਰੇ ਉੱਤੇ ਤਰਸ ਖਾਓ, ਤਰਸ ਖਾਓ, ਕਿਉਂ ਜੋ ਪਰਮੇਸੁਰ ਦੇ ਹੱਥ ਨੇ ਮੈਨੂੰ ਮਾਰਿਆ ਹੈ !
\v 22 ਤੁਸੀਂ ਪਰਮੇਸ਼ੁਰ ਵਾਂਗੂੰ ਕਿਉਂ ਮੇਰੇ ਪਿੱਛੇ ਪਏ ਹੋ ? ਅਤੇ ਮੇਰੇ ਮਾਸ ਨੂੰ ਕਿਉਂ ਨਹੀਂ ਛੱਡਦੇ ?
\p
\v 23 ਕਾਸ਼ ਕਿ ਹੁਣ ਮੇਰੀਆਂ ਗੱਲਾਂ ਲਿਖੀਆਂ ਜਾਂਦੀਆਂ ! ਕਾਸ਼ ਕਿ ਉਹ ਪੋਥੀ ਵਿੱਚ ਲਿਖੀਆਂ ਜਾਂਦੀਆਂ,
\v 24 ਉਹ ਲੋਹੇ ਦੀ ਲਿਖਣ ਨਾਲ ਅਤੇ ਸਿੱਕੇ ਨਾਲ ਸਦਾ ਲਈ ਚੱਟਾਨ ਵਿੱਚ ਉੱਕਰੀਆਂ ਜਾਂਦੀਆਂ !
\v 25 ਮੈਂ ਤਾਂ ਜਾਣਦਾ ਹਾਂ ਕਿ ਮੇਰਾ ਛੁਟਕਾਰਾ ਦੇਣ ਵਾਲਾ ਜੀਉਂਦਾ ਹੈ, ਅਤੇ ਅੰਤ ਵਿੱਚ ਉਹ ਧਰਤੀ ਉੱਤੇ ਖੜ੍ਹਾ ਹੋਵੇਗਾ,
\v 26 ਅਤੇ ਆਪਣੀ ਇਸ ਚਮੜੀ ਦੇ ਨਾਸ ਹੋਣ ਦੇ ਬਾਅਦ ਵੀ ਮੈਂ ਆਪਣੇ ਸਰੀਰ ਵਿੱਚ ਹੋ ਕੇ ਪਰਮੇਸ਼ੁਰ ਦਾ ਦਰਸ਼ਣ ਪਾਵਾਂਗਾ ।
\v 27 ਮੈਂ ਆਪ ਉਸ ਨੂੰ ਆਪਣੀਆਂ ਅੱਖਾਂ ਨਾਲ ਵੇਖਾਂਗਾ, ਮੈਂ ਆਪ - ਕੋਈ ਹੋਰ ਨਹੀਂ । ਮੇਰਾ ਦਿਲ ਮੇਰੇ ਅੰਦਰ ਕਿਵੇਂ ਇਸ ਗੱਲ ਨੂੰ ਲੋਚਦਾ ਹੈ !
\p
\v 28 ਜੇ ਤੁਸੀਂ ਆਖੋ ਕਿ ਕਿਵੇਂ ਅਸੀਂ ਉਹ ਦੇ ਪਿੱਛੇ ਪਈਏ ! ਤਾਂ ਵੀ ਧਰਮ ਦੀ ਗੱਲ ਮੇਰੇ ਵਿੱਚ ਪਾਈ ਜਾਵੇਗੀ,
\v 29 ਤੁਸੀਂ ਤਲਵਾਰ ਦੀ ਧਾਰ ਤੋਂ ਡਰੋ, ਕਿਉਂ ਕ੍ਰੋਧ ਦਾ ਫਲ ਤਲਵਾਰ ਨਾਲ ਦੰਡ ਦੇ ਯੋਗ ਹੈ, ਤਾਂ ਜੋ ਤੁਸੀਂ ਜਾਣ ਲਓ ਕਿ ਨਿਆਂ ਹੁੰਦਾ ਹੈ ।"

The long quotation begins at verse 2 and continues to the end of verse 29. The short quotation "ਜ਼ੁਲਮ, ਜ਼ੁਲਮ !" is in verse 7, and presumably means "Violence, tyranny!" This ought to have used level-2 quotation marks, thus 'ਜ਼ੁਲਮ, ਜ਼ੁਲਮ !'.

Such a pitfall makes it more difficult to script the replacement of the four \x22 by left and right single and double qms.

[DavidHaslam]

I have observed instances of the above pitfall in these 8 verses:

• Deuteronomy 5:30
• Judges 7:18
• Ezra 5:15
• Job 19:7
• Job 37:6
• Job 38:35
• Amos 7:8
• Amos 8:2

[DavidHaslam]

Another pitfall is when the closing quotation mark is improperly spaced.

Here's an example in 1 Chronicles 22:18: \v 18 "ਕੀ ਯਹੋਵਾਹ ਤੁਹਾਡਾ ਪਰਮੇਸ਼ੁਰ ਤੁਹਾਡੇ ਨਾਲ ਨਹੀਂ ਹੈ ? "ਕੀ ਉਸ ਨੇ ਹਰ ਪਾਸਿਓਂ ਤੁਹਾਨੂੰ ਸੁੱਖ ਨਹੀਂ ਦਿੱਤਾ ਹੈ ? ਕਿਉਂ ਜੋ ਉਸ ਨੇ ਦੇਸ ਦੇ ਵਾਸੀਆਂ ਨੂੰ ਮੇਰੇ ਹੱਥ ਵਿੱਚ ਸੌਂਪ ਦਿੱਤਾ ਹੈ ਅਤੇ ਇਹ ਦੇਸ ਯਹੋਵਾਹ ਦੇ ਅੱਗੇ ਅਤੇ ਉਹ ਦੀ ਪਰਜਾ ਦੇ ਸਾਹਮਣੇ ਅਧੀਨ ਹੋਇਆ ਹੈ ।

The space should be after the second quotation mark, not before it. i.e. \v 18 "ਕੀ ਯਹੋਵਾਹ ਤੁਹਾਡਾ ਪਰਮੇਸ਼ੁਰ ਤੁਹਾਡੇ ਨਾਲ ਨਹੀਂ ਹੈ ?" ਕੀ ਉਸ ਨੇ ਹਰ ਪਾਸਿਓਂ ਤੁਹਾਨੂੰ ਸੁੱਖ ਨਹੀਂ ਦਿੱਤਾ ਹੈ ? ਕਿਉਂ ਜੋ ਉਸ ਨੇ ਦੇਸ ਦੇ ਵਾਸੀਆਂ ਨੂੰ ਮੇਰੇ ਹੱਥ ਵਿੱਚ ਸੌਂਪ ਦਿੱਤਾ ਹੈ ਅਤੇ ਇਹ ਦੇਸ ਯਹੋਵਾਹ ਦੇ ਅੱਗੇ ਅਤੇ ਉਹ ਦੀ ਪਰਜਾ ਦੇ ਸਾਹਮਣੇ ਅਧੀਨ ਹੋਇਆ ਹੈ ।

[DavidHaslam]

The first introduction paragraph for Habakkuk contains an unmatched quotation mark. \ip ਈ. ਪੂ. ਸੱਤਵੀਂ ਸਦੀ ਦੇ ਲਗਭਗ ਅੰਤ ਵਿੱਚ ਨਬੀ ਹਬੱਕੂਕ ਦੇ ਬਚਨ ਉਸ ਸਮੇਂ ਲਿਖੇ ਗਏ ਸਨ ਜਦ ਬਾਬਲ ਦਾ ਰਾਜ ਸੱਤਾ ਵਿੱਚ ਸੀ । ਇਨ੍ਹਾਂ ਜ਼ਾਲਮ ਲੋਕਾਂ ਦੀ ਹਿੰਸਾ ਨੇ ਉਸ ਨੂੰ ਬੁਰੀ ਤਰ੍ਹਾਂ ਹਿਲਾ ਕੇ ਰੱਖ ਦਿੱਤਾ, ਇਸ ਲਈ ਉਸ ਨੇ ਪਰਮੇਸ਼ੁਰ ਨੂੰ ਪੁੱਛਿਆ, "ਫੇਰ ਤੂੰ ਧੋਖੇਬਾਜਾਂ ਨੂੰ ਕਿਉਂ ਵੇਖਦਾ ਰਹਿੰਦਾ ਹੈਂ ? ਜਦ ਦੁਸ਼ਟ ਧਰਮੀ ਨੂੰ ਨਿਗਲ ਲੈਂਦਾ ਹੈ, ਤਾਂ ਤੂੰ ਕਿਉਂ ਚੁੱਪ ਰਹਿੰਦਾ ਹੈਂ ? " (1:13) ਪਰਮੇਸ਼ੁਰ ਦਾ ਉੱਤਰ ਸੀ ਕਿ ਉਹ ਆਪਣੇ ਠਹਿਰਾਏ ਹੋਏ ਸਮੇਂ ਦੇ ਅੰਤ ਵਿੱਚ ਕਾਰਵਾਈ ਕਰੇਗਾ, ਅਤੇ ਇਸੇ ਦੌਰਾਨ "ਧਰਮੀ ਆਪਣੇ ਵਿਸ਼ਵਾਸ ਦੇ ਕਾਰਨ ਜੀਉਂਦਾ ਰਹੇਗਾ । (2:4)

This line has only 3 instances of \x22 where it ought to have had 4. It should have been: \ip ਈ. ਪੂ. ਸੱਤਵੀਂ ਸਦੀ ਦੇ ਲਗਭਗ ਅੰਤ ਵਿੱਚ ਨਬੀ ਹਬੱਕੂਕ ਦੇ ਬਚਨ ਉਸ ਸਮੇਂ ਲਿਖੇ ਗਏ ਸਨ ਜਦ ਬਾਬਲ ਦਾ ਰਾਜ ਸੱਤਾ ਵਿੱਚ ਸੀ । ਇਨ੍ਹਾਂ ਜ਼ਾਲਮ ਲੋਕਾਂ ਦੀ ਹਿੰਸਾ ਨੇ ਉਸ ਨੂੰ ਬੁਰੀ ਤਰ੍ਹਾਂ ਹਿਲਾ ਕੇ ਰੱਖ ਦਿੱਤਾ, ਇਸ ਲਈ ਉਸ ਨੇ ਪਰਮੇਸ਼ੁਰ ਨੂੰ ਪੁੱਛਿਆ, "ਫੇਰ ਤੂੰ ਧੋਖੇਬਾਜਾਂ ਨੂੰ ਕਿਉਂ ਵੇਖਦਾ ਰਹਿੰਦਾ ਹੈਂ ? ਜਦ ਦੁਸ਼ਟ ਧਰਮੀ ਨੂੰ ਨਿਗਲ ਲੈਂਦਾ ਹੈ, ਤਾਂ ਤੂੰ ਕਿਉਂ ਚੁੱਪ ਰਹਿੰਦਾ ਹੈਂ ? " (1:13) ਪਰਮੇਸ਼ੁਰ ਦਾ ਉੱਤਰ ਸੀ ਕਿ ਉਹ ਆਪਣੇ ਠਹਿਰਾਏ ਹੋਏ ਸਮੇਂ ਦੇ ਅੰਤ ਵਿੱਚ ਕਾਰਵਾਈ ਕਰੇਗਾ, ਅਤੇ ਇਸੇ ਦੌਰਾਨ "ਧਰਮੀ ਆਪਣੇ ਵਿਸ਼ਵਾਸ ਦੇ ਕਾਰਨ ਜੀਉਂਦਾ ਰਹੇਗਾ ।" (2:4)

[DavidHaslam]

Deuteronomy 1:6 - 4:40 is one long speech by Moses, therefore

• It should begin and end with double quotation marks
• All the level-2 quotations in the speech should use single quotation marks

And ideally, for a long speech that spans chapter divisions:

• Chapters 2,3 should end with a double quotation mark
• Chapters 3,4 should begin with a double quotation mark

Maybe there should also be additional quotation marks before and after section headings?

Currently, there are simply 48 instances of \x22 in this passage! Even the end of the speech has no closing quotation mark. This is a glaring example of a failure to use nested quotation marks.

[DavidHaslam]

The section title for Psalm 116 contains an unmatched \x27 which requires attention. \s ਮੌਤ ਤੋਂ ਬਚਣ 'ਤੇ ਪਰਮੇਸ਼ੁਰ ਦਾ ਧੰਨਵਾਦ I suspect it's a typo that should simply be removed.

[joshykurian]

@DeepaRani3012 Have a look at above issues.