Residue of apostrophes using \x27 should be replaced by right single quotation mark

[DavidHaslam]

The vast majority of typographical apostrophes are correctly coded as U+2019 right single quotation mark.

However, there is a significant residue of the ordinary ASCII apostrophe (\x27) still in use in some books.

It would be a typographical improvement to replace these by the right single quotation mark.

[DavidHaslam]

Some character counts from my concatenated USFM file:

Code point  Character   Count   Character Name
U+0020      963,987 SPACE
U+0021  !   557 EXCLAMATION MARK
U+0027  '   2,724   APOSTROPHE
U+0028  (   21,440  LEFT PARENTHESIS
U+0029  )   21,446  RIGHT PARENTHESIS
U+002A  *   290 ASTERISK
U+002B  +   1   PLUS SIGN
U+002C  ,   77,464  COMMA
U+002D  -   10,832  HYPHEN-MINUS
U+002E  .   33,036  FULL STOP
...
U+2018  ‘   1   LEFT SINGLE QUOTATION MARK
U+2019  ’   49,246  RIGHT SINGLE QUOTATION MARK

Only 4 of the 73 books had used \x27. These are:

1Cor    628
2Cor    312
Act 1293
Hbr 491

[DavidHaslam]

After conversion, this would become:

Code point  Character   Count   Character Name
U+0020      963,987 SPACE
U+0021  !   557 EXCLAMATION MARK
U+0028  (   21,440  LEFT PARENTHESIS
U+0029  )   21,446  RIGHT PARENTHESIS
U+002A  *   290 ASTERISK
U+002B  +   1   PLUS SIGN
U+002C  ,   77,464  COMMA
U+002D  -   10,832  HYPHEN-MINUS
U+002E  .   33,036  FULL STOP
...
U+2018  ‘   1   LEFT SINGLE QUOTATION MARK
U+2019  ’   51,970  RIGHT SINGLE QUOTATION MARK

For brevity, I omitted the counts for other characters.

[DavidHaslam]

I can readily perform the search & replace (on the XML files in the books folder) using a bespoke TextPipe filter. I've just forked the repo., and it would be no trouble for me to make the changes, and issue a pull request.

Just made this change in the Editing branch of my fork. Pull request to follow.

[DavidHaslam]

Related to this, but not worth a separate issue:

There are 20 instances where the [typographical] apostrophe is followed by a space.

A search for the regexp \x{2019}\x20 gave these 20 hits in my concatenated USFM file.

\v 14 Maonathi engendra Ophra ; Saraïa engendra Joab, le père de la Vallée des ouvriers. Car il y avait là toutes sortes d’ (des) ouvriers.
\v 18 Alors l’ (un) esprit revêtit Amasaï, qui était un chef des trente, et il dit : Nous sommes à vous, ô David, et avec vous, fils d’Isaï. Paix, paix à (vous, paix à) ceux qui prennent votre défense ; car votre Dieu vous protège. David les accueillit donc, et en fit les chefs de ses troupes.
\v 10 Il bâtit d’autres tours dans le désert, et il creusa plusieurs citernes, parce qu’il avait beaucoup de troupeaux, tant dans la campagne que dans l’ (la vaste) étendue du désert. Il avait aussi des vignes et des vignerons sur les montagnes et dans le Carmel, parce qu’il se plaisait à l’agriculture.
\v 22 Elle alla ensuite trouver tout le peuple ; et elle leur parla (si) sagement, qu’ (et) ils prirent la tête de Séba, fils de Bochri, et la jetèrent à Joab. Il sonna de la trompette, et s’éloigna de la ville, et chacun s’en retourna chez soi, et Joab revint trouver le roi à Jérusalem.
\v 10 Le roi d’Israël et Josaphat, roi de Juda, étaient dans l’ (une) aire, près de la porte de Samarie, assis chacun sur leur trône, revêtus de leurs habits royaux (avec une magnificence royale), et tous les prophètes prophétisaient devant eux.
\v 30 prends (bien) garde d’ (de ne pas) imiter ces nations, après qu’elles auront été détruites à ton entrée, et de t’informer de leurs cérémonies, en disant : Je veux suivre moi-même le culte dont ces nations ont honoré leurs dieux.
\v 31 Les fils de l’ (d’un) autre Elam, douze cent cinquante-quatre.
\v 28 auxquels le Seigneur donna ses ordres dans l’ (la terre d’) Egypte.
\v 4 Voici les vêtements qu’ils feront : le (un) rational, l’ (un) éphod, la (une) robe (de l’éphod), la (une) tunique de lin qui sera plus étroite, la (une) mitre et la (une) ceinture. Ce seront là les vêtements saints qu’ils feront pour Aaron ton frère et pour ses enfants, afin qu’ils exercent devant moi les fonctions du sacerdoce.
\v 17 Tu y mettras quatre rangs de pierres précieuses. Au premier rang, il y aura la (une) sardoine, la (une) topaze et l’ (une) émeraude ;
\v 15 et je me souviendrai de l’ (mon) alliance que j’ai faite avec vous et avec toute âme qui vit et anime la chair ; et il n’y aura plus (à l’avenir) de déluge qui fasse périr dans ses eaux toute chair qui a vie.
\v 15 répandant l’huile par-dessus et y ajoutant l’encens, parce que c’est l’ (une) oblation du Seigneur.
\v 33 Les hommes de l’ (d’un) autre Nébo, cinquante-deux.
\v 34 Les hommes de l’ (d’un) autre Elam, mille deux cent cinquante-quatre.
\v 18 lors même qu’ils se furent fait un veau en fonte, et qu’ils dirent : C’est là ton (votre) Dieu qui t’ (vous) a (re)tiré de l’Egypte, et qu’ils commirent de si grands blasphèmes.
\v 5 Il a fait une ordonnance (suscité un témoignage) dans Jacob, et établi une loi dans Israël ; c’est ce qu’ (combien de grandes choses) il a commandé à nos pères de faire connaître à leurs enfants,
\v 16 Le soleil les éclaire et les contemple toutes, et l’ (les) œuvre(s) du Seigneur est (sont) remplie(s) de sa gloire.
\v 11 Bienheureux ceux qui t’ (vous) ont vu, et qui ont été honorés de ton (votre) amitié.
\v 27 Par un grand don de l’ (Eclairé par un grand) esprit, il vit la fin des temps, et il consola ceux qui pleuraient dans Sion.
\v 8 que la (ta) parole soit saine, irrépréhensible, afin que l’ (notre) adversaire soit confondu, n’ayant aucun mal à dire de vous.

Should the space should be removed where the next letter is a vowel ? IMHO, it makes no sense to remove it when the next letter is a consonant.

It's not as if the space is always required merely on account of the left parenthesis being the next character!

cf. A search for \x{2019}\x20\x28 gave 9 hits:

\v 20 Tu n’es que d’(depuis) hier à Jérusalem, et tu en sortirais aujourd’hui à cause de moi ? Pour moi j’irai où je dois aller ; mais toi, retourne, et emmène tes hommes avec toi, et le Seigneur usera envers toi de bonté et de fidélité, parce que tu m’as témoigné toi-même de la bonté et de la fidélité.
\v 2 Aaron leur répondit : Otez les pendants d’(or des) oreilles de vos femmes, de vos fils et de vos filles, et apportez-les-moi.
\v 10 Les campagnes serviront de parcs aux troupeaux (de menu bétail), et la vallée d’Achor servira de gîte aux bœufs (troupeaux de gros bétail), pour ceux de mon peuple qui m’(aur)ont recherché.
\v 25 ils ont été exterminés par l’(ange) exterminateur, et ils ont péri par les serpents.
\v 10 Malheur à moi, ma mère ! Pourquoi m’as-tu (avez-vous) enfanté, pour être un homme de contradiction, un homme de discorde dans tout le pays ? Je n’ai pas prêté d’argent (à usure), et personne ne m’(en) a prêté (à intérêt) ; et cependant tous me maudissent.
\v 17 La terre s’(entr)ouvrit et engloutit Dathan, et couvrit la troupe d’Abiron.
\v 20 Car la créature a été assujettie à la vanité, non pas volontairement, mais à cause de celui qui l’(y) a assujettie avec espérance ;
\v 22 Ne révèle pas ton cœur au premier venu (à tout homme), de peur qu’il ne te témoigne une fausse amitié et qu’(ensuite) il ne médise de toi.
\v 10 qu’(un jour) elle ne se corrompe (soit souillée) pendant qu’elle est vierge, et qu’elle ne soit trouvée grosse (enceinte) dans la maison de son père ; ou qu’habitant avec son mari, elle ne viole la loi du mariage, ou du moins ne demeure (que certainement elle ne soit) stérile.

One of these verses is also an example of having no space immediately after the closing parenthesis. i.e. s’(entr)ouvrit. Are there any other similar instances?

Overall, there are 5987 hits for the regexp \)\S, though most of these are just punctuation marks. The narrower regexp \)\w has only 472 hits. I think that many of these are correct, though evidently not all.

Here's an example to illustrate the matter. (qu’) il should really be (qu’)il.

cf. There are 146 hits to the regexp \x{2019}\x29\x20 where the closing parenthesis is preceded by the right single quotation mark as the typographical apostrophe.

Notwithstanding, the matter is complicated by examples such as (sous le toit d’) l’alliance where the space is required.

A case-insensitive search for the regexp \x{2019}\) [yàâæèéêëîïôùûüœ] gave only 11 hits.

[DavidHaslam]

Also related to this issue is the sole occurrence of the left single quotation mark U+2018.

This is found in 1 Kings 22:14 (3Rg) which reads: \v 14 Michée lui répondit : Vive le Seigneur ‘vit !), je ne dirai que ce que le Seigneur m’aura dit (tout ce que m’aura dit le Seigneur, c’est ce que je dirai).

With it being the sole instance, I am wondering if this too should be replaced by U+2019 ? i.e. Might this have been keyed as a result of using the "smart quotes" feature in MS Word™ ?

Please advise! @MarjorieBurghart

[MarjorieBurghart]

First, thanks for your work on the right quotation marks vs. apostrophes! Merged.

About the single left quotation mark: the sentence makes no sense as it is, I suspect there's a typo, possibly this LQM is there in the place of an opening parenthesis. I'm also going to ask the person who put the text online in the first place.

[DavidHaslam]

Good idea!

[MarjorieBurghart]

While correcting the issue of mismatched parenthesis, it became self-evident that this left quotation mark was a mere typo, standing for an opening parenthesis. Problem solved! :)