manticoresoftware / manticoresearch

Easy to use open source fast database for search | Good alternative to Elasticsearch now | Drop-in replacement for E in the ELK soon
https://manticoresearch.com
GNU General Public License v3.0
8.94k stars 496 forks source link

HTTP JSON API - 2 Responses for a single request #2282

Open DiegoAlfa7 opened 4 months ago

DiegoAlfa7 commented 4 months ago

Bug Description:

As the title says, the JSON HTTP API returns 2 responses for a single bulk request (sometimes)

Here's the MRE to reproduce the bug (once the enviroment is set).

import requests

MANTICORE_URL = "http://localhost:9308"

CREATE_TABLE = """
CREATE TABLE articles_new(
    mongo_id string,
    artifact string,
    title text,
    subtitle text,
    `text` text,
    url string,
    category string,
    format string,
    image string,
    is_paywall bool,
    is_cover_page bool,
    economical_value int,
    audience int,
    feeds multi64,
    mongo_feeds string,
    published_at string,
    published_timestamp timestamp,
    publisher json,
    sentiment_score float,
    sentiment_label string
) morphology='libstemmer_es'
"""

PAYLOAD = """{"replace": {"index": "articles_new", "id": 16177374021239432404, "doc": {"mongo_id": "64ef9214e08193f5fe9be4d4", "url": "https://www.lavozdegalicia.es/noticia/coruna/2023/08/30/sueno-incansable-baltasar-pardal/00031693418939577549941.htm", "artifact": "cedro-cli", "category": "generalistas", "feeds": ["647634478acd4a77f56433b8"], "format": "Digital", "published_at": "2023-08-30T18:58:01.000Z", "publisher": {"name": "La Voz de Galicia", "keyName": "La Voz de Galicia (Digital)", "domain": "www.lavozdegalicia.es", "logo": null, "known_publisher": false, "authority": 0}, "subtitle": "Cre\u00f3 un innovador proyecto educativo centrado en las mujeres que se extendi\u00f3 por Galicia y Am\u00e9rica Latina y que cambi\u00f3 la concepci\u00f3n de la ense\u00f1anza en el siglo XX", "text": "Cre\u00f3 un innovador proyecto educativo centrado en las mujeres que se extendi\u00f3 por Galicia y Am\u00e9rica Latina y que cambi\u00f3 la concepci\u00f3n de la ense\u00f1anza en el siglo XX  Un 30 de agosto de 1923, Baltasar Pardal inauguraba la Grande Obra de Atocha. Este mi\u00e9rcoles, cien a\u00f1os despu\u00e9s, alumnos, exalumnos, profesores y amigos se reunieron en el Campo da Le\u00f1a para conmemorar y celebrar la gran contribuci\u00f3n que el centro ha supuesto para la ciudad.  Durante el acto, enmarcado en la m\u00fasica tradicional de Os Gaiteiri\u00f1os, se puso en valor la visi\u00f3n de Pardal, \u00abun nuevo proyecto educativo centrado en las mujeres\u00bb, y se celebr\u00f3 su figura con cestos de flores y globos. El calificado por muchos como \u00abso\u00f1ador incansable\u00bb cont\u00f3 su propia historia a trav\u00e9s de un v\u00eddeo conmemorativo.  Eclosi\u00f3n educativa en Atocha  La Grande Obra de Atocha abri\u00f3 sus puertas un 30 de agosto de 1923. Los sue\u00f1os que hab\u00edan surgido en la mente de Pardal, por aquel entonces un joven sacerdote, se vieron por fin materializados: la ciudad ten\u00eda un nuevo modelo educativo. El entusiasmo del eclesi\u00e1stico era contagioso y a su proyecto se sumaron varias maestras que contribuyeron a hacerlo m\u00e1s grande.  En agosto de 1925, la escuela ya ten\u00eda m\u00e1s de mil ni\u00f1os matriculados en 12 grupos con una profesora en cada uno, pero las ideas del fundador iban m\u00e1s all\u00e1. Se estaban ejecutando las obras para un taller de costura y el pen\u00faltimo d\u00eda de agosto, el \u00abd\u00eda grande\u00bb, se inaugur\u00f3 el segundo piso del edificio. En 1927, los reyes de Espa\u00f1a, Alfonso XIII y Victoria Eugenia visitan la instituci\u00f3n y dejan constancia de sus impresiones en el libro de honor de la Grande Obra.  Expansi\u00f3n: Galicia y Am\u00e9rica  Entre 1931 y 1935, coincidiendo con la Segunda Rep\u00fablica, las puertas del colegio permanecieron cerradas. No obstante, en la d\u00e9cada de los 40, pasada ya la Guerra Civil, la Grande Obra de Atocha alcanz\u00f3 su pleno desarrollo. Comenz\u00f3 as\u00ed la expansi\u00f3n de la instituci\u00f3n con la creaci\u00f3n de centros filiales. Primero fue el de Pontedeume y luego el de Betanzos, ambos en 1940, para dar respuesta a las demandas que llegaban desde las dos poblaciones. En 1950 se completaron las fundaciones de Galicia con otro colegio en Arz\u00faa.  En marzo de 1955, Pardal viaj\u00f3 a Montevideo con siete maestras, para fundar all\u00ed una instituci\u00f3n similar a la de A Coru\u00f1a. Cuando emprendi\u00f3 el regreso a Espa\u00f1a pas\u00f3 por Caracas y, tras observar la situaci\u00f3n, decidi\u00f3 emprender otro proyecto en la ciudad.  Semilla y legado  3 de marzo de 1963. La muerte de Pardal pone en manos de sus allegados el testigo de continuar la obra que \u00e9l hab\u00eda emprendido. La semilla que plant\u00f3 en el barrio de Atocha ha crecido durante estos cien a\u00f1os, y su prop\u00f3sito de proporcionar pan y catecismo a muchas generaciones contin\u00faa grabado en el ADN de lo que actualmente es la Grande Obra. \u00abUna escuela moderna, adaptada a las necesidades presentes, que sigue trabajando, preparando a alumnos para la vida, mejorando cada d\u00eda su m\u00e9todo pedag\u00f3gico, siempre en evoluci\u00f3n. Una escuela cuyo sue\u00f1o es todav\u00eda el sue\u00f1o de Pardal y que mantiene sus cuatro m\u00e1ximas: gran escuela, gran comedor, gran taller y gran iglesia\u00bb, comentaron esta ma\u00f1ana desde la instituci\u00f3n.  Camino a la santidad  En 1996 comenz\u00f3 el proceso de beatificaci\u00f3n del fundador de la Grande Obra. Desde un primer momento, cuando el Instituto Secular de las Hijas de la Natividad de Mar\u00eda lanz\u00f3 la propuesta para canonizar a Pardal, ya afirmaban que conoc\u00edan casos que hab\u00edan tardado m\u00e1s de dos siglos.  Se cre\u00f3 un tribunal que durante cinco a\u00f1os recab\u00f3 pruebas y testimonios sobre la calidad humana y devoci\u00f3n del sacerdote. En el 2001, 6.006 folios partieron hacia Roma para ser analizados. El Vaticano acept\u00f3 la propuesta y el fundador de la Grande Obra pas\u00f3 a ser venerable, pero para ser declarado beato se exige un milagro, y para santo, otro m\u00e1s. En ese momento se inici\u00f3 una b\u00fasqueda que todav\u00eda se alarga. Celsa Boquete, exdirectora del centro, apuntaba en el 2009 a La Voz de Galicia que \u00abver Atocha hace cien a\u00f1os y verla ahora ya es un milagro, y el m\u00e9rito es de Baltasar. Pero lo que hay que encontrar es un milagro tangible, visible, y eso no es tan f\u00e1cil\u00bb.  IN\u00c9S REY: \u00abO CAMBIO SOCIAL, O PROGRESO E O AVANCE SEMPRE ESTAR\u00c1N LIGADOS \u00c1 ENSINANZA\u00bb  In\u00e9s Rey estuvo presente en el acto conmemorativo, junto al arzobispo de Santiago de Compostela, Francisco Jos\u00e9 Prieto, el director xeral de Educaci\u00f3n, Jes\u00fas \u00c1lvarez B\u00e9rtolo y m\u00e1s autoridades eclesi\u00e1sticas y militares.  La alcaldesa comenz\u00f3 su intervenci\u00f3n dando la enhorabuena, en primer lugar, a los alumnos, pero tambi\u00e9n al personal docente, padres, exalumnos y a todos los que forman parte de la comunidad del centro.  \u00abA Grande Obra de Atocha foi unha revoluci\u00f3n no barrio das Atochas. Despois de cen anos toca facer balance, botar a vista cara atr\u00e1s, revisar as orixes e lembrarnos de figuras que, como Baltasar Pardal, fan que hoxe poidamos estar todos xuntos aqu\u00ed\u00bb, dec\u00eda.  Y habl\u00f3 de Pardal como \u00abun deses coru\u00f1eses pioneiros que lembramos como parte da historia da cidade\u00bb. Un coru\u00f1\u00e9s inconformista, que pensaba en grande y puso en marcha un proyecto que cambi\u00f3 para siempre el barrio de Atocha.  \u00abBaltasar Pardal comprendeu que a educaci\u00f3n \u00e9 unha ferramenta para o cambio, que o progreso e o avance van ligados \u00e1 ensinanza como formaci\u00f3n acad\u00e9mica. Mais tam\u00e9n, por suposto, \u00e1 ensinanza de valores, que \u00e9 o que representa este centro que conseguiu dar un novo futuro aos nenos deste barrio\u00bb.  Rey habl\u00f3 de la instituci\u00f3n como ejemplo de la introducci\u00f3n de nuevas formas de educar. Afirm\u00f3 que la innovaci\u00f3n pedag\u00f3gica que nac\u00eda del propio Pardal apostaba por un aprendizaje m\u00e1s libre de lo que normalmente estamos acostumbrados a ver.  \u00abNo exterior el apostaba por esa combinaci\u00f3n das artes musicais e o temario, deixando tam\u00e9n liberdade para aprender dende a experimentaci\u00f3n. Esa gu\u00eda segue a estar hoxe presente nas principais etapas, nas diferentes intelixencias, entre as que por suposto a intelixencia emocional ten tam\u00e9n un important\u00edsimo papel. Algo que todav\u00eda escapa ao curr\u00edculo xeral \u00e9 para a Grande Obra de Atocha unha cuesti\u00f3n centenaria, ligada \u00e1 orixe do centro\u00bb. ", "title": "El sue\u00f1o incansable de Baltasar Pardal en A Coru\u00f1a", "image": "https://cflvdg.avoz.es/sc/HAGIDzZlOjflsmINaqNQWIohyhM=/768x/2023/08/30/00121693419062194377331/Foto/H30G3017.jpg", "id": "64ef9214e08193f5fe9be4d4", "is_paywall": false, "published_timestamp": 1693421881.0, "economical_value": 0, "audience": 0, "sentiment": null, "is_cover_page": false}}}
{"replace": {"index": "articles_new", "id": 8129295163971210116, "doc": {"mongo_id": "64f0150870d10ee17ace0b84", "url": "3675553847_ACORU\u00d1A_00016_00149", "artifact": "cedro-cli", "category": "generalistas", "feeds": ["647634478acd4a77f56433b8", "6482ecdec8c6b4aa1c834921"], "format": "Papel", "published_at": "2023-08-31T04:05:10.170Z", "publisher": {"name": "La Voz de Galicia", "keyName": "la_voz_de_galicia", "domain": null, "logo": null, "known_publisher": false, "authority": 0}, "subtitle": "Cre\u00f3 un innovador proyecto educativo centrado en las mujeres que se extendi\u00f3 por Galicia y Am\u00e9rica Latina y que cambi\u00f3 la concepci\u00f3n de la ense\u00f1anza en el siglo XX", "text": "Un 30 de agosto de 1923, Baltasar Pardal inauguraba la Grande Obra de Atocha. Ayer, cien a\u00f1os despu\u00e9s, alumnos, exalumnos, profesores y amigos se reunieron en el Campo da Le\u00f1a para conmemorar y celebrar la gran contribuci\u00f3n que el centro ha supuesto para la ciudad. \t\t\tDurante el acto, enmarcado en la m\u00fasica tradicional de Os Gaiteiri\u00f1os, se puso en valor la visi\u00f3n de Pardal, \u00abun nuevo proyecto educativo centrado en las mujeres\u00bb, y se celebr\u00f3 su figura con cestos de flores y globos. El calificado por muchos como \u00abso\u00f1ador incansable\u00bb cont\u00f3 su propia historia a trav\u00e9s de un v\u00eddeo conmemorativo. \t\t\tEclosi\u00f3n educativa en Atocha \t\t\tLa Grande Obra de Atocha abri\u00f3 sus puertas un 30 de agosto de 1923. Los sue\u00f1os que hab\u00edan surgido en la mente de Pardal, por aquel entonces un joven sacerdote, se vieron por fin materializados: la ciudad ten\u00eda un nuevo modelo educativo. El entusiasmo del eclesi\u00e1stico era contagioso y a su proyecto se sumaron varias maestras que contribuyeron a hacerlo m\u00e1s grande. \t\t\tEn agosto de 1925, la escuela ya ten\u00eda m\u00e1s de mil ni\u00f1os matriculados en 12 grupos con una profesora en cada uno, pero las ideas del fundador iban m\u00e1s all\u00e1. Se estaban ejecutando las obras para un taller de costura y el pen\u00faltimo d\u00eda de agosto, el \u00abd\u00eda grande\u00bb, se inaugur\u00f3 el segundo piso del edificio. En 1927, los reyes de Espa\u00f1a, Alfonso XIII y Victoria Eugenia visitan la instituci\u00f3n y dejan constancia de sus impresiones en el libro de honor de la Grande Obra. \t\t\tExpansi\u00f3n: Galicia y Am\u00e9rica \t\t\tEntre 1931 y 1935, coincidiendo con la Segunda Rep\u00fablica, las puertas del colegio permanecieron cerradas. No obstante, en la d\u00e9cada de los cuarenta, pasada ya la Guerra Civil, la Grande Obra de Atocha alcanz\u00f3 su pleno desarrollo. Comenz\u00f3 as\u00ed la expansi\u00f3n de la instituci\u00f3n con la creaci\u00f3n de centros filiales. Primero fue el de Pontedeume y luego el de Betanzos, ambos en 1940, para dar respuesta a las demandas que llegaban desde las dos poblaciones. En 1950 se completaron las fundaciones de Galicia con otro colegio en Arz\u00faa. \t\t\tEn marzo de 1955, Pardal viaj\u00f3 a Montevideo con siete maestras, para fundar all\u00ed una instituci\u00f3n \t\t\tDos alumnos del centro llevaron un cesto de flores hasta los pies de la estatua de Baltasar Pardal, arropados por un c\u00e1lido aplauso de las autoridades. similar a la de A Coru\u00f1a. Cuando emprendi\u00f3 el regreso a Espa\u00f1a pas\u00f3 por Caracas y, tras observar la situaci\u00f3n, decidi\u00f3 emprender otro proyecto en la ciudad. \t\t\tSemilla y legado \t\t\t3 de marzo de 1963. La muerte de Pardal pone en manos de sus allegados el testigo de continuar la obra que \u00e9l hab\u00eda emprendido. La semilla que plant\u00f3 en el barrio de Atocha ha crecido durante estos cien a\u00f1os, y su prop\u00f3sito de proporcionar pan y catecismo a muchas generaciones contin\u00faa grabado en el ADN de lo que actualmente es la Grande Obra. \u00abUna escuela moderna, adaptada a las necesidades presentes, que sigue trabajando, preparando a alumnos para la vida, mejorando cada d\u00eda su m\u00e9todo pedag\u00f3gico, siempre en evoluci\u00f3n. Una escuela cuyo sue\u00f1o es todav\u00eda el sue\u00f1o de Pardal y que mantiene sus cuatro m\u00e1ximas: gran escuela, gran comedor, gran taller y gran iglesia\u00bb, comentaron esta ma\u00f1ana desde la instituci\u00f3n. \t\t\tCamino a la santidad \t\t\tEn 1996 comenz\u00f3 el proceso de beatificaci\u00f3n del fundador de la Grande Obra. Desde un primer momento, cuando el Instituto Secular de las Hijas de la Natividad de Mar\u00eda lanz\u00f3 la propuesta para canonizar a Pardal, ya afirmaban que conoc\u00edan casos que hab\u00edan tardado m\u00e1s de dos siglos. \t\t\tSe cre\u00f3 un tribunal que durante cinco a\u00f1os recab\u00f3 pruebas y testimonios sobre la calidad humana y devoci\u00f3n del sacerdote. En el 2001, 6.006 folios partieron hacia Roma para ser analizados. El Vaticano acept\u00f3 la propuesta y el fundador de la Grande Obra pas\u00f3 a ser venerable, pero para ser declarado beato se exige un milagro, y para santo, otro m\u00e1s. En ese momento se inici\u00f3 una b\u00fasqueda que todav\u00eda se alarga. Celsa Boquete, exdirectora del centro, apuntaba en el 2009 a La Voz de Galicia que \u00abver Atocha hace cien a\u00f1os y verla ahora ya es un milagro, y el m\u00e9rito es de Baltasar. Pero lo que hay que encontrar es un milagro tangible, visible, y eso no es tan f\u00e1cil\u00bb.", "title": "El sue\u00f1o incansable de Baltasar Pardal", "image": "https://newspapers.thenewstoyou.com/cedro/20230831/00016/00149/news/3675553847_ACORU%C3%91A_00016_00149_page_44.jpg", "id": "64f0150870d10ee17ace0b84", "is_paywall": false, "published_timestamp": 1693454710.17, "economical_value": 14882.02, "audience": 349000, "sentiment": null, "is_cover_page": false}}}
{"replace": {"index": "articles_new", "id": 8129295163971260708, "doc": {"mongo_id": "64f02c8970d10ee17aced124", "url": "https://cincodias.elpais.com/mercados-financieros/2023-08-31/la-bolsa-y-el-ibex-35-en-directo.html", "artifact": "cedro-cli", "category": "Econom\u00eda", "feeds": ["6476341d8acd4a77f56433b6", "647633e38acd4a77f56433b4", "647634478acd4a77f56433b8", "64f0a6e5ded62b15638c8fe3", "6482ecdec8c6b4aa1c834921"], "format": "Digital", "published_at": "2023-08-31T05:48:01.000Z", "publisher": {"name": "Cinco D\u00edas", "keyName": "cinco_dias", "domain": "cincodias.elpais.com", "logo": "https://i.postimg.cc/DznkdnmH/cincodias.png", "known_publisher": true, "authority": 0}, "subtitle": "Una segunda mitad del mes m\u00e1s ben\u00e9vola con los mercados ha permitido un cierto control de da\u00f1os al selectivo, que salva los 9.500 puntos", "text": "\u00bfQU\u00c9 HACE EL IBEX 35? [https://cincodias.elpais.com/mercados/bolsa/ibex_35/582/]  Las Bolsas han vivido el mes de agosto en la encrucijada de los tipos de inter\u00e9s. El mes ha amenazado por momentos con llegar a ser el peor del a\u00f1o, y lo ha sido para el Euro Stoxx y el Dax, ante la resignaci\u00f3n a que el precio del dinero iba a seguir subiendo, sumada a la inquietud por la econom\u00eda china [https://cincodias.elpais.com/mercados-financieros/2023-08-21/de-dragon-rojo-a-cisne-negro-las-cifras-y-senales-de-china-que-inquietan-al-resto-del-mundo.html] parec\u00edan caldo de cultivo para la correcci\u00f3n. Pero los descensos se han moderado en el balance mensual y agosto finaliza en la idea de que bien podr\u00eda ser el momento para una pausa en las subidas de tipos. [https://cincodias.elpais.com/mercados-financieros/2023-08-31/la-inflacion-mantiene-en-guardia-al-bce-pero-el-mercado-apuesta-por-la-pausa-en-los-tipos.html]  El Ibex ha sido el \u00edndice europeo que mejor ha contenido esa amenaza de correcci\u00f3n, sostenido por Inditex, Repsol y los bancos. Su descenso en agosto es el menor de entre las Bolsas europeas, del 1,4%. Cierra en los 9.505,9 puntos despu\u00e9s de haber llegado a superar los 9.600 durante la \u00faltima jornada del mes. El Euro Stoxx 50 ha sufrido una ca\u00edda mucho m\u00e1s pronunciada, del 3,9%. El Dax pierde en agosto el 3,04% y el Cac, el 2,42%, ambos penalizados por el declive de la econom\u00eda china, confirmada con los indicadores que se han publicado durante el mes.  En Wall Street el mes tambi\u00e9n concluye a la baja, aunque con descensos m\u00e1s leves. S\u00ed destaca la ca\u00edda del Nasdaq, que ha registrado el peor mes del a\u00f1o pese al optimismo generado por los buenos resultados de Nvdia. Ha pesado m\u00e1s el temor, dominante en gran parte del mes, a las alzas de tipos. Aun as\u00ed, las Bolsas conservan un balance brillante en lo que va de a\u00f1o una vez pasado el verano. El Ibex sube en 2023 el 15,5%, por encima del 14,5% del Dax o el 13,2% del Eurostoxx y cerca del 18% de alza del S&P 500. Para lo que queda de a\u00f1o, el reto va a ser sostener esos avances. \u201cEs probable que los rendimientos de la Bolsa, impulsados en particular por las megacapitalizaciones tecnol\u00f3gicas, sean m\u00e1s moderados\u201d, apuntan desde Generali Investments.  Para Lewis Grant, gestor de carteras de renta variable global de Federated Hermes, \u201cevitar una recesi\u00f3n es motivo de optimismo y, de hecho, la aversi\u00f3n al riesgo de los inversores al menos ha disminuido; sin embargo, el crecimiento sigue siendo escaso en lo que en general es una econom\u00eda mundial en desaceleraci\u00f3n. Los beneficios empresariales quiz\u00e1 hayan superado las expectativas\u201d.  \u00bfQU\u00c9 VALORES SON LOS QUE M\u00c1S SUBEN O BAJAN EN EL MES?  Los m\u00e1s alcistas de agosto son:  Rovi: 20,25%  Fluidra: 3,18%  Mapfre: 3,17%  Los m\u00e1s bajistas de agosto son:  Meli\u00e1: -9,66%  ArcelorMittal: -6,75%  Sacyr: -5,47%  \u00bfQu\u00e9 hacen el resto de Bolsas? [https://cincodias.elpais.com/mercados/bolsa/]  Las Bolsas europeas han cerrado en negativo el mes. El Stoxx 50 se deja un 3,9%. El FTSE un 3,38%, mientras CAC y DAX retroceden un 2,42% y el 3,04% respectivamente. En Estados Unidos, Dow Jones, S&P500 y Nasdaq van camino de cerrar agosto con retrocesos del 1,67%, 1,36% y 1,77% cada uno.  El m\u00e1s perjudicado entre los principales \u00edndices es el Hang Seng chino. El selectivo m\u00e1s representativo de China se ha dejado un 8,14% en agosto fruto de las cada vez mayores dudas acerca de la salud del sector inmobiliario [https://cincodias.elpais.com/companias/2023-08-30/la-mayor-promotora-inmobiliaria-de-china-country-garden-pierde-6145-millones-en-el-primer-semestre.html] del gigante asi\u00e1tico y los diferentes s\u00edntomas que apuntan a que la segunda econom\u00eda del mundo no carbura como deber\u00eda [https://cincodias.elpais.com/mercados-financieros/2023-08-21/de-dragon-rojo-a-cisne-negro-las-cifras-y-senales-de-china-que-inquietan-al-resto-del-mundo.html].  CLAVES DE LA JORNADA  \t* La inflaci\u00f3n de la zona euro se mantuvo en el 5,3% interanual en agosto [https://cincodias.elpais.com/economia/2023-08-31/la-inflacion-de-la-eurozona-se-mantiene-en-el-53-en-agosto-con-espana-y-belgica-con-la-tasa-mas-reducida.html], seg\u00fan los datos preliminares publicados hoy. El dato es peor de lo esperado por los expertos, que apuntaban a un ligero enfriamiento, hasta un nivel interanual del 5,1%. Al excluir del c\u00e1lculo el impacto de la energ\u00eda, la tasa interanual de inflaci\u00f3n de la zona euro en agosto se situ\u00f3 en el 6,3%, frente al 6,7% del mes anterior, mientras que al dejar fuera tambi\u00e9n el impacto del precio de los alimentos, el alcohol y el tabaco, la tasa subyacente de inflaci\u00f3n se moder\u00f3 al 5,3% desde el 5,5%, su nivel m\u00e1s bajo desde mayo. \t* La inflaci\u00f3n interanual en Francia subi\u00f3 en agosto al 4,8%, cinco d\u00e9cimas m\u00e1s que en julio a causa del repunte de los precios de la energ\u00eda. Y la inflaci\u00f3n en Portugal subi\u00f3 al 3,7% interanual en agosto, seis d\u00e9cimas porcentuales por encima de lo registrado en julio. Es el primer repunte tras nueve meses consecutivos de ca\u00edda. \t* Ayer se conocieron los IPC de Espa\u00f1a [https://cincodias.elpais.com/economia/2023-08-30/el-ipc-sube-tres-decimas-en-agosto-por-hasta-el-26-por-el-incremento-de-los-carburantes.html] y Alemania, que muestran que la inflaci\u00f3n se desaceler\u00f3 a un ritmo m\u00e1s lento de lo esperado en el \u00faltimo mes, lo que aumenta la probabilidad de que el Banco Central Europeo (BCE) tenga que volver a subir los tipos en septiembre. Los analistas consideran que hay un el 50% de posibilidades de una nueva alza. En las actas de la reuni\u00f3n de julio publicadas hoy se refleja que el BCE aprob\u00f3 por unanimidad elevar las tasas rectoras en un cuarto de punto para que baje la inflaci\u00f3n de la zona euro y consider\u00f3 que la decisi\u00f3n de septiembre depender\u00e1 de los datos. \t* Por otro lado, la tasa de desempleo de la eurozona permaneci\u00f3 en el 6,4% en julio [https://cincodias.elpais.com/economia/2023-08-31/la-tasa-de-desempleo-de-la-eurozona-se-mantiene-en-el-64-en-julio-el-minimo-historico.html], sin cambios con respecto a junio, con lo que se mantuvo en el m\u00ednimo hist\u00f3rico en el club de la moneda \u00fanica, seg\u00fan Eurostat. \t* En Estados Unidos, las peticiones semanales de subsidio por desempleo se redujeron a 228.000 frente a las 232.000 de la semana anterior. El dato est\u00e1 por debajo de las 235.000 solicitudes esperadas por el consenso. \t* La ACTIVIDAD EN LA INDUSTRIA MANUFACTURERA DE CHINA SE CONTRAJO en agosto por quinto mes consecutivo, seg\u00fan el \u00edndice gerente de compras (PMI, indicador de referencia del sector) que publica la Oficina Nacional de Estad\u00edstica (ONE) del pa\u00eds. El PMI se situ\u00f3 en julio en los 49,7 puntos, por encima de los 49,3 del mes anterior y m\u00e1s del 49,4 esperado por los analistas. Un nivel por debajo del umbral de los 50 puntos supone un decrecimiento. \t* La producci\u00f3n industrial de Jap\u00f3n experiment\u00f3 el pasado mes de julio un retroceso del 2% respecto del mes anterior, frente al avance mensual del 2,4% que registr\u00f3 en junio, seg\u00fan los datos preliminares publicados este jueves por el Ministerio de Econom\u00eda, Comercio e Industria nip\u00f3n. \t* UBS ha anunciado un beneficio de 28.880 millones de d\u00f3lares en el segundo trimestre [https://cincodias.elpais.com/mercados-financieros/2023-08-31/ubs-gana-un-record-de-28875-millones-en-el-trimestre-y-anuncia-que-credit-suisse-desaparecera-en-2025.html], su primer resultado trimestral desde que el mayor banco suizo complet\u00f3 la adquisici\u00f3n de su rival Credit Suisse. Los analistas hab\u00edan previsto un beneficio neto de 12.800 millones de d\u00f3lares \t* La vicepresidenta primera del Gobierno en funciones y ministra de Asuntos Econ\u00f3micos y para la Transformaci\u00f3n Digital, Nadia Calvi\u00f1o, no ha descartado este jueves una posible subida del impuesto extraordinario a la banca, pero condicionada a c\u00f3mo evolucione la situaci\u00f3n econ\u00f3mica y presupuestaria y los beneficios del sector financiero.  \u00bfQU\u00c9 DICEN LOS ANALISTAS?  La decisi\u00f3n en materia de tipos sigue centrando la atenci\u00f3n de los analistas. \u201cIndependientemente de que la Fed realice o no nuevas subidas de tipos este a\u00f1o, el ciclo de endurecimiento de la pol\u00edtica monetaria ya est\u00e1 casi completado y, al menos hasta ahora, se han evitado ca\u00eddas bruscas\u201d, explica el informe mensual de WisdomTree. Los analistas destacan que la noticia menos positiva es que \u201clos activos de riesgo han adoptado un enfoque moderado en lo que va de a\u00f1o\u201d. As\u00ed, aunque hay excepciones en Bolsa, como valores ligados a la inteligencia artificial, \u201cno ocurre lo mismo con todos los elementos que componen el espectro de los riesgos\u201d.  Desde de La Fran\u00e7aise AM destacan que el mensaje de Christine Lagarde sobre tipos de inter\u00e9s fue \u201cm\u00e1s neutro\u201d [https://cincodias.elpais.com/mercados-financieros/2023-08-28/estan-los-inversores-preparados-para-la-deseada-caida-de-la-inflacion.html] que el del estadounidense Jerome Powell, \u201clo que resulta razonable teniendo en cuenta la coyuntura menos favorable de la econom\u00eda europea\u201d. Algunos miembros del BCE \u201creafirmaron sus respectivas predisposiciones, las de Martin Kazaks y Joachim Nagel fueron m\u00e1s bien _halcones_, mientras que Mario Centeno adopt\u00f3 una postura m\u00e1s neutral\u201d, se\u00f1alan.  Sobre el dato de ofertas de empleo conocido esta semana en EE UU, que qued\u00f3 muy por debajo de las previsiones, Standard Chartered considera que \u201cesto continuar\u00e1, e incluso puede haber m\u00e1s revisiones a la baja de las contrataciones y las ofertas de empleo lo que dar\u00eda a la Fed muchas razones para no actuar\u201d, seg\u00fan recoge Reuters.  \u00bfCU\u00c1L ES LA EVOLUCI\u00d3N DE LA DEUDA, LAS DIVISAS Y LAS MATERIAS PRIMAS?  El euro cotiza a la baja frente al d\u00f3lar, tras las subidas de la v\u00edspera cuando se conocieron los datos de inflaci\u00f3n de Espa\u00f1a y Alemania. La moneda europea cae un 0,47% hasta 1,0875 d\u00f3lares. La divisa europea termina el mes m\u00e1s d\u00e9bil que cuando lo comenz\u00f3 en el 1,0997.  El bono espa\u00f1ol a 10 a\u00f1os cotiza con una rentabilidad del 3,568% y el de Estados Unidos a igual plazo se sit\u00faa en el 4,116%. Empezaron el mes en el 3,51% y en el 3,95% cada uno.  El barril de Brent cuesta en torno a 85,26 d\u00f3lares, pr\u00e1cticamente lo mismo que a inicios de agosto. El \u00faltimo d\u00eda de agosto, el barril se pagaba a 85,56 d\u00f3lares.  Cotizaciones  BOLSAS [https://cincodias.elpais.com/mercados/bolsa/] - DIVISAS [https://cincodias.elpais.com/mercados/divisas/] - DEUDA [https://cincodias.elpais.com/mercados/prima-de-riesgo/] - TIPOS DE INTER\u00c9S [https://cincodias.elpais.com/mercados/tipos-de-interes/] - MATERIAS PRIMAS [https://cincodias.elpais.com/mercados/materias-primas/]  _Sigue toda la informaci\u00f3n de __CINCO D\u00cdAS__ en __Facebook_ [https://www.facebook.com/Cincodias]_, __Twitter_ [https://twitter.com/CincoDiascom]_ y __Linkedin_ [https://www.linkedin.com/company/933981]_, o en __nuestra newsletter_ [https://plus.elpais.com/newsletters/lnp/1/486#?prm=footer_CincoDias]_ Agenda de Cinco D\u00edas_  ", "title": "El Ibex reduce al 1,4% su ca\u00edda mensual en un agosto hostil para las bolsas europeas", "image": null, "id": "64f02c8970d10ee17aced124", "is_paywall": false, "published_timestamp": 1693460881.0, "economical_value": 12000, "audience": 513000, "sentiment": null, "is_cover_page": false}}}
{"replace": {"index": "articles_new", "id": 3873130238567404135, "doc": {"mongo_id": "64f1587335c01f6e66a25267", "url": "3676633378_FINANZAS&MERCADOS_00572_07526", "artifact": "cedro-cli", "category": "generalistas", "feeds": ["647634478acd4a77f56433b8"], "format": "Papel", "published_at": "2023-09-01T03:05:07.950Z", "publisher": {"name": "Expansi\u00f3n", "keyName": "expansion", "domain": null, "logo": null, "known_publisher": false, "authority": 0}, "subtitle": "EL IBEX CAE UN 1,41%, PERO ES EL QUE MEJOR AGUANTA/ Rovi brilla en el Ibex al revalorizarse un 20,25% en el mes, seguida de Fluidra, Mapfre, Repsol, ACS y CaixaBank.", "text": "Nueve valores del Ibex han desafiado el torrente de ventas que ha plagado las bolsas en agosto y cierran el mes al alza. Rovi destaca con una revalorizaci\u00f3n del 20,25%, seguido de un grupo de sectores diversos en el que el financiero ha resistido mejor, con CaixaBank en cabeza, pese a las ca\u00eddas de ayer (ver p\u00e1g. 12). \t\t\tLas principales bolsas del mundo caen entre el 1,41% y el 3,90% en el mes, con el Ibex entre los \u00edndices que mejor han aguantado. Le siguen de lejos el Cac Franc\u00e9s, con una ca\u00edda del 2,42%, y el Ftse Mib, un 2,74%, mientras que Alemania y Reino Unido superan el 3% (ver gr\u00e1fico adjunto). \t\t\tEl Euro Stoxx 50 se ha dejado el 3,90%, su peor registro mensual desde diciembre, presionado por la debilidad de la empresa de pagos Adyen (ver informaci\u00f3n adjunta). \t\t\tEn Wall Street, la debilidad de algunas tecnol\u00f3gicas ha hecho que el Nasdaq Composite y el S&P 500 caigan por primera vez en un mes desde febrero, tras ceder m\u00e1s del 1%. En el caso del Nasdaq no bajaba tanto desde diciembre. El Dow Jones cede un 1,9%. \t\t\tAgosto ha estado marcado por un movimiento de ida y vuelta tanto en las bolsas como en los bonos. Los \u00edndices burs\u00e1tiles arrancaron el mes m\u00e1s d\u00e9biles, mientras la rentabilidad de los bonos se disparaba. Pero en las \u00faltimas semanas ha habido un giro en el retorno de la renta fija (el bono alem\u00e1n a diez a\u00f1os lleg\u00f3 al 2,7% y ahora ronda el 2,4% y el espa\u00f1ol ha bajado al 3,48% desde el 3,75%) a la expectativa de los movimientos de los bancos centrales. \t\t\tValores destacados \t\t\tEl Ibex se ha movido en agosto entre los 9.581 y los 9.262 puntos y ayer cerr\u00f3 en 9.505,9: queda a 188 puntos del m\u00e1ximo del a\u00f1o (9.694,7 el 27 de julio). \t\t\tEl buen tono de compa\u00f1\u00edas con elevado peso en el \u00edndice como Inditex, Repsol, CaixaBank y BBVA, que suben entre el 0,78% y el 2,30% en agosto, ha apuntalado al Ibex. Han contrarrestado as\u00ed las ca\u00eddas de otros grandes, como Iberdrola, Santander y Cellnex, que terminan el mes \t\t\tcon descensos de entre el 2,21% y el 3,48%. \t\t\tPor revalorizaci\u00f3n, Laboratorios Rovi ha brillado con una subida del 20,25%, que ha llevado su cotizaci\u00f3n a m\u00e1ximos desde junio de 2022. Termina agosto como el valor m\u00e1s alcista en 2023, un 45,59%, con lo que recupera parte del terreno perdido en 2022 (-51,14%). Unas cuentas mejores de lo esperado, el anuncio de una recompra de acciones y nuevos f\u00e1rmacos impulsan su cotizaci\u00f3n. \t\t\tLe sigue la empresa de piscinas Fluidra, que se anota un 3,18% y suma ya el 42,98% desde enero. \t\t\tLos inversores han apostado tambi\u00e9n por el sector asegurador en Europa y Mapfre cierra el mes con un alza superior \t\t\tal 3% y en nivel m\u00e1s alto desde principios de marzo. Ha superado la resistencia que tiene en los 1,90 euros. \t\t\tCaixaBank, BBVA y Bankinter terminan entre los diez mejores, con alzas de entre el 0,65% de Bankinter y el 1,77% de CaixaBank, en un movimiento mixto en el sector. Contrarrestan la ca\u00edda de Sabadell y Santander, que bajan en agosto un 4,56% y un 2,21% respectivamente. Aun as\u00ed se mantienen entre los mejores en 2023, con avances superiores al 21%, pese al descenso que sufrieron ayer los bancos (ver p\u00e1g. 12). \t\t\tLa recuperaci\u00f3n del petr\u00f3leo ha sentado bien a Repsol, que se anota un 2,3% en el mes, en sinton\u00eda con el resto del sector. \t\t\tPor el contrario, Meli\u00e1 es valor m\u00e1s castigado del mes, con un descenso del 9,66%, su peor registro desde diciembre. Cae a pesar de disparar su beneficio en el primer semestre porque se hab\u00eda disparado un 24% entre mayo y julio y arranc\u00f3 el mes en el nivel m\u00e1s alto desde junio de 2022. A\u00fan se anota un 30% en 2023. \t\t\tArcelorMittal, Sacyr y \t\t\tGrifols le siguen entre los peores con ca\u00eddas de entre el 5,28% y el 6,75% (ver ilustraci\u00f3n). \t\t\tEn el IGBM, Airtificial es el m\u00e1s alcista, con un alza del 32,05% en agosto, junto a Bodegas Riojanas, un 19,61%. \t\t\tUrbas es el peor, con un descenso del 17%, pese al rebote de ayer, y con mucho volumen negociado (ver p\u00e1g. 14).", "title": "Nueve valores suben en agosto y desaf\u00edan las ca\u00eddas que dominan las bolsas", "image": "https://newspapers.thenewstoyou.com/cedro/20230901/00572/07526/news/3676633378_FINANZAS&MERCADOS_00572_07526_page_15.jpg", "id": "64f1587335c01f6e66a25267", "is_paywall": false, "published_timestamp": 1693537507.95, "economical_value": 19908, "audience": 117000, "sentiment": null, "is_cover_page": false}}}
{"replace": {"index": "articles_new", "id": 3873130238567403504, "doc": {"mongo_id": "64f1586e35c01f6e66a24ff0", "url": "3676661196_ECONOM\u00cdA_00031_01038", "artifact": "cedro-cli", "category": "generalistas", "feeds": ["647634478acd4a77f56433b8", "64e61bcc0ef5764886879363"], "format": "Papel", "published_at": "2023-09-01T03:05:06.985Z", "publisher": {"name": "El Comercio", "keyName": "el_comercio", "domain": null, "logo": null, "known_publisher": false, "authority": 0}, "subtitle": "Las cuatro compa\u00f1\u00edas crean All4Zero, un \u2018hub\u2019 de innovaci\u00f3n industrial para avanzar en la reducci\u00f3n de emisiones y la econom\u00eda circular", "text": "Arcelor, Repsol, Iberia y Holcim se han aliado para crear un \u2018hub\u2019 de innovaci\u00f3n tecnol\u00f3gica industrial, que nace con el prop\u00f3sito de desarrollar proyectos de descarbonizaci\u00f3n y econom\u00eda circular. Se trata de una alianza estrat\u00e9gica para las cuatro compa\u00f1\u00edas, que pertenecen a sectores bien distintos, como el sider\u00fargico, el energ\u00e9tico, el de la aviaci\u00f3n y el cementero, pero que pueden encontrar puntos en com\u00fan en el camino para reducir emisiones y fomentar el reaprovechamiento de residuos y subproductos. \t\t\tEsta alianza, calificada por las empresas como un \u2018hub\u2019 \u00ab\u00fanico en Espa\u00f1a\u00bb, se presentar\u00e1 la pr\u00f3xima semana en Madrid bajo el nombre de All4Zero y parte del inter\u00e9s de las compa\u00f1\u00edas por abordar su descarbonizaci\u00f3n. En el Principado, el caso de Arcelor es el m\u00e1s conocido. La multinacional se ha fijado como objetivo reducir sus emisiones de CO2 en Europa un 35% con el horizonte de 2030 y alcanzar la neutralidad en carbono en 2050. En Asturias cuenta ya con un ambicioso proyecto para sustituir la actividad de uno de sus hornos altos por una planta de reducci\u00f3n directa del mineral de hierro abastecida, primero por gas natural, y despu\u00e9s por hidr\u00f3geno verde. De momento, la sider\u00fargica est\u00e1 a la espera de que se confirme la ayuda por parte del Gobierno central de 450 millones de euros que ya tiene aprobada por la Uni\u00f3n Europea y el Consejo de Ministros para decidir si sigue adelante con el proyecto. \t\t\tA este ambicioso plan, que incluye transformar la acer\u00eda gijonesa en una de tipo el\u00e9ctrico, se suman otras estrategias, como el reaprovechamiento de gases sider\u00fargicos; la captura de CO2, para la que ya cuenta con dos plantas piloto, o avances en materia de eficiencia energ\u00e9tica. \t\t\tPero, m\u00e1s all\u00e1 de Arcelor, tanto Iberia como Repsol y Holcim tienen tambi\u00e9n sus propios proyectos. Repsol, segunda comercializadora de electricidad en Asturias, se encuentra en plena transformaci\u00f3n de su negocio, cada vez m\u00e1s multienerg\u00e9tico. Entre sus planes est\u00e1 el impulso de renovables, de proyectos de captura, uso y almacenamiento de CO2, de eficiencia energ\u00e9tica y de biocombustibles, que ser\u00e1n uno de los principales pilares de su actividad. Adem\u00e1s, entre sus objetivos est\u00e1 la \u00abtransformaci\u00f3n de los complejos industriales en polos multienerg\u00e9ticos descarbonizados que utilizan hidr\u00f3geno renovable\u00bb. Para impulsar el uso de este gas tiene una alianza con EdP, que incluye apoyar la transformaci\u00f3n de las t\u00e9rmicas asturianas. \t\t\tAlianzas \t\t\tPrecisamente, esta compa\u00f1\u00eda, liderada por Josu Jon Imaz, ya firm\u00f3 el a\u00f1o pasado un acuerdo de colaboraci\u00f3n con LafargeHolcim Espa\u00f1a para desarrollar soluciones basadas en la econom\u00eda circular que permitan acelerar la descarbonizaci\u00f3n de sus actividades y el suministro de energ\u00eda y materiales de construcci\u00f3n con baja huella de carbono. \t\t\tAdem\u00e1s, Repsol coincide con Iberia en abordar el dif\u00edcil reto de hacer sostenible la aviaci\u00f3n, que supone entre el 2% y el 3% de las emisiones globales. El pasado mes de marzo ambas empresas suscribieron un acuerdo para ofrecer a los clientes corporativos de la aerol\u00ednea la compra de combustible de origen sostenible (SAF) para \u00abdescarbonizar sus viajes de empresa\u00bb.", "title": "Arcelor se al\u00eda con Repsol, Iberia y Holcim para desarrollar proyectos de descarbonizaci\u00f3n", "image": "https://newspapers.thenewstoyou.com/cedro/20230901/00031/01038/news/3676661196_ECONOM%C3%8DA_00031_01038_page_34.jpg", "id": "64f1586e35c01f6e66a24ff0", "is_paywall": false, "published_timestamp": 1693537506.985, "economical_value": 3598, "audience": 88000, "sentiment": null, "is_cover_page": false}}}
"""

def run_sql(sql):
    url = f"{MANTICORE_URL}/cli"
    r = requests.post(url, sql)
    r.raise_for_status()

def recreate_table():
    run_sql("DROP TABLE IF EXISTS articles_new")
    run_sql(CREATE_TABLE)

def main():
    recreate_table()
    r = requests.post(f"{MANTICORE_URL}/bulk", data=PAYLOAD.encode('utf-8'), headers={"Content-Type": "application/x-ndjson"})
    print(r)

main()

Running the above script:

python bug.py

2 out of 5 runs, it fails and searchd returns two HTTP responses 🤯

Manticore version used:

Manticore 6.2.13 f6c433af8@24052107 dev (columnar 2.2.5 a915428@24051706) (secondary 2.2.5 a915428@24051706) (knn 2.2.5 a915428@24051706)

See this capture with ngrep -d lo -W byline port 9308:

T 127.0.0.1:36850 -> 127.0.0.1:9308 [AP] #32
energ..a y materiales de construcci..n con baja huella de carbono. ...Adem..s, Repsol coincide con Iberia en abordar el dif..cil reto de hacer sostenible la aviaci..n, que supone entre el 2% y el 3% de las emisiones globales. El pasado mes de marzo ambas empresas suscribieron un acuerdo para ofrecer a los clientes corporativos de la aerol..nea la compra de combustible de origen sostenible (SAF) para ..descarbonizar sus viajes de empresa...", "title": "Arcelor se al..a con Repsol, Iberia y Holcim para desarrollar proyectos de descarbonizaci..n", "image": "https://newspapers.thenewstoyou.com/cedro/20230901/00031/01038/news/3676661196_ECONOM%C3%8DA_00031_01038_page_34.jpg", "id": "64f1586e35c01f6e66a24ff0", "is_paywall": false, "published_timestamp": 1693537506.985, "economical_value": 3598, "audience": 88000, "sentiment": null, "is_cover_page": false}

##
T 127.0.0.1:9308 -> 127.0.0.1:36850 [AP] #34
HTTP/1.1 200 OK.
Server: 6.2.13 f6c433af8@24052107 dev (columnar 2.2.5 a915428@24051706) (secondary 2.2.5 a915428@24051706) (knn 2.2.5 a915428@24051706) (buddy v2.3.9).
Content-Type: application/json; charset=UTF-8.
Content-Length: 37.
.
[{"total":0,"error":"","warning":""}]
##
T 127.0.0.1:9308 -> 127.0.0.1:36850 [AP] #36
HTTP/1.1 400 Bad Request.
Server: 6.2.13 f6c433af8@24052107 dev (columnar 2.2.5 a915428@24051706) (secondary 2.2.5 a915428@24051706) (knn 2.2.5 a915428@24051706) (buddy v2.3.9).
Content-Type: application/json; charset=UTF-8.
Content-Length: 31.
.
{"error":"invalid HTTP method"}
###

The script is being executed in the host, whose running a docker-compose with the manticore:dev tag running as a service named manticore. The manticore service default ports are redirected to the host machine.

Manticore Search Version:

Manticore 6.2.13 f6c433af8@24052107 dev (columnar 2.2.5 a915428@24051706) (secondary 2.2.5 a915428@24051706) (knn 2.2.5 a915428@24051706)

Operating System Version:

Distributor ID: Ubuntu Description: Ubuntu 20.04.6 LTS Release: 20.04 Codename: focal

Have you tried the latest development version?

Yes

Internal Checklist:

To be completed by the assignee. Check off tasks that have been completed or are not applicable.

- [ ] Implementation completed - [ ] Tests developed - [ ] Documentation updated - [ ] Documentation reviewed - [ ] Changelog updated
Nick-S-2018 commented 4 months ago

In your gist example, payload data passed to the request does not match the required format. You can see info about the use of /bulk here: https://manual.manticoresearch.com/dev/Data_creation_and_modification/Adding_documents_to_a_table/Adding_documents_to_a_real-time_table#Bulk-adding-documents

DiegoAlfa7 commented 4 months ago

I've updated the bug script, forget the gist.

Heres a screenshot that shows the bug when executing the script and ngreping the API port: image

Nick-S-2018 commented 4 months ago

Hi, It appears the request from the updated script still has a few errors:

Can you please fix them and repeat your tests?

DiegoAlfa7 commented 4 months ago

Im into it, anyway, if the payload contains such errors (wich are definetly not supposed to be there) shouldn't manticore respond only one time with the corresponding 400 / 500 Response code?

I mean, the issue in the MRE is still on our side, but seems odd that the API responds 200 - OK to python requests, that could (an did, in my case) lead to silent errors and unexpected missing data.

Im still convinced that the issue has something to do with the unicode chars. I will solve all issues except for that one in a specific test and then i will test it again with the payload encoded in utf8 and show you both results.

Sorry for the issues with the MRE. Thanks for your time.