alifiharafi
commented
4 years ago I would like to pass data from mongodb to elasticsearch using logstash, but when I run it I get an infinite loop on the last element of the collection without adding it on elasticsearch:
Thread.exclusive is deprecated, use Thread::Mutex Sending Logstash logs to D:/Elastic/logstash-7.3.2/logs which is now configured via log4j2.properties [2019-11-18T11:35:21,328][WARN ][logstash.config.source.multilocal] Ignoring the 'pipelines.yml' file because modules or command line options are specified [2019-11-18T11:35:21,362][INFO ][logstash.runner ] Starting Logstash {"logstash.version"=>"7.3.2"} [2019-11-18T11:35:25,640][INFO ][org.reflections.Reflections] Reflections took 81 ms to scan 1 urls, producing 19 keys and 39 values [2019-11-18T11:35:31,141][INFO ][logstash.inputs.mongodb ] Using version 0.1.x input plugin 'mongodb'. This plugin isn't well supported by the community and likely has no maintainer. [2019-11-18T11:35:34,808][INFO ][logstash.outputs.elasticsearch] Elasticsearch pool URLs updated {:changes=>{:removed=>[], :added=>[http://localhost:9200/]}} [2019-11-18T11:35:35,177][WARN ][logstash.outputs.elasticsearch] Restored connection to ES instance {:url=>"http://localhost:9200/"} [2019-11-18T11:35:35,275][INFO ][logstash.outputs.elasticsearch] ES Output version determined {:es_version=>7} [2019-11-18T11:35:35,283][WARN ][logstash.outputs.elasticsearch] Detected a 6.x and above cluster: thetypeevent field won't be used to determine the document _type {:es_version=>7} [2019-11-18T11:35:35,336][INFO ][logstash.outputs.elasticsearch] New Elasticsearch output {:class=>"LogStash::Outputs::ElasticSearch", :hosts=>["//localhost:9200"]} [2019-11-18T11:35:35,592][WARN ][org.logstash.instrument.metrics.gauge.LazyDelegatingGauge] A gauge metric of an unknown type (org.jruby.specialized.RubyArrayOneObject) has been create for key: cluster_uuids. This may result in invalid serialization. It is recommended to log an issue to the responsible developer/development team. [2019-11-18T11:35:35,607][INFO ][logstash.javapipeline ] Starting pipeline {:pipeline_id=>"main", "pipeline.workers"=>4, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>50, "pipeline.max_inflight"=>500, :thread=>"#<Thread:0x756ccf6c run>"} D, [2019-11-18T11:35:37.516000 #7172] DEBUG -- : MONGODB | EVENT: #<TopologyOpening topology=Unknown[]> D, [2019-11-18T11:35:37.595000 #7172] DEBUG -- : MONGODB | Topology type 'unknown' initializing. D, [2019-11-18T11:35:38.015000 #7172] DEBUG -- : MONGODB | EVENT: #<TopologyChanged prev=Unknown[] new=Unknown[localhost:27017]> D, [2019-11-18T11:35:38.030000 #7172] DEBUG -- : MONGODB | Topology type 'Unknown' changed to type 'Unknown'. D, [2019-11-18T11:35:38.102000 #7172] DEBUG -- : MONGODB | EVENT: #<ServerOpening address=localhost:27017 topology=Unknown[localhost:27017]> D, [2019-11-18T11:35:38.150000 #7172] DEBUG -- : MONGODB | Server localhost:27017 initializing. D, [2019-11-18T11:35:38.635000 #7172] DEBUG -- : MONGODB | Waiting for up to 29.74 seconds for servers to be scanned: #<Cluster topology=Unknown[localhost:27017] servers=[#<Server address=localhost:27017 UNKNOWN>]> D, [2019-11-18T11:35:39.472000 #7172] DEBUG -- : MONGODB | EVENT: #<ServerDescriptionChanged address=localhost:27017 topology=Single[localhost:27017] prev=#<Mongo::Server:Description:0x2016 config={} average_round_trip_time=> new=#<Mongo::Server:Description:0x2014 config={"ismaster"=>true, "maxBsonObjectSize"=>16777216, "maxMessageSizeBytes"=>48000000, "maxWriteBatchSize"=>100000, "localTime"=>2019-11-18 10:35:39 UTC, "logicalSessionTimeoutMinutes"=>30, "connectionId"=>149, "minWireVersion"=>0, "maxWireVersion"=>8, "readOnly"=>false, "ok"=>1.0} average_round_trip_time=0.97>> D, [2019-11-18T11:35:39.501000 #7172] DEBUG -- : MONGODB | Server description for localhost:27017 changed from 'unknown' to 'standalone'. D, [2019-11-18T11:35:39.630000 #7172] DEBUG -- : MONGODB | EVENT: #<TopologyChanged prev=Unknown[localhost:27017] new=Single[localhost:27017]> D, [2019-11-18T11:35:39.636000 #7172] DEBUG -- : MONGODB | Topology type 'Unknown' changed to type 'Single'. [2019-11-18T11:35:39,678][INFO ][logstash.inputs.mongodb ] Registering MongoDB input D, [2019-11-18T11:35:41.369000 #7172] DEBUG -- : MONGODB | EVENT: #<ServerDescriptionChanged address=localhost:27017 topology=Single[localhost:27017] prev=#<Mongo::Server:Description:0x2014 config={"ismaster"=>true, "maxBsonObjectSize"=>16777216, "maxMessageSizeBytes"=>48000000, "maxWriteBatchSize"=>100000, "localTime"=>2019-11-18 10:35:39 UTC, "logicalSessionTimeoutMinutes"=>30, "connectionId"=>149, "minWireVersion"=>0, "maxWireVersion"=>8, "readOnly"=>false, "ok"=>1.0} average_round_trip_time=0.97> new=#<Mongo::Server:Description:0x2024 config={"ismaster"=>true, "maxBsonObjectSize"=>16777216, "maxMessageSizeBytes"=>48000000, "maxWriteBatchSize"=>100000, "localTime"=>2019-11-18 10:35:41 UTC, "logicalSessionTimeoutMinutes"=>30, "connectionId"=>151, "minWireVersion"=>0, "maxWireVersion"=>8, "readOnly"=>false, "ok"=>1.0} average_round_trip_time=0.7878000000000001>> D, [2019-11-18T11:35:41.382000 #7172] DEBUG -- : MONGODB | Server description for localhost:27017 changed from 'standalone' to 'standalone'. D, [2019-11-18T11:35:41.393000 #7172] DEBUG -- : MONGODB | EVENT: #<TopologyChanged prev=Single[localhost:27017] new=Single[localhost:27017]> D, [2019-11-18T11:35:41.398000 #7172] DEBUG -- : MONGODB | Topology type 'Single' changed to type 'Single'. D, [2019-11-18T11:35:42.007000 #7172] DEBUG -- : MONGODB | [7] localhost:27017 #1 | Tesi.listCollections | STARTED | {"listCollections"=>1, "cursor"=>{}, "nameOnly"=>true, "lsid"=>{"id"=><BSON::Binary:0x2030 type=uuid data=0xf1a298e852ed4d8d...>}} D, [2019-11-18T11:35:42.132000 #7172] DEBUG -- : MONGODB | [7] localhost:27017 | Tesi.listCollections | SUCCEEDED | 0.056s [2019-11-18T11:35:43,655][INFO ][logstash.javapipeline ] Pipeline started {"pipeline.id"=>"main"} [2019-11-18T11:35:43,874][INFO ][logstash.agent ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]} D, [2019-11-18T11:35:44.469000 #7172] DEBUG -- : MONGODB | [8] localhost:27017 #1 | Tesi.find | STARTED | {"find"=>"Canali_youtube", "filter"=>{"_id"=>{"$gte"=>BSON::ObjectId('5dd154dbba1797bc33648083')}}, "limit"=>5000, "lsid"=>{"id"=><BSON::Binary:0x2030 type=uuid data=0xf1a298e852ed4d8d...>}} D, [2019-11-18T11:35:44.527000 #7172] DEBUG -- : MONGODB | [8] localhost:27017 | Tesi.find | SUCCEEDED | 0.041s [2019-11-18T11:35:44,799][INFO ][logstash.agent ] Successfully started Logstash API endpoint {:port=>9600} D, [2019-11-18T11:35:45.484000 #7172] DEBUG -- : MONGODB | [9] localhost:27017 #1 | Tesi.listCollections | STARTED | {"listCollections"=>1, "cursor"=>{}, "nameOnly"=>true, "lsid"=>{"id"=><BSON::Binary:0x2030 type=uuid data=0xf1a298e852ed4d8d...>}} D, [2019-11-18T11:35:45.504000 #7172] DEBUG -- : MONGODB | [9] localhost:27017 | Tesi.listCollections | SUCCEEDED | 0.005s D, [2019-11-18T11:35:46.320000 #7172] DEBUG -- : MONGODB | [10] localhost:27017 #1 | Tesi.find | STARTED | {"find"=>"Canali_youtube", "filter"=>{"_id"=>{"$gte"=>BSON::ObjectId('5dd154dbba1797bc33648083')}}, "limit"=>5000, "lsid"=>{"id"=><BSON::Binary:0x2030 type=uuid data=0xf1a298e852ed4d8d...>}} D, [2019-11-18T11:35:46.403000 #7172] DEBUG -- : MONGODB | [10] localhost:27017 | Tesi.find | SUCCEEDED | 0.042s D:/Elastic/logstash-7.3.2/vendor/bundle/jruby/2.5.0/gems/awesome_print-1.7.0/lib/awesome_print/formatters/base_formatter.rb:31: warning: constant ::Fixnum is deprecated { "mongo_id" => "5##################3", "Info_visualizzazioni totali" => 25392314, "Info_data iscrizione" => "2012-08-02T16:45:07.000Z", "logdate" => "2019-11-17T14:10:35+00:00", "documentId" => "5##################3", "Info_descrizione" => "Ciao, sono Claudio Cicolin, benvenuto sul maggior canale italiano dedicato alla didattica per chitarra! Migliaia di persone hanno infatti deciso di seguirmi con i miei video su youtube, le mie lezioni gratuite e i miei corsi sul sito Lezioni-Chitarra.it\nIl mio motto come insegnante è \"e sai cosa suoni\": sono infatti convinto che non basti premere tasti a memoria, ma sia importante capire quello che stai suonando, cercheremo di farlo insieme!\nOgni lunedi mattina pubblico una nuova lezione inedita, segna questa ricorrenza sul tuo calendario!\nNei link qui sotto trovi tutti i modi per seguirmi e scoprire il mio lavoro, benvenuto tra i Guitar-Nauti!", "@timestamp" => 2019-11-18T10:35:44.772Z, "Info_iscritti" => 128000, "@version" => "1", "host" => "#########", "Info_video pubblicati" => 691, "log_entry" => "{\"_id\"=>BSON::ObjectId('5##################3'), \"Info\"=>{\"nome\"=>\"Claudio Cicolin\", \"descrizione\"=>\"Ciao, sono Claudio Cicolin, benvenuto sul maggior canale italiano dedicato alla didattica per chitarra! Migliaia di persone hanno infatti deciso di seguirmi con i miei video su youtube, le mie lezioni gratuite e i miei corsi sul sito Lezioni-Chitarra.it\\nIl mio motto come insegnante è \\\"e sai cosa suoni\\\": sono infatti convinto che non basti premere tasti a memoria, ma sia importante capire quello che stai suonando, cercheremo di farlo insieme!\\nOgni lunedi mattina pubblico una nuova lezione inedita, segna questa ricorrenza sul tuo calendario!\\nNei link qui sotto trovi tutti i modi per seguirmi e scoprire il mio lavoro, benvenuto tra i Guitar-Nauti!\", \"data iscrizione\"=>\"2012-08-02T16:45:07.000Z\", \"visualizzazioni totali\"=>\"25392314\", \"iscritti\"=>\"128000\", \"video pubblicati\"=>\"691\"}}", "Info_nome" => "Claudio Cicolin" } D, [2019-11-18T11:35:46.821000 #7172] DEBUG -- : MONGODB | [11] localhost:27017 #1 | Tesi.listCollections | STARTED | {"listCollections"=>1, "cursor"=>{}, "nameOnly"=>true, "lsid"=>{"id"=><BSON::Binary:0x2030 type=uuid data=0xf1a298e852ed4d8d...>}} D, [2019-11-18T11:35:46.855000 #7172] DEBUG -- : MONGODB | [11] localhost:27017 | Tesi.listCollections | SUCCEEDED | 0.018s { "mongo_id" => "5##################3", "Info_visualizzazioni totali" => 25392314, "Info_data iscrizione" => "2012-08-02T16:45:07.000Z", "logdate" => "2019-11-17T14:10:35+00:00", "documentId" => "5##################3", "Info_descrizione" => "Ciao, sono Claudio Cicolin, benvenuto sul maggior canale italiano dedicato alla didattica per chitarra! Migliaia di persone hanno infatti deciso di seguirmi con i miei video su youtube, le mie lezioni gratuite e i miei corsi sul sito Lezioni-Chitarra.it\nIl mio motto come insegnante è \"e sai cosa suoni\": sono infatti convinto che non basti premere tasti a memoria, ma sia importante capire quello che stai suonando, cercheremo di farlo insieme!\nOgni lunedi mattina pubblico una nuova lezione inedita, segna questa ricorrenza sul tuo calendario!\nNei link qui sotto trovi tutti i modi per seguirmi e scoprire il mio lavoro, benvenuto tra i Guitar-Nauti!", "@timestamp" => 2019-11-18T10:35:46.492Z, "Info_iscritti" => 128000, "@version" => "1", "host" => "#########", "Info_video pubblicati" => 691, "log_entry" => "{\"_id\"=>BSON::ObjectId('5##################3'), \"Info\"=>{\"nome\"=>\"Claudio Cicolin\", \"descrizione\"=>\"Ciao, sono Claudio Cicolin, benvenuto sul maggior canale italiano dedicato alla didattica per chitarra! Migliaia di persone hanno infatti deciso di seguirmi con i miei video su youtube, le mie lezioni gratuite e i miei corsi sul sito Lezioni-Chitarra.it\\nIl mio motto come insegnante è \\\"e sai cosa suoni\\\": sono infatti convinto che non basti premere tasti a memoria, ma sia importante capire quello che stai suonando, cercheremo di farlo insieme!\\nOgni lunedi mattina pubblico una nuova lezione inedita, segna questa ricorrenza sul tuo calendario!\\nNei link qui sotto trovi tutti i modi per seguirmi e scoprire il mio lavoro, benvenuto tra i Guitar-Nauti!\", \"data iscrizione\"=>\"2012-08-02T16:45:07.000Z\", \"visualizzazioni totali\"=>\"25392314\", \"iscritti\"=>\"128000\", \"video pubblicati\"=>\"691\"}}", "Info_nome" => "Claudio Cicolin" } D, [2019-11-18T11:35:47.142000 #7172] DEBUG -- : MONGODB | [12] localhost:27017 #1 | Tesi.find | STARTED | {"find"=>"Canali_youtube", "filter"=>{"_id"=>{"$gte"=>BSON::ObjectId('5##################3')}}, "limit"=>5000, "lsid"=>{"id"=><BSON::Binary:0x2030 type=uuid data=0xf1a298e852ed4d8d...>}} D, [2019-11-18T11:35:47.150000 #7172] DEBUG -- : MONGODB | [12] localhost:27017 | Tesi.find | SUCCEEDED | 0.004s D, [2019-11-18T11:35:47.286000 #7172] DEBUG -- : MONGODB | [13] localhost:27017 #1 | Tesi.listCollections | STARTED | {"listCollections"=>1, "cursor"=>{}, "nameOnly"=>true, "lsid"=>{"id"=><BSON::Binary:0x2030 type=uuid data=0xf1a298e852ed4d8d...>}} D, [2019-11-18T11:35:47.299000 #7172] DEBUG -- : MONGODB | [13] localhost:27017 | Tesi.listCollections | SUCCEEDED | 0.007s { "mongo_id" => "5##################3", "Info_visualizzazioni totali" => 25392314, "Info_data iscrizione" => "2012-08-02T16:45:07.000Z", "logdate" => "2019-11-17T14:10:35+00:00", "documentId" => "5##################3", "Info_descrizione" => "Ciao, sono Claudio Cicolin, benvenuto sul maggior canale italiano dedicato alla didattica per chitarra! Migliaia di persone hanno infatti deciso di seguirmi con i miei video su youtube, le mie lezioni gratuite e i miei corsi sul sito Lezioni-Chitarra.it\nIl mio motto come insegnante è \"e sai cosa suoni\": sono infatti convinto che non basti premere tasti a memoria, ma sia importante capire quello che stai suonando, cercheremo di farlo insieme!\nOgni lunedi mattina pubblico una nuova lezione inedita, segna questa ricorrenza sul tuo calendario!\nNei link qui sotto trovi tutti i modi per seguirmi e scoprire il mio lavoro, benvenuto tra i Guitar-Nauti!", "@timestamp" => 2019-11-18T10:35:47.172Z, "Info_iscritti" => 128000, "@version" => "1", "host" => "#########", "Info_video pubblicati" => 691, "log_entry" => "{\"_id\"=>BSON::ObjectId('5##################3'), \"Info\"=>{\"nome\"=>\"Claudio Cicolin\", \"descrizione\"=>\"Ciao, sono Claudio Cicolin, benvenuto sul maggior canale italiano dedicato alla didattica per chitarra! Migliaia di persone hanno infatti deciso di seguirmi con i miei video su youtube, le mie lezioni gratuite e i miei corsi sul sito Lezioni-Chitarra.it\\nIl mio motto come insegnante è \\\"e sai cosa suoni\\\": sono infatti convinto che non basti premere tasti a memoria, ma sia importante capire quello che stai suonando, cercheremo di farlo insieme!\\nOgni lunedi mattina pubblico una nuova lezione inedita, segna questa ricorrenza sul tuo calendario!\\nNei link qui sotto trovi tutti i modi per seguirmi e scoprire il mio lavoro, benvenuto tra i Guitar-Nauti!\", \"data iscrizione\"=>\"2012-08-02T16:45:07.000Z\", \"visualizzazioni totali\"=>\"25392314\", \"iscritti\"=>\"128000\", \"video pubblicati\"=>\"691\"}}", "Info_nome" => "Claudio Cicolin" }I use elasticsearc v 7.3.2, logstash v 7.3.2 and MongoDB v 4.2.0 The loop continues until you stop it manually, does anyone know how to avoid the loop and add all the elements on elasticsearch?
Hi, its looks like I'm having the same problem as you. Have you found the solution? I'm still looking for the solution.
enpopo2101
matiasperrone
MackJac
I would like to pass data from mongodb to elasticsearch using logstash, but when I run it I get an infinite loop on the last element of the collection without adding it on elasticsearch:
Thread.exclusive is deprecated, use Thread::Mutex Sending Logstash logs to D:/Elastic/logstash-7.3.2/logs which is now configured via log4j2.properties [2019-11-18T11:35:21,328][WARN ][logstash.config.source.multilocal] Ignoring the 'pipelines.yml' file because modules or command line options are specified [2019-11-18T11:35:21,362][INFO ][logstash.runner ] Starting Logstash {"logstash.version"=>"7.3.2"} [2019-11-18T11:35:25,640][INFO ][org.reflections.Reflections] Reflections took 81 ms to scan 1 urls, producing 19 keys and 39 values [2019-11-18T11:35:31,141][INFO ][logstash.inputs.mongodb ] Using version 0.1.x input plugin 'mongodb'. This plugin isn't well supported by the community and likely has no maintainer. [2019-11-18T11:35:34,808][INFO ][logstash.outputs.elasticsearch] Elasticsearch pool URLs updated {:changes=>{:removed=>[], :added=>[http://localhost:9200/]}} [2019-11-18T11:35:35,177][WARN ][logstash.outputs.elasticsearch] Restored connection to ES instance {:url=>"http://localhost:9200/"} [2019-11-18T11:35:35,275][INFO ][logstash.outputs.elasticsearch] ES Output version determined {:es_version=>7} [2019-11-18T11:35:35,283][WARN ][logstash.outputs.elasticsearch] Detected a 6.x and above cluster: thetypeevent field won't be used to determine the document _type {:es_version=>7} [2019-11-18T11:35:35,336][INFO ][logstash.outputs.elasticsearch] New Elasticsearch output {:class=>"LogStash::Outputs::ElasticSearch", :hosts=>["//localhost:9200"]} [2019-11-18T11:35:35,592][WARN ][org.logstash.instrument.metrics.gauge.LazyDelegatingGauge] A gauge metric of an unknown type (org.jruby.specialized.RubyArrayOneObject) has been create for key: cluster_uuids. This may result in invalid serialization. It is recommended to log an issue to the responsible developer/development team. [2019-11-18T11:35:35,607][INFO ][logstash.javapipeline ] Starting pipeline {:pipeline_id=>"main", "pipeline.workers"=>4, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>50, "pipeline.max_inflight"=>500, :thread=>"#<Thread:0x756ccf6c run>"} D, [2019-11-18T11:35:37.516000 #7172] DEBUG -- : MONGODB | EVENT: #<TopologyOpening topology=Unknown[]> D, [2019-11-18T11:35:37.595000 #7172] DEBUG -- : MONGODB | Topology type 'unknown' initializing. D, [2019-11-18T11:35:38.015000 #7172] DEBUG -- : MONGODB | EVENT: #<TopologyChanged prev=Unknown[] new=Unknown[localhost:27017]> D, [2019-11-18T11:35:38.030000 #7172] DEBUG -- : MONGODB | Topology type 'Unknown' changed to type 'Unknown'. D, [2019-11-18T11:35:38.102000 #7172] DEBUG -- : MONGODB | EVENT: #<ServerOpening address=localhost:27017 topology=Unknown[localhost:27017]> D, [2019-11-18T11:35:38.150000 #7172] DEBUG -- : MONGODB | Server localhost:27017 initializing. D, [2019-11-18T11:35:38.635000 #7172] DEBUG -- : MONGODB | Waiting for up to 29.74 seconds for servers to be scanned: #<Cluster topology=Unknown[localhost:27017] servers=[#<Server address=localhost:27017 UNKNOWN>]> D, [2019-11-18T11:35:39.472000 #7172] DEBUG -- : MONGODB | EVENT: #<ServerDescriptionChanged address=localhost:27017 topology=Single[localhost:27017] prev=#<Mongo::Server:Description:0x2016 config={} average_round_trip_time=> new=#<Mongo::Server:Description:0x2014 config={"ismaster"=>true, "maxBsonObjectSize"=>16777216, "maxMessageSizeBytes"=>48000000, "maxWriteBatchSize"=>100000, "localTime"=>2019-11-18 10:35:39 UTC, "logicalSessionTimeoutMinutes"=>30, "connectionId"=>149, "minWireVersion"=>0, "maxWireVersion"=>8, "readOnly"=>false, "ok"=>1.0} average_round_trip_time=0.97>> D, [2019-11-18T11:35:39.501000 #7172] DEBUG -- : MONGODB | Server description for localhost:27017 changed from 'unknown' to 'standalone'. D, [2019-11-18T11:35:39.630000 #7172] DEBUG -- : MONGODB | EVENT: #<TopologyChanged prev=Unknown[localhost:27017] new=Single[localhost:27017]> D, [2019-11-18T11:35:39.636000 #7172] DEBUG -- : MONGODB | Topology type 'Unknown' changed to type 'Single'. [2019-11-18T11:35:39,678][INFO ][logstash.inputs.mongodb ] Registering MongoDB input D, [2019-11-18T11:35:41.369000 #7172] DEBUG -- : MONGODB | EVENT: #<ServerDescriptionChanged address=localhost:27017 topology=Single[localhost:27017] prev=#<Mongo::Server:Description:0x2014 config={"ismaster"=>true, "maxBsonObjectSize"=>16777216, "maxMessageSizeBytes"=>48000000, "maxWriteBatchSize"=>100000, "localTime"=>2019-11-18 10:35:39 UTC, "logicalSessionTimeoutMinutes"=>30, "connectionId"=>149, "minWireVersion"=>0, "maxWireVersion"=>8, "readOnly"=>false, "ok"=>1.0} average_round_trip_time=0.97> new=#<Mongo::Server:Description:0x2024 config={"ismaster"=>true, "maxBsonObjectSize"=>16777216, "maxMessageSizeBytes"=>48000000, "maxWriteBatchSize"=>100000, "localTime"=>2019-11-18 10:35:41 UTC, "logicalSessionTimeoutMinutes"=>30, "connectionId"=>151, "minWireVersion"=>0, "maxWireVersion"=>8, "readOnly"=>false, "ok"=>1.0} average_round_trip_time=0.7878000000000001>> D, [2019-11-18T11:35:41.382000 #7172] DEBUG -- : MONGODB | Server description for localhost:27017 changed from 'standalone' to 'standalone'. D, [2019-11-18T11:35:41.393000 #7172] DEBUG -- : MONGODB | EVENT: #<TopologyChanged prev=Single[localhost:27017] new=Single[localhost:27017]> D, [2019-11-18T11:35:41.398000 #7172] DEBUG -- : MONGODB | Topology type 'Single' changed to type 'Single'. D, [2019-11-18T11:35:42.007000 #7172] DEBUG -- : MONGODB | [7] localhost:27017 #1 | Tesi.listCollections | STARTED | {"listCollections"=>1, "cursor"=>{}, "nameOnly"=>true, "lsid"=>{"id"=><BSON::Binary:0x2030 type=uuid data=0xf1a298e852ed4d8d...>}} D, [2019-11-18T11:35:42.132000 #7172] DEBUG -- : MONGODB | [7] localhost:27017 | Tesi.listCollections | SUCCEEDED | 0.056s [2019-11-18T11:35:43,655][INFO ][logstash.javapipeline ] Pipeline started {"pipeline.id"=>"main"} [2019-11-18T11:35:43,874][INFO ][logstash.agent ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]} D, [2019-11-18T11:35:44.469000 #7172] DEBUG -- : MONGODB | [8] localhost:27017 #1 | Tesi.find | STARTED | {"find"=>"Canali_youtube", "filter"=>{"_id"=>{"$gte"=>BSON::ObjectId('5dd154dbba1797bc33648083')}}, "limit"=>5000, "lsid"=>{"id"=><BSON::Binary:0x2030 type=uuid data=0xf1a298e852ed4d8d...>}} D, [2019-11-18T11:35:44.527000 #7172] DEBUG -- : MONGODB | [8] localhost:27017 | Tesi.find | SUCCEEDED | 0.041s [2019-11-18T11:35:44,799][INFO ][logstash.agent ] Successfully started Logstash API endpoint {:port=>9600} D, [2019-11-18T11:35:45.484000 #7172] DEBUG -- : MONGODB | [9] localhost:27017 #1 | Tesi.listCollections | STARTED | {"listCollections"=>1, "cursor"=>{}, "nameOnly"=>true, "lsid"=>{"id"=><BSON::Binary:0x2030 type=uuid data=0xf1a298e852ed4d8d...>}} D, [2019-11-18T11:35:45.504000 #7172] DEBUG -- : MONGODB | [9] localhost:27017 | Tesi.listCollections | SUCCEEDED | 0.005s D, [2019-11-18T11:35:46.320000 #7172] DEBUG -- : MONGODB | [10] localhost:27017 #1 | Tesi.find | STARTED | {"find"=>"Canali_youtube", "filter"=>{"_id"=>{"$gte"=>BSON::ObjectId('5dd154dbba1797bc33648083')}}, "limit"=>5000, "lsid"=>{"id"=><BSON::Binary:0x2030 type=uuid data=0xf1a298e852ed4d8d...>}} D, [2019-11-18T11:35:46.403000 #7172] DEBUG -- : MONGODB | [10] localhost:27017 | Tesi.find | SUCCEEDED | 0.042s D:/Elastic/logstash-7.3.2/vendor/bundle/jruby/2.5.0/gems/awesome_print-1.7.0/lib/awesome_print/formatters/base_formatter.rb:31: warning: constant ::Fixnum is deprecated { "mongo_id" => "5##################3", "Info_visualizzazioni totali" => 25392314, "Info_data iscrizione" => "2012-08-02T16:45:07.000Z", "logdate" => "2019-11-17T14:10:35+00:00", "documentId" => "5##################3", "Info_descrizione" => "Ciao, sono Claudio Cicolin, benvenuto sul maggior canale italiano dedicato alla didattica per chitarra! Migliaia di persone hanno infatti deciso di seguirmi con i miei video su youtube, le mie lezioni gratuite e i miei corsi sul sito Lezioni-Chitarra.it\nIl mio motto come insegnante è \"e sai cosa suoni\": sono infatti convinto che non basti premere tasti a memoria, ma sia importante capire quello che stai suonando, cercheremo di farlo insieme!\nOgni lunedi mattina pubblico una nuova lezione inedita, segna questa ricorrenza sul tuo calendario!\nNei link qui sotto trovi tutti i modi per seguirmi e scoprire il mio lavoro, benvenuto tra i Guitar-Nauti!", "@timestamp" => 2019-11-18T10:35:44.772Z, "Info_iscritti" => 128000, "@version" => "1", "host" => "#########", "Info_video pubblicati" => 691, "log_entry" => "{\"_id\"=>BSON::ObjectId('5##################3'), \"Info\"=>{\"nome\"=>\"Claudio Cicolin\", \"descrizione\"=>\"Ciao, sono Claudio Cicolin, benvenuto sul maggior canale italiano dedicato alla didattica per chitarra! Migliaia di persone hanno infatti deciso di seguirmi con i miei video su youtube, le mie lezioni gratuite e i miei corsi sul sito Lezioni-Chitarra.it\\nIl mio motto come insegnante è \\\"e sai cosa suoni\\\": sono infatti convinto che non basti premere tasti a memoria, ma sia importante capire quello che stai suonando, cercheremo di farlo insieme!\\nOgni lunedi mattina pubblico una nuova lezione inedita, segna questa ricorrenza sul tuo calendario!\\nNei link qui sotto trovi tutti i modi per seguirmi e scoprire il mio lavoro, benvenuto tra i Guitar-Nauti!\", \"data iscrizione\"=>\"2012-08-02T16:45:07.000Z\", \"visualizzazioni totali\"=>\"25392314\", \"iscritti\"=>\"128000\", \"video pubblicati\"=>\"691\"}}", "Info_nome" => "Claudio Cicolin" } D, [2019-11-18T11:35:46.821000 #7172] DEBUG -- : MONGODB | [11] localhost:27017 #1 | Tesi.listCollections | STARTED | {"listCollections"=>1, "cursor"=>{}, "nameOnly"=>true, "lsid"=>{"id"=><BSON::Binary:0x2030 type=uuid data=0xf1a298e852ed4d8d...>}} D, [2019-11-18T11:35:46.855000 #7172] DEBUG -- : MONGODB | [11] localhost:27017 | Tesi.listCollections | SUCCEEDED | 0.018s { "mongo_id" => "5##################3", "Info_visualizzazioni totali" => 25392314, "Info_data iscrizione" => "2012-08-02T16:45:07.000Z", "logdate" => "2019-11-17T14:10:35+00:00", "documentId" => "5##################3", "Info_descrizione" => "Ciao, sono Claudio Cicolin, benvenuto sul maggior canale italiano dedicato alla didattica per chitarra! Migliaia di persone hanno infatti deciso di seguirmi con i miei video su youtube, le mie lezioni gratuite e i miei corsi sul sito Lezioni-Chitarra.it\nIl mio motto come insegnante è \"e sai cosa suoni\": sono infatti convinto che non basti premere tasti a memoria, ma sia importante capire quello che stai suonando, cercheremo di farlo insieme!\nOgni lunedi mattina pubblico una nuova lezione inedita, segna questa ricorrenza sul tuo calendario!\nNei link qui sotto trovi tutti i modi per seguirmi e scoprire il mio lavoro, benvenuto tra i Guitar-Nauti!", "@timestamp" => 2019-11-18T10:35:46.492Z, "Info_iscritti" => 128000, "@version" => "1", "host" => "#########", "Info_video pubblicati" => 691, "log_entry" => "{\"_id\"=>BSON::ObjectId('5##################3'), \"Info\"=>{\"nome\"=>\"Claudio Cicolin\", \"descrizione\"=>\"Ciao, sono Claudio Cicolin, benvenuto sul maggior canale italiano dedicato alla didattica per chitarra! Migliaia di persone hanno infatti deciso di seguirmi con i miei video su youtube, le mie lezioni gratuite e i miei corsi sul sito Lezioni-Chitarra.it\\nIl mio motto come insegnante è \\\"e sai cosa suoni\\\": sono infatti convinto che non basti premere tasti a memoria, ma sia importante capire quello che stai suonando, cercheremo di farlo insieme!\\nOgni lunedi mattina pubblico una nuova lezione inedita, segna questa ricorrenza sul tuo calendario!\\nNei link qui sotto trovi tutti i modi per seguirmi e scoprire il mio lavoro, benvenuto tra i Guitar-Nauti!\", \"data iscrizione\"=>\"2012-08-02T16:45:07.000Z\", \"visualizzazioni totali\"=>\"25392314\", \"iscritti\"=>\"128000\", \"video pubblicati\"=>\"691\"}}", "Info_nome" => "Claudio Cicolin" } D, [2019-11-18T11:35:47.142000 #7172] DEBUG -- : MONGODB | [12] localhost:27017 #1 | Tesi.find | STARTED | {"find"=>"Canali_youtube", "filter"=>{"_id"=>{"$gte"=>BSON::ObjectId('5##################3')}}, "limit"=>5000, "lsid"=>{"id"=><BSON::Binary:0x2030 type=uuid data=0xf1a298e852ed4d8d...>}} D, [2019-11-18T11:35:47.150000 #7172] DEBUG -- : MONGODB | [12] localhost:27017 | Tesi.find | SUCCEEDED | 0.004s D, [2019-11-18T11:35:47.286000 #7172] DEBUG -- : MONGODB | [13] localhost:27017 #1 | Tesi.listCollections | STARTED | {"listCollections"=>1, "cursor"=>{}, "nameOnly"=>true, "lsid"=>{"id"=><BSON::Binary:0x2030 type=uuid data=0xf1a298e852ed4d8d...>}} D, [2019-11-18T11:35:47.299000 #7172] DEBUG -- : MONGODB | [13] localhost:27017 | Tesi.listCollections | SUCCEEDED | 0.007s { "mongo_id" => "5##################3", "Info_visualizzazioni totali" => 25392314, "Info_data iscrizione" => "2012-08-02T16:45:07.000Z", "logdate" => "2019-11-17T14:10:35+00:00", "documentId" => "5##################3", "Info_descrizione" => "Ciao, sono Claudio Cicolin, benvenuto sul maggior canale italiano dedicato alla didattica per chitarra! Migliaia di persone hanno infatti deciso di seguirmi con i miei video su youtube, le mie lezioni gratuite e i miei corsi sul sito Lezioni-Chitarra.it\nIl mio motto come insegnante è \"e sai cosa suoni\": sono infatti convinto che non basti premere tasti a memoria, ma sia importante capire quello che stai suonando, cercheremo di farlo insieme!\nOgni lunedi mattina pubblico una nuova lezione inedita, segna questa ricorrenza sul tuo calendario!\nNei link qui sotto trovi tutti i modi per seguirmi e scoprire il mio lavoro, benvenuto tra i Guitar-Nauti!", "@timestamp" => 2019-11-18T10:35:47.172Z, "Info_iscritti" => 128000, "@version" => "1", "host" => "#########", "Info_video pubblicati" => 691, "log_entry" => "{\"_id\"=>BSON::ObjectId('5##################3'), \"Info\"=>{\"nome\"=>\"Claudio Cicolin\", \"descrizione\"=>\"Ciao, sono Claudio Cicolin, benvenuto sul maggior canale italiano dedicato alla didattica per chitarra! Migliaia di persone hanno infatti deciso di seguirmi con i miei video su youtube, le mie lezioni gratuite e i miei corsi sul sito Lezioni-Chitarra.it\\nIl mio motto come insegnante è \\\"e sai cosa suoni\\\": sono infatti convinto che non basti premere tasti a memoria, ma sia importante capire quello che stai suonando, cercheremo di farlo insieme!\\nOgni lunedi mattina pubblico una nuova lezione inedita, segna questa ricorrenza sul tuo calendario!\\nNei link qui sotto trovi tutti i modi per seguirmi e scoprire il mio lavoro, benvenuto tra i Guitar-Nauti!\", \"data iscrizione\"=>\"2012-08-02T16:45:07.000Z\", \"visualizzazioni totali\"=>\"25392314\", \"iscritti\"=>\"128000\", \"video pubblicati\"=>\"691\"}}", "Info_nome" => "Claudio Cicolin" }I use elasticsearc v 7.3.2, logstash v 7.3.2 and MongoDB v 4.2.0 The loop continues until you stop it manually, does anyone know how to avoid the loop and add all the elements on elasticsearch?