aws-samples / cql-replicator

CQLReplicator is a migration tool that helps you to replicate data from Cassandra to AWS Services
Apache License 2.0
16 stars 8 forks source link

[CQLReplicator on Glue] Feature to process escaped w/ backslash double-quoted json #119

Closed hindprak closed 9 months ago

hindprak commented 9 months ago

Is your feature request related to a problem? Please describe. When running the cqlreplicator in "run" mode, we are getting json processing exceptions. The field type is "text" but the data is stored as valid json

./cqlreplicator --state run --tiles 2 --landing-zone --region us-east-1 --src-keyspace c3_qa --src-table c3_device_templates --trg-keyspace nds_non_prod --trg-table c3_device_templates --inc-traffic

Describe the solution you'd like It would be good if the cqlreplicator can handle the escaped double-quoted json. Also when it is imported into the Keyspaces, the data must be replicated asis stored in the source cluster to provide full-backward compatibility for the applications

Describe alternatives you've considered

Additional context Logs entries in /aws-glue/jobs/error

2024-02-13 00:06:05,773 WARN [task-result-getter-1] scheduler.TaskSetManager (Logging.scala:logWarning(73)): Lost task 19.6 in stage 4.0 (TID 209) (96.112.246.99 executor 6): com.datastax.oss.driver.api.core.servererrors.InvalidQueryException: Could not decode JSON string as a map: org.codehaus.jackson.JsonParseException: Unrecognized character escape (CTRL-CHAR, code 0) at [Source: java.io.StringReader@40fa0201; line: 1, column: 374104]. (String was: {"fqdn": "rur331.di1automation.nj.snplab", "path": "/device=rur331.di1automation.nj.snplab/", "attributes": "{\"templateUUID\":[\"2e4f931b-3f6e-4f09-aa24-fc3db639cf68\",\"f15a1477-cecd-4e24-9e0e-633c790aa198\",\"2088a8e9-0fe2-4c0f-b4c5-1075565e4d60\",\"9b598f81-878e-47c3-ac72-b84c905587fe\",\"6557ef89-f47d-4130-a370-6501bd54060a\",\"e5e54b40-2fca-4898-91e5-dbb974072352\",\"f607ad5d-f1a0-4d37-be9f-a87dcc64183b\",\"7cfb2802-0f31-4614-9fc8-22a0d9dfc9fc\",\"48793bee-97d9-4d1c-a6f9-89e3d70a289b\",\"33f4e5c7-a55f-4dd9-b60f-119af5a0d955\",\"0158e8f7-a6f8-48e5-b7cb-522f7c0f0a29\",\"32fe76aa-4453-4f4f-8cea-530c1057d210\",\"a83b7a01-0cb6-4527-8d66-d44eeeb1dc31\",\"10205826-b927-4b74-88ba-fecaec70f739\",\"8619eedd-3a32-4a8c-89e3-029257c7acb7\",\"86e74516-aba9-4afd-b87a-d3c7afb60640\",\"72e69c24-2055-488b-bf98-2d86c0c3ed1e\",\"552d26c3-c390-473e-a5fb-e7fbc0972ad2\",\"ecaba78c-d1ed-454e-963b-e9702ba69dbf\",\"6a64e2be-16f1-4764-844e-873f76b31ae7\",\"dbf7dd60-de42-4791-a85a-9201febb7102\",\"4dfb6078-07dd-4cea-a19a-c618a3db9752\",\"2f277fdf-ed94-4c89-97e0-0630cb7312c8\",\"2e912f67-761e-4b5b-8696-6a3fb3465ac9\",\"81eb304e-f7d0-43ad-85f8-a0c8458edbad\",\"935901bb-f676-45b6-8678-304c8d7f719b\",\"35d9261b-5f56-4dfa-963b-a335950a9b29\",\"a6d337ff-abd3-4b14-b3ef-d3fe5f62730d\",\"1925885e-0497-4a57-a13e-1a5c18669d6d\",\"46a7e5e1-ee42-44f1-a67f-21 .....

Logs entries in /aws-glue/jobs/logs-v2

24/02/12 23:12:34 ERROR GlueExceptionAnalysisListener: [Glue Exception Analysis] { "Event": "GlueExceptionAnalysisTaskFailed", "Timestamp": 1707779554617, "Failure Reason": "Could not decode JSON string as a map: org.codehaus.jackson.JsonParseException: Illegal unquoted character ((CTRL-CHAR, code 0)): has to be escaped using backslash to be included in string value\n at [Source: java.io.StringReader@3ef36d9c; line: 1, column: 1121]. (String was: {\"fqdn\": \"cs050.diloadtest10os.nj.ibone", \"path\": \"/device=cs050.DILoadTest10OS.nj.ibone/\", \"attributes\": \"{\\"templateUUID\\":[\\"936cdbc6-0ee7-40c4-826c-4b0e1b1d8b01\\",\\"89ed1063-984b-42ea-9c07-fe13e498d41c\\",\\"eee35935-89aa-4e29-866d-c1b9fb960f73\\",\\"60f46b48-238d-4845-9964-6dfa19ccb207\\",\\"48361ef0-8570-4e9d-b1a2-1a09ff3be973\\",\\"df8b6af8-5a99-45be-9c54-025e20ebd5d3\\",\\"bba74835-6618-445f-95fe-f2f9371c8040\\",\\"a3c33b18-3321-485b-bae7-94400639e015\\",\\"6c1a6352-b315-465d-a3ca-1ecb81fce664\\",\\"408b68d4-aa1f-4f3f-8412-ef833883151e\\",\\"23bc75d1-1ac9-47ce-8b63-3dbad8a2831d\\",\\"41f5f29a-3b05-48de-9163-9620d918c6a9\\",\\"c97f99f3-7601-4f86-8d16-d2166bb081a7\\",\\"d353d4ea-cd6f-4177-9a9c-880d553d7fa9\\",\\"12660685-7179-43ce-a419-045a28392fe5\\",\\"6594c837-d420-412a-a0c6-8b0b4e02cdac\\",\\"bb884b27-30f8-4801-8623-339a76b6be1e\\",\\"36b49f94-2390-4ace-87a4-7375d810b693\\",\\"21d61464-2d32-469d-92bc-4ba5a5a81f93\\",\\"410866ed-45b0-47d4-ac33-ff0392f0ce19\\",\\"244f242e-ac3b-4031-997b-a5c58619d4f5\\",\\"e49a2007-7e42-4d73-96c7-3f95bbf2c255\\",\\"0f067932-0a21-4df5-a7f0-c626bb9537c5\\",\\"271f9c37-e562-4e84-89fe-eba8c0ea8657\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u

hindprak commented 9 months ago

I checked the raw data in our cassandra table, the field type is text but the data is stored as valid json. There are no escape characters in the source. I think the cqlreplicator is in-correctly parsing the json with escape character. @nwheeler81 I might have mis-tagged. This might be a bug in the cqlreplicator

nwheeler81 commented 9 months ago

@ hindprak I tried to reproduce the issue but no luck, 3 rows that shared with us I replicated with no issues. Could you please explain why you have \u0000 at end of the string, I think it equals to null in Java. Could you please cs050.diloadtest10os.nj.ibone check this row in the C* cluster.

nwheeler81 commented 9 months ago

@hindprak could please run in the cluster select json * from ks.table where fqdn = 'cs050.diloadtest10os.nj.ibone' and path='/device=cs050.DILoadTest10OS.nj.ibone/'

hindprak commented 9 months ago

@nwheeler81 Here you go for the query & response select * from c3_qa.c3_device_templates where fqdn = 'cs050.diloadtest10os.nj.ibone' and path='/device=cs050.DILoadTest10OS.nj.ibone/'; fqdn | path | attributes -------------------------------------------+----------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- cs050.diloadtest10os.nj.ibone | /device=cs050.DILoadTest10OS.nj.ibone/ | {"templateUUID":["936cdbc6-0ee7-40c4-826c-4b0e1b1d8b01","89ed1063-984b-42ea-9c07-fe13e498d41c","eee35935-89aa-4e29-866d-c1b9fb960f73","60f46b48-238d-4845-9964-6dfa19ccb207","48361ef0-8570-4e9d-b1a2-1a09ff3be973","df8b6af8-5a99-45be-9c54-025e20ebd5d3","bba74835-6618-445f-95fe-f2f9371c8040","a3c33b18-3321-485b-bae7-94400639e015","6c1a6352-b315-465d-a3ca-1ecb81fce664","408b68d4-aa1f-4f3f-8412-ef833883151e","23bc75d1-1ac9-47ce-8b63-3dbad8a2831d","41f5f29a-3b05-48de-9163-9620d918c6a9","c97f99f3-7601-4f86-8d16-d2166bb081a7","d353d4ea-cd6f-4177-9a9c-880d553d7fa9","12660685-7179-43ce-a419-045a28392fe5","6594c837-d420-412a-a0c6-8b0b4e02cdac","bb884b27-30f8-4801-8623-339a76b6be1e","36b49f94-2390-4ace-87a4-7375d810b693","21d61464-2d32-469d-92bc-4ba5a5a81f93","410866ed-45b0-47d4-ac33-ff0392f0ce19","244f242e-ac3b-4031-997b-a5c58619d4f5","e49a2007-7e42-4d73-96c7-3f95bbf2c255","0f067932-0a21-4df5-a7f0-c626bb9537c5","271f9c37-e562-4e84-89fe-eba8c0ea8657","ae7bed27-eee7-4a6a-acd5-1d7fe9a66259","fe9136d4-b6ac-439f-abd4-ac757d403335","9ed3190a-b916-44cf-a29c-ea910375fd4c","cc35ef0b-b072-41c4-b19b-b2320dad02a9","31b8e423-69d8-4ed3-acd7-1b8f164a0d11","62475752-7aa7-42d5-b65b-12bd5fe0d37e","ee67b10f-d70e-4f79-9eac-3e3665b01350","c92f43b3-e4ce-46a2-ae15-886876a2d4d8","dec10034-d008-43ca-9342-11daa58d553f","2580cb8a-7b47-4920-8237-4e34541ac6ee","a6493312-e61d-4aa4-9f10-85aee67f9f09","88f7f0dd-4281-4d8e-863a-97fd235ed00b","2a942fab-47f0-46a5-bd04-a7cf2fa0a2f2","60f6bc15-1bc1-4c91-909b-313df996ed9b","e035dbd7-f4d3-4921-8432-08b2ca2692f9","32a23535-f214-445a-8f55-cf7bf9b8c108","54409e2f-5a23-41b1-939c-29e2e1e83f68","535a491a-7613-4981-b702-341492677fdb","21edc972-560d-4e50-b2c5-3bf5ef05be3e","32f21263-3b4e-428f-84bd-7f05f154e633","cf97aa90-4a23-4023-8fb7-815689a4755d","9cb4ff5e-e4d3-41f8-b99a-50aff3be3fa4","ddda78e9-7af4-46ec-8e4f-0a2f1493a08d","1ddf750c-e193-4911-985c-8cde5185067b","f1f4456e-cf59-4a52-a1eb-dd91ae3c7588","1069e0a9-d843-46c8-9628-9d51a7615268","7063e28d-9974-48c3-aa1a-acd7b59bb5c5","4f818b85-a821-4c28-8af5-39ad83c41ada","4adcf412-530a-4a34-96da-db59d62826b9","430d22c0-57cf-4e8d-96dd-8190804f8fae","a4a7de5b-8b0c-4337-940d-9f8ac1baf647","7eee71fc-df1b-41a0-91dd-6ba3e1eb631b","157c68af-5bfc-4205-9021-c7360965c322","14c519c0-6a79-40b0-87d9-c3cc238e57cd","002f532d-1588-4823-94f8-de77069d2d58","18e76dbf-bc0e-40e0-82ca-50e429df6246","87c7f432-9202-487e-a954-b8e37c8c6883","8e776add-d007-40f5-a898-f41ccc8a2330","7e77bbe5-8ec1-477a-9400-769d703c3c7c","d3b1451f-1bc3-4200-ac79-6f81d0502c7b","08b00292-aef7-4391-a5ab-87e6d68cefe4","c43ef3cb-101c-4ff1-9815-1753a507a789","f875c100-a6be-44ed-a8a3-c52acb89a127","b2342206-fcac-4743-89d4-60b7d92543cb","becbd9ba-e041-495f-b9f4-89f6a27b3afd","7d3509bc-0592-4ae5-839c-25434133ea78","a16d1223-74e3-4436-ad8d-5ae2f4a9eff9","3bfc0260-d41a-445a-8ea9-fab7adfa961f","dfcde37e-4a82-4dde-a50b-c00c3c3667eb","4739743b-69af-479e-8891-fc9594ffbb54","b2b1ed62-4634-479a-92c0-bb0606671a12","7321f392-4c08-4eec-ab90-465d2645b7ef","76144b5b-e7e6-4561-97ed-8b062777bdb5","910011ee-6d1b-43ae-b237-2f72ce2ab424","ef3a4b92-cb58-401e-a7f4-f2e7e2fb665c","d75b1b5f-a4a5-4b7f-b846-a05719f0c66e","76dfb8fa-219e-4784-9b2d-bb12ce007856","0762109d-5f71-4887-af64-dcc69ca3f36a","3f2b478b-97a5-47d4-9406-1a11b8fa2c12","2c2b2111-0d66-47c7-accd-00932495df2c","b4b621dc-d1c3-42aa-919b-46fa67373541","8999e00a-836f-4fdd-bc41-e367fd1f8f7c","ad46a9f2-ced9-4aca-b35e-991e9dfbb1ed","7bbf5616-1bcd-46b2-b39b-eb65ea660b58","bc64bce7-4e92-457b-b01c-53ae62623abd","9984d7e9-3053-43ae-ac67-27d1594452ca","33b45849-b8cf-4e2f-830c-3b15e7475717","097faa46-e787-4b03-a593-3f39a2f91fe3","97cb6850-9732-45f6-9476-b7987d17b086","a46c5a17-89a0-4dc1-8e81-b2824ce01fa3","d4590cda-82d7-4b58-8988-6b49cb3a1c4b","c4c0444d-d466-4b6f-83fe-6b367bada1bf","9a6e5050-3fd6-4135-a995-79354cabf57a","fa27b803-f4f9-4896-8b9e-21e8f1065e11","f599664e-0184-4100-a7bd-10997f517589","08f89088-6769-4697-a4c0-52ab847cc142","6b2e557b-d6d4-4741-b371-90e4bb2e4684","d75e7685-88ab-4ca2-a151-ff3f16bf84c6"]}

nwheeler81 commented 9 months ago

@nwheeler81 Here you go for the query & response select * from c3_qa.c3_device_templates where fqdn = 'cs050.diloadtest10os.nj.ibone' and path='/device=cs050.DILoadTest10OS.nj.ibone/';

@hindprak please add json before * in the query, e.g., select json * from c3_qa.c3_device_templates where fqdn = 'cs050.diloadtest10os.nj.ibone' and path='/device=cs050.DILoadTest10OS.nj.ibone/' The error from the Cassandra Java driver com.datastax.oss.driver.api.core.servererrors.InvalidQueryException: Could not decode JSON string as a map

hindprak commented 9 months ago

@nwheeler81 Here you go select json * from c3_qa.c3_device_templates where fqdn = 'cs050.diloadtest10os.nj.ibone' and path='/device=cs050.DILoadTest10OS.nj.ibone/';

[json]

{"fqdn": "cs050.diloadtest10os.nj.ibone.comcast.net", "path": "/device=cs050.DILoadTest10OS.nj.ibone/", "attributes": "{\"templateUUID\":[\"936cdbc6-0ee7-40c4-826c-4b0e1b1d8b01\",\"89ed1063-984b-42ea-9c07-fe13e498d41c\",\"eee35935-89aa-4e29-866d-c1b9fb960f73\",\"60f46b48-238d-4845-9964-6dfa19ccb207\",\"48361ef0-8570-4e9d-b1a2-1a09ff3be973\",\"df8b6af8-5a99-45be-9c54-025e20ebd5d3\",\"bba74835-6618-445f-95fe-f2f9371c8040\",\"a3c33b18-3321-485b-bae7-94400639e015\",\"6c1a6352-b315-465d-a3ca-1ecb81fce664\",\"408b68d4-aa1f-4f3f-8412-ef833883151e\",\"23bc75d1-1ac9-47ce-8b63-3dbad8a2831d\",\"41f5f29a-3b05-48de-9163-9620d918c6a9\",\"c97f99f3-7601-4f86-8d16-d2166bb081a7\",\"d353d4ea-cd6f-4177-9a9c-880d553d7fa9\",\"12660685-7179-43ce-a419-045a28392fe5\",\"6594c837-d420-412a-a0c6-8b0b4e02cdac\",\"bb884b27-30f8-4801-8623-339a76b6be1e\",\"36b49f94-2390-4ace-87a4-7375d810b693\",\"21d61464-2d32-469d-92bc-4ba5a5a81f93\",\"410866ed-45b0-47d4-ac33-ff0392f0ce19\",\"244f242e-ac3b-4031-997b-a5c58619d4f5\",\"e49a2007-7e42-4d73-96c7-3f95bbf2c255\",\"0f067932-0a21-4df5-a7f0-c626bb9537c5\",\"271f9c37-e562-4e84-89fe-eba8c0ea8657\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\",\"ae7bed27-eee7-4a6a-acd5-1d7fe9a66259\",\"fe9136d4-b6ac-439f-abd4-ac757d403335\",\"9ed3190a-b916-44cf-a29c-ea910375fd4c\",\"cc35ef0b-b072-41c4-b19b-b2320dad02a9\",\"31b8e423-69d8-4ed3-acd7-1b8f164a0d11\",\"62475752-7aa7-42d5-b65b-12bd5fe0d37e\",\"ee67b10f-d70e-4f79-9eac-3e3665b01350\",\"c92f43b3-e4ce-46a2-ae15-886876a2d4d8\",\"dec10034-d008-43ca-9342-11daa58d553f\",\"2580cb8a-7b47-4920-8237-4e34541ac6ee\",\"a6493312-e61d-4aa4-9f10-85aee67f9f09\",\"88f7f0dd-4281-4d8e-863a-97fd235ed00b\",\"2a942fab-47f0-46a5-bd04-a7cf2fa0a2f2\",\"60f6bc15-1bc1-4c91-909b-313df996ed9b\",\"e035dbd7-f4d3-4921-8432-08b2ca2692f9\",\"32a23535-f214-445a-8f55-cf7bf9b8c108\",\"54409e2f-5a23-41b1-939c-29e2e1e83f68\",\"535a491a-7613-4981-b702-341492677fdb\",\"21edc972-560d-4e50-b2c5-3bf5ef05be3e\",\"32f21263-3b4e-428f-84bd-7f05f154e633\",\"cf97aa90-4a23-4023-8fb7-815689a4755d\",\"9cb4ff5e-e4d3-41f8-b99a-50aff3be3fa4\",\"ddda78e9-7af4-46ec-8e4f-0a2f1493a08d\",\"1ddf750c-e193-4911-985c-8cde5185067b\",\"f1f4456e-cf59-4a52-a1eb-dd91ae3c7588\",\"1069e0a9-d843-46c8-9628-9d51a7615268\",\"7063e28d-9974-48c3-aa1a-acd7b59bb5c5\",\"4f818b85-a821-4c28-8af5-39ad83c41ada\",\"4adcf412-530a-4a34-96da-db59d62826b9\",\"430d22c0-57cf-4e8d-96dd-8190804f8fae\",\"a4a7de5b-8b0c-4337-940d-9f8ac1baf647\",\"7eee71fc-df1b-41a0-91dd-6ba3e1eb631b\",\"157c68af-5bfc-4205-9021-c7360965c322\",\"14c519c0-6a79-40b0-87d9-c3cc238e57cd\",\"002f532d-1588-4823-94f8-de77069d2d58\",\"18e76dbf-bc0e-40e0-82ca-50e429df6246\",\"87c7f432-9202-487e-a954-b8e37c8c6883\",\"8e776add-d007-40f5-a898-f41ccc8a2330\",\"7e77bbe5-8ec1-477a-9400-769d703c3c7c\",\"d3b1451f-1bc3-4200-ac79-6f81d0502c7b\",\"08b00292-aef7-4391-a5ab-87e6d68cefe4\",\"c43ef3cb-101c-4ff1-9815-1753a507a789\",\"f875c100-a6be-44ed-a8a3-c52acb89a127\",\"b2342206-fcac-4743-89d4-60b7d92543cb\",\"becbd9ba-e041-495f-b9f4-89f6a27b3afd\",\"7d3509bc-0592-4ae5-839c-25434133ea78\",\"a16d1223-74e3-4436-ad8d-5ae2f4a9eff9\",\"3bfc0260-d41a-445a-8ea9-fab7adfa961f\",\"dfcde37e-4a82-4dde-a50b-c00c3c3667eb\",\"4739743b-69af-479e-8891-fc9594ffbb54\",\"b2b1ed62-4634-479a-92c0-bb0606671a12\",\"7321f392-4c08-4eec-ab90-465d2645b7ef\",\"76144b5b-e7e6-4561-97ed-8b062777bdb5\",\"910011ee-6d1b-43ae-b237-2f72ce2ab424\",\"ef3a4b92-cb58-401e-a7f4-f2e7e2fb665c\",\"d75b1b5f-a4a5-4b7f-b846-a05719f0c66e\",\"76dfb8fa-219e-4784-9b2d-bb12ce007856\",\"0762109d-5f71-4887-af64-dcc69ca3f36a\",\"3f2b478b-97a5-47d4-9406-1a11b8fa2c12\",\"2c2b2111-0d66-47c7-accd-00932495df2c\",\"b4b621dc-d1c3-42aa-919b-46fa67373541\",\"8999e00a-836f-4fdd-bc41-e367fd1f8f7c\",\"ad46a9f2-ced9-4aca-b35e-991e9dfbb1ed\",\"7bbf5616-1bcd-46b2-b39b-eb65ea660b58\",\"bc64bce7-4e92-457b-b01c-53ae62623abd\",\"9984d7e9-3053-43ae-ac67-27d1594452ca\",\"33b45849-b8cf-4e2f-830c-3b15e7475717\",\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\"097faa46-e787-4b03-a593-3f39a2f91fe3\",\"97cb6850-9732-45f6-9476-b7987d17b086\",\"a46c5a17-89a0-4dc1-8e81-b2824ce01fa3\",\"d4590cda-82d7-4b58-8988-6b49cb3a1c4b\",\"c4c0444d-d466-4b6f-83fe-6b367bada1bf\",\"9a6e5050-3fd6-4135-a995-79354cabf57a\",\"fa27b803-f4f9-4896-8b9e-21e8f1065e11\",\"f599664e-0184-4100-a7bd-10997f517589\",\"08f89088-6769-4697-a4c0-52ab847cc142\",\"6b2e557b-d6d4-4741-b371-90e4bb2e4684\",\"d75e7685-88ab-4ca2-a151-ff3f16bf84c6\"]}"}

nwheeler81 commented 9 months ago

@hindprak could you please check with the application owner, why so many \x00? that's hidden when query in cqlsh but it takes space in the storage. How it should be handled during the migration process (deleted, or keep it)?

hindprak commented 9 months ago

@nwheeler81 I believe the \x00 is added because the query has json in the "select json *". All the field types are "text" type in this table. Internally, we validate the input data as a valid JSON but we convert to as "text" before storing in Cassandra. So if the cqlreplicator can extract text fields AS IS (based on the DDL) and import into Keyspaces, then it should work without any problem. Just for my understanding, why is the cqlreplicator trying to convert all fields to JSON?

nwheeler81 commented 9 months ago

@hindprak the CQLReplicator relies on the JSON serialization (it's the DB feature, not CQLReplicator). Based on your assumption this is a bug in the Cassandra. Can you find the related SSTable and look into the dump file (JSON). PS: To identify SSTable nodetool getsstables ks tbl your-partition-key

nwheeler81 commented 9 months ago

@hindprak please share the SSTable with @naveenkantamneni and what's the C* version?

ph1lm commented 9 months ago

@nwheeler81 Looks like those 00s are added by json function I used textasblob to check ASCII codes of all chars that we have in that row&column and I don't see 00s there:

select textasblob(attributes) from c3_qa.c3_device_templates where fqdn = 'cs050.diloadtest10os.nj.ibone' and path='/device=cs050.DILoadTest10OS.nj.ibone/';

 system.textasblob(attributes)
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 0x7b2274656d706c61746555554944223a5b2239333663646263362d306565372d343063342d383236632d346230653162316438623031222c2238396564313036332d393834622d343265612d396330372d666531336534393864343163222c2265656533353933352d383961612d346532392d383636642d633162396662393630663733222c2236306634366234382d323338642d343834352d393936342d366466613139636362323037222c2234383336316566302d383537302d346539642d623161322d316130396666336265393733222c2264663862366166382d356139392d343562652d396335342d303235653230656264356433222c2262626137343833352d363631382d343435662d393566652d663266393337316338303430222c2261336333336231382d333332312d343835622d626165372d393434303036333965303135222c2236633161363335322d623331352d343635642d613363612d316563623831666365363634222c2234303862363864342d616131662d346633662d383431322d656638333338383331353165222c2232336263373564312d316163392d343763652d386236332d336462616438613238333164222c2234316635663239612d336230352d343864652d393136332d393632306439313863366139222c2263393766393966332d373630312d346638362d386431362d643231363662623038316137222c2264333533643465612d636436662d343137372d396139632d383830643535336437666139222c2231323636303638352d373137392d343363652d613431392d303435613238333932666535222c2236353934633833372d643432302d343132612d613063362d386230623465303263646163222c2262623838346232372d333066382d343830312d383632332d333339613736623662653165222c2233366234396639342d323339302d346163652d383761342d373337356438313062363933222c2232316436313436342d326433322d343639642d393262632d346261356135613831663933222c2234313038363665642d343562302d343764342d616333332d666630333932663063653139222c2232343466323432652d616333622d343033312d393937622d613563353836313964346635222c2265343961323030372d376534322d346437332d393663372d336639356262663263323535222c2230663036373933322d306132312d346466352d613766302d633632366262393533376335222c2232373166396333372d653536322d346538342d383966652d656261386330656138363537222c2261653762656432372d656565372d346136612d616364352d316437666539613636323539222c2266653931333664342d623661632d343339662d616264342d616337353764343033333335222c2239656433313930612d623931362d343463662d613239632d656139313033373566643463222c2263633335656630622d623037322d343163342d623139622d623233323064616430326139222c2233316238653432332d363964382d346564332d616364372d316238663136346130643131222c2236323437353735322d376161372d343264352d623635622d313262643566653064333765222c2265653637623130662d643730652d346637392d396561632d336533363635623031333530222c2263393266343362332d653463652d343661322d616531352d383836383736613264346438222c2264656331303033342d643030382d343363612d393334322d313164616135386435353366222c2232353830636238612d376234372d343932302d383233372d346533343534316163366565222c2261363439333331322d653631642d346161342d396631302d383561656536376639663039222c2238386637663064642d343238312d346438652d383633612d393766643233356564303062222c2232613934326661622d343766302d343661352d626430342d613763663266613061326632222c2236306636626331352d316263312d346339312d393039622d333133646639393665643962222c2265303335646264372d663464332d343932312d383433322d303862326361323639326639222c2233326132333533352d663231342d343435612d386635352d636637626639623863313038222c2235343430396532662d356132332d343162312d393339632d323965326531653833663638222c2235333561343931612d373631332d343938312d623730322d333431343932363737666462222c2232316564633937322d353630642d346535302d623263352d336266356566303562653365222c2233326632313236332d336234652d343238662d383462642d376630356631353465363333222c2263663937616139302d346132332d343032332d386662372d383135363839613437353564222c2239636234666635652d653464332d343166382d623939612d353061666633626533666134222c2264646461373865392d376166342d343665632d386534662d306132663134393361303864222c2231646466373530632d653139332d343931312d393835632d386364653531383530363762222c2266316634343536652d636635392d346135322d613165622d646439316165336337353838222c2231303639653061392d643834332d343663382d393632382d396435316137363135323638222c2237303633653238642d393937342d343863332d616131612d616364376235396262356335222c2234663831386238352d613832312d346332382d386166352d333961643833633431616461222c2234616463663431322d353330612d346133342d393664612d646235396436323832366239222c2234333064323263302d353763662d346538642d393664642d383139303830346638666165222c2261346137646535622d386230632d343333372d393430642d396638616331626166363437222c2237656565373166632d646631622d343161302d393164642d366261336531656236333162222c2231353763363861662d356266632d343230352d393032312d633733363039363563333232222c2231346335313963302d366137392d343062302d383764392d633363633233386535376364222c2230303266353332642d313538382d343832332d393466382d646537373036396432643538222c2231386537366462662d626330652d343065302d383263612d353065343239646636323436222c2238376337663433322d393230322d343837652d613935342d623865333763386336383833222c2238653737366164642d643030372d343066352d613839382d663431636363386132333330222c2237653737626265352d386563312d343737612d393430302d373639643730336333633763222c2264336231343531662d316263332d343230302d616337392d366638316430353032633762222c2230386230303239322d616566372d343339312d613561622d383765366436386365666534222c2263343365663363622d313031632d346666312d393831352d313735336135303761373839222c2266383735633130302d613662652d343465642d613861332d633532616362383961313237222c2262323334323230362d666361632d343734332d383964342d363062376439323534336362222c2262656362643962612d653034312d343935662d623966342d383966366132376233616664222c2237643335303962632d303539322d346165352d383339632d323534333431333365613738222c2261313664313232332d373465332d343433362d616438642d356165326634613965666639222c2233626663303236302d643431612d343435612d386561392d666162376164666139363166222c2264666364653337652d346138322d346464652d613530622d633030633363333636376562222c2234373339373433622d363961662d343739652d383839312d666339353934666662623534222c2262326231656436322d343633342d343739612d393263302d626230363036363731613132222c2237333231663339322d346330382d346565632d616239302d343635643236343562376566222c2237363134346235622d653765362d343536312d393765642d386230363237373762646235222c2239313030313165652d366431622d343361652d623233372d326637326365326162343234222c2265663361346239322d636235382d343031652d613766342d663265376532666236363563222c2264373562316235662d613461352d346237662d623834362d613035373139663063363665222c2237366466623866612d323139652d343738342d396232642d626231326365303037383536222c2230373632313039642d356637312d343838372d616636342d646363363963613366333661222c2233663262343738622d393761352d343764342d393430362d316131316238666132633132222c2232633262323131312d306436362d343763372d616363642d303039333234393564663263222c2262346236323164632d643163332d343261612d393139622d343666613637333733353431222c2238393939653030612d383336662d346664642d626334312d653336376664316638663763222c2261643436613966322d636564392d346163612d623335652d393931653964666262316564222c2237626266353631362d316263642d343662322d623339622d656236356561363630623538222c2262633634626365372d346539322d343537622d623031632d353361653632363233616264222c2239393834643765392d333035332d343361652d616336372d323764313539343435326361222c2233336234353834392d623863662d346532662d383330632d336231356537343735373137222c2230393766616134362d653738372d346230332d613539332d336633396132663931666533222c2239376362363835302d393733322d343566362d393437362d623739383764313762303836222c2261343663356131372d383961302d346463312d386538312d623238323463653031666133222c2264343539306364612d383264372d346235382d383938382d366234396362336131633462222c2263346330343434642d643436362d346236662d383366652d366233363762616461316266222c2239613665353035302d336664362d343133352d613939352d373933353463616266353761222c2266613237623830332d663466392d343839362d386239652d323165386631303635653131222c2266353939363634652d303138342d343130302d613762642d313039393766353137353839222c2230386638393038382d363736392d343639372d613463302d353261623834376363313432222c2236623265353537622d643664342d343734312d623337312d393065346262326534363834222c2264373565373638352d383861622d346361322d613135312d666633663136626638346336225d7d

(1 rows)
hindprak commented 9 months ago

@nwheeler81 Unfortunately we cannot share the entire sstable dump. I have sent an email to @naveenkantamneni

nwheeler81 commented 9 months ago

@nwheeler81 Unfortunately we cannot share the entire sstable dump. I have sent an email to @naveenkantamneni

I need only one partition from the SSTable to do this you need to use sstabledump tool.

https://cassandra.apache.org/doc/stable/cassandra/tools/sstable/sstabledump.html

nwheeler81 commented 9 months ago

closing due to the issue with C* 3.10 JSON Serializer