TPC-DS q23 fails with OptUseFinalizeByKey

zverevgeny commented 3 weeks ago

Дело в том, что в таблице store_sales в колонках ss_customer_sk и ss_sold_date_sk могут быть NULL. А они являются ключами джоина. В JoinDict в случае Inner join мы требуем, чтобы ключи джоина были не NULL.

Tony-Romanov commented 3 weeks ago

Где тест, или как это воспроизводить?

zverevgeny commented 1 week ago

@Darych, допиши сюда, пожалуйста, минимальный пример воспроизводящий ошибку

Darych commented 1 week ago

PRAGMA dq.HashJoinMode = "grace";
pragma dq.ComputeActorType="sync";
pragma dq.OptLLVM="off";
PRAGMA s3.UseBlocksSource="true";
pragma dq.MaxTasksPerStage="1";
pragma config.flags="LLVM_OFF";
pragma dq.UseFinalizeByKey="true";
pragma AnsiOptionalAs="1";

$max_store_sales =
 (select max(csales) tpcds_cmax
  from (select sum(ss_quantity*ss_sales_price) csales
        from bindings.store_sales as store_sales
            cross join bindings.customer as customer
            cross join bindings.date_dim as date_dim
        where
        -- ss_customer_sk is not null and ss_sold_date_sk is not null
        and ss_customer_sk = c_customer_sk
         and ss_sold_date_sk = d_date_sk
        group by customer.c_customer_sk) x);

 select customer.c_customer_sk c_customer_sk,sum(ss_quantity*ss_sales_price) ssales
  from bindings.store_sales as store_sales
      cross join bindings.customer as customer
  where ss_customer_sk = c_customer_sk
  group by customer.c_customer_sk
  having sum(ss_quantity*ss_sales_price) > (95/100.0) * $max_store_sales;

Собрал покороче пример на котором воспроизводится проблема. Биндинги из TPC-DS Лог с проблемой прикреплен run_failed.log

Если в примере запроса расскоментить строку с фильтром на NOT NULL, то запрос проходит. Лог прикреплен как run.log

Дело в том, что в таблице store_sales в колонках ss_customer_sk и ss_sold_date_sk могут быть NULL. А они являются ключами джоина. В JoinDict в случае Inner join мы требуем, чтобы ключи джоина были не NULL. run.log run_failed.log bindings.json