search

DariGD / ai24-toxicity-prediction

Apache License 2.0
0 stars 0 forks source link

[TOXRIC] Привести данные к единому формату #6

Closed bugor40 closed 3 weeks ago

bugor40 commented 4 weeks ago

Что хотим?

Привести источник к общему формату, по которому сможем объединить все данные вместе.

Формат

Название поля Описание
Источник Название исходного источника, откуда это наблюдение
Smiles Уникальный идентификатор химического соединения, подробнее тут
Exp. Animal Животное, на котором проводился эксперимент
method of administration Способ введения препарата
Metric_1 Значение метрики в общих единицах измерениях
Metric_1 (a.u) Единицы измерения метрики 1
Metric_2 ...
... ...

Какие данные?

Источник Кто прорабатывал Issue Ссылка на источник Объём выборки Метрики Комментарий
TOXRIC @Neuralist88 #9 https://toxric.bioinforai.tech/jk/DownloadController/DownloadToxicityInfo?toxicityId=44 35299 LD50 Mouse intraperitoneal
TOXRIC @Neuralist88 #9 https://toxric.bioinforai.tech/jk/DownloadController/DownloadToxicityInfo?toxicityId=51 16498 LD50 Mouse intravenous
TOXRIC @Neuralist88 #9 https://toxric.bioinforai.tech/jk/DownloadController/DownloadToxicityInfo?toxicityId=47 4798 LD50 Rat intraperitoneal
TOXRIC @Neuralist88 #9 https://toxric.bioinforai.tech/jk/DownloadController/DownloadToxicityInfo?toxicityId=53 2323 LD50 Rat intravenous
TOXRIC @Neuralist88 #9 https://toxric.bioinforai.tech/jk/DownloadController/DownloadToxicityInfo?toxicityId=12 1021 Carcinogenicity  
TOXRIC @Neuralist88 #9 https://toxric.bioinforai.tech/jk/DownloadController/DownloadToxicityInfo?toxicityId=291 7485 Ames mutagenicity  
TOXRIC @Neuralist88 #9 https://toxric.bioinforai.tech/jk/DownloadController/DownloadToxicityInfo?toxicityId=290 1430 Clinical toxicity  
TOXRIC @Neuralist88 #9 https://toxric.bioinforai.tech/jk/DownloadController/DownloadToxicityInfo?toxicityId=43 2889 Hepatoxicity  
TOXRIC @Neuralist88 #9 https://toxric.bioinforai.tech/jk/DownloadController/DownloadToxicityInfo?toxicityId=31 1348 Respiratory toxicity  
TOXRIC @Neuralist88 #9 https://toxric.bioinforai.tech/jk/DownloadController/DownloadToxicityInfo?toxicityId=32 5125 Eye irritation  
TOXRIC @Neuralist88 #9 https://toxric.bioinforai.tech/jk/DownloadController/DownloadToxicityInfo?toxicityId=33 2242 Eye corrosion

Предобработка

Предварительно с данными нужно поработать, как именно:

Собранные данные нужно выложить на S3 (появится позже)

bugor40 commented 4 weeks ago

Предобработал датасет и привел его к требуемому формату. Предобработка включала в себя следующие шаги:

  1. Объединение двух датасетов, содержащих данные по метрике LD50 c мышами в качестве подопытных, но различным способом ввода препарата (intraperitoneal и intravenous)
  2. Проверка на наличие полных дублей среди строк с данными
  3. Удаление ненужных столбцов
  4. Добавление датасетов с крысами в качестве подопытных животных
  5. Добавление датасетов с еще 7 метриками токсичности, выраженных бинарно (токсично/не токсично)
    • Carcinogenicity - канцерогенность
    • Clinical Toxicity - клиническая токсичность
    • Hepatoxicity - гепатоксичность
    • Eye corrosion - разъедание глаз
    • Eye irritation - раздражение глаза
    • Ames mutagenisity - мутагенность по тесту Эймса
    • Respiratory toxicity - респираторная токсичность

На выходе получился датасет с количеством строк: 63 686 строк. Датасет загрузил на S3 (team-22/data/raw/toxric/TOXRIC_dataset.csv)