объекты, интересные для декомпозиции - сделать начальное приближение

alekskryzh / X-galaxies

1 stars 0 forks source link

объекты, интересные для декомпозиции - сделать начальное приближение #10

Open Amarchuk opened 1 year ago

Amarchuk commented 1 year ago

Александр, вот список отобранных для декомпозиции объектов

Можете начать их декомпозировать, попробуйте сделать хорошее начальное приближение и покажите их как раньше в ноутбуке отдельном новом (и параметры, и срезы, и вычеты). Результаты думаю можно тоже загружать не на диск, а прямо в репозиторий и потом будем их обновлять.

alekskryzh commented 1 year ago

Начал декомпозировать.

Ссылка на архив: https://disk.yandex.ru/d/wHY-DyNYp-7S6g, также загрузил на гит Ноутбук загрузил на гит - pictures_plotter_2.ipynb

alekskryzh commented 1 year ago

Продолжаю декомпозицию. Какие-то проблемы с гитом-не даёт загрузить, висит с понедельника. Пока выложу все на яндекс диске, потом еще раз попробую на гит. Ноутбук: https://disk.yandex.ru/d/svgy--fvir0zOw Архив: https://disk.yandex.ru/d/GWb8ffCrP2vuvQ

P.S. Всё загрузил на гит.

Amarchuk commented 1 year ago

Это в https://github.com/alekskryzh/X-galaxies/blob/main/decomp_results/pictures%20plotter_2.ipynb?

Там просто сложно понять, что новое, что смотреть, что не смотреть. У первой по-прежнему нет срезов.

У 1720_93_1_line10922 диск надо лучше подогнать, у последней - ефф. размер балжда очень большой.

И у меня отдельная просьба - Александр, пишите осмысленные имена для коммитов, что в них сделано.

alekskryzh commented 1 year ago

Да. На самом деле, там всё новое. В прошлый раз были всего четыре галактики, которые я декомпозировал на скорую руку, сейчас они уже лучше сделаны. Срезы почему-то не отрисовались, надо будет посмотреть.

Amarchuk commented 1 year ago

Понял. Поправьте те, что я указал и мы все втроем их посмотрим.

alekskryzh commented 1 year ago

Обновил ноутбук decomp_results/pictures plotter_2.ipynb . Срезы все рисуются как нужно, просто plt.show() немного не в том месте стоял, поэтому казалось, что у первой галактики нет срезов, они как бы перенеслись к следующей галактике. Таким образом, правильная последовательность: изображения, срезы, параметры, поэтому первую галактику не трогал.

Вы указали на 1720_93_1_line10922, с учётом такого смещения срезов в ноутбуке я предположил, что Вы, на самом деле, имели в виду 732_72_0_line4676, поэтому я эту галактику подогнал. Ну и самую последнюю - EON_183.977_6.401 - тоже переделал (там был большой эффективный радиус у балджа).

Amarchuk commented 1 year ago

Отлично, большинство моделей теперь выглядят очень даже достойно. Дальше надо созваниваться и детально их обсуждать.

alekskryzh commented 1 year ago

Общие замечания (сейчас навалились лабы и доклады, добрался осознать свои записи только в конце недели), в пункте 7 есть вопрос

1) Где это нужно, сделать два балджа - один побольше, другой поменьше. То есть один B/PS-балдж, другой центральный яркий балдж (маленький эффективный радиус и большая интенсивность). 2) Желательно у таких двух балджей фиксировать PA, чтобы не было доп. степеней свободы. 3) Два балджа: большой балдж: ell примерно 0.5, границы можно задавать от 0.0 до 0.7-0.8; фиксировать n = 1, потом можно отпустить и посмотреть, что получится, но вообще, если два балджа имеют два свободных n, то плохо сходится. 4) Два балджа: центральный балдж: то, что он более яркий, нужно руками задавать, n можно варьировать в широком диапазоне, ell, возможно, будет плохо подгоняться, но какая получится. 5) Хорошо бы, чтобы результат (полученные параметры) подгонки imfit не упирался в границы, т.е. за этим следить. 6) Нарисовать все модели (кадры такого же размера), отдельно диск, отдельно балдж. 7) ВОПРОС: в дополнение к предыдущему пункту: рисовать здесь же карту ошибок? Что-то нужно предварительно с картой делать? 8) Нарисовать профиль вдоль луча х-структуры. 9) Выводить B/D. 10) По идентификаторам посмотреть галактики, литературу, исследования, что-то вывести. 11) На вычетах рисовать маскированные области.

Теперь по каждой галактике.

1237_50_0_line1676__EON21.856-1.913 (hexagons) Диск сделать побольше. Можно сделать два балджа и обычный диск. Сравнить с тем, что получится по сравнению с конфигурацией, где диск с изломом (где вычет лучше, хи-квадрат меньше). Сказано, что когда 2 балджа, то х-структура "подсвечивается" хорошо. В этой галактике х-структура не очень яркая.

EON150.398-2.99 (hexagons) Балдж "уехал" (PA=100). Внутренний маленький яркий балдж действительно повёрнут. Такие балджи надо либо маскировать, либо отдельно подгонять, т.к. они портят всю картину в центральных областях. К тому же, что-то можно попробовать сделать с пылевой полосой (диск).

732_72_0_line4676 (iso_break) В центре сильный перевычет. Зафиксирована интенсивность, лучше сначала зафиксировать, потом отпустить, т.е. после того, как диск более менее нашёлся.

1720_93_1_line10922 (iso_break) Получше замаскировать звезду слева снизу. Интересно посмотреть на профиль вдоль луча х-структуры. У балджа с эллиптичностью что-то не так (лучше её не фиксировать, границы ставить от 0 до 0.6-0.7).

2015_16_1_line2021 (iso_break) Очень "сильный" диск (перевычет). В параметрах inc = 79, из-за этого диск получился широким. Скорее всего, наклона на самом деле нет (т.е. ставить inc = 90 и фиксировать).

804_63_1_line2514 (mass_bulge) Возможно, нет второго балджа. Диск вдалеке неплохо подогнался, но в центральных областях слегка перевычтен. Возможно, интенсивность диска лучше не фиксировать, лучше чтобы само подогналось, но сложность в том, что imfit попытается зафитировать и х-структуру, интенсивность диска всё равно придётся опускать. Можно только экспоненциальный диск подогнать, балдж не подгонять, посмотреть, что получится на вычете, и дальше посмотреть, нужен балдж или нет. Сказано, что х-структура после такого "подсветится" хорошо. Однако ещё сказано, что маленький балдж всё-таки возможен, надо посмотреть работу 20-го года. Если эта галактика там есть, то можно просто взять параметры оттуда (по крайней мере, как начальное приближение), и посмотреть, какие получаются вычеты.

1354_49_0_line6745 (mass_bulge) Добавить центральный балдж. В comfig2.imfit у ell поправить границы (от 0 до 0.8).

1640_74_0_line13441 (mass_bulge) Балдж слишком большой (эффективный радиус очень большой), то есть на профиле нужно сделать диск повыше, а эффективный радиус поменьше. Скорее всего, здесь тоже 2 балджа. Тоже посмотреть ell (верхнюю границу можно сделать до 0.8). У диска inc, скорее всего, тоже не 79. В таких случаях можно делать так: зафитить сначала один диск (без балджа), смотреть наклон, за счёт B/PS-балджа наклон немного "поползёт", но оценить хотя бы, большой/небольшой наклон получается, а потом, если небольшой, зафиксировать inc = 90 и попробовать подогнать при таком inc, посмотреть, что получится, потом можно опустить inc примерно на 3-4 градуса. Лучше так, а то когда все параметры свободные, то такое, попало в локальную яму по градиенту, и всё.

1937_45_0_line2281 (mass_bulge) Эту галактику пока ОТЛОЖИТЬ на потом! Тем не менее, есть центральный яркий балдж. На вычете ещё есть два "кольца", т.е. можно ещё добавить "кольцо". Но надо подумать, возможно, это просто куски бара. У балджа n большое (тем самым imfit подогнал центральную область). Но вообще у этой галактики глазом так-то невидно х-структуры.

2007_19_0_line21884 (mass_bulge) Наклон диска большой (галактика действительно наклонена, но не настолько). Опять же подогнался не B/PS-балдж, а подогналась центральная область. То есть надо сейчас добавить ещё один балдж, но большой, т.к. то, что есть, это центральная компонента (у которой ell вообще можно отпустить).

EON_183.977_6.401 (mass_bulge) Подозрительная галактика. Посмотреть, какие исследования по этой галактике были. Какое здесь B/D (видимо, большое). Опять подгоняется яркая центральная область. С наклоном надо ещё посмотреть, inc отпустить. Однако пока всё можно так и оставить.

Amarchuk commented 1 year ago

По 7: рисовать отдельно не нужно, но нужно попробовать декомпозицию сделать с ней, может быть это поможет (для этого ее и брали).

Список, как видите, у Вас вышел большой, так что нужно довольно ударно работать, в приоритете сами декомпозиции конечно.

alekskryzh commented 1 year ago

Вот, что я успел наработать.

Начну с ноутбука. Я его существенно переделал в соответствии с замечаниями. Путь - decomp_results/pictures plotter_3_2311.ipynb
(https://github.com/alekskryzh/X-galaxies/blob/c3632b59be58f7522f5ad02b24223a60534915ab/decomp_results/pictures%20plotter_3_2311.ipynb)

1) Теперь новые результаты будут сравниваться с предыдущими, чтобы было видно изменения, насколько улучшается или ухудшается результат. Модельные картинки с Легаси я убрал. 2) К изображениям добавлены отдельно модель балджа и модель диска. 3) На изображениях вычетов рисуются области маскирования. Они есть не у всех галактик, т.к. не у каждой делалось какое-либо маскирование. Маски изображены тёмно-красными кругами/овалами, хотя потом, наверное, цвет лучше сменить, чтоб не перепутать с перевычетом. 4) Насчёт идентификаторов я пока не особо понял, как лучше выводить какую-то полезную информацию о галактике, поэтому пока что у каждой галактики в начале я привожу ссылку на Симбад и ссылку на Легаси. 5) После картинок я привожу содержание предыдущих и текущих файлов конфигов и бестфитов. 6) Отношение потоков я привожу в самом конце, т.е. после конфигов и бестфитов. Хотя, наверное, можно эти потоки в самом начале выводить. Кстати для получения отношения потоков можно не только использовать в терминале makeimage, но и прописать в самом ноутбуке функцию get_relative_fluxes(self).
7) Срезы вдоль х-структуры я решил вывести в отдельной ячейке, чтоб не загромождать одну ячейку.

Про сами галактики. К сожалению, на данный момент я успел только три галактики обработать. Занимает часа 4 на галактику. Со вторым балджем работать сложновато. Параметров стало больше, imfit работает дольше, сложнее понимать, где какие параметры нужно подкрутить, чтобы улучшить картинку. Возможно, у меня пока что опыта нет, чтобы сразу на глаз видеть, где что подкрутить. Вроде вычеты получились не хуже предыдущих.

1237_50_0_line1676__EON21.856-1.913. Поскольку я с неё начал, то мучался долго. Если что, на вычетах "уши" замаскированы. С масками стало полегче, так как на горизонтальном срезе имфит пытался провести среднюю кривую через эти "уши". Хотя добавлением внутреннего балджа мне всё равно не удалось зафитировать центральную область (недовычет). Пробовал ещё экспоненциальным диском, но особых успехов не добился.

EON150.398-2.99. Так и не придумал, что делать с полосой пыли. Но, вроде, некоторые области перевычета убрались. Хотя по-прежнему меня немного смущает выпячивающий балдж на модельном изображении.

732_72_0_line4676. Не знаю, лучше стало или нет. Центральный перевычет по-прежнему остался.

Архив - decomp_results/small_samp_2311.zip ( https://github.com/alekskryzh/X-galaxies/blob/c3632b59be58f7522f5ad02b24223a60534915ab/decomp_results/small_samp_2311.zip )

Amarchuk commented 1 year ago

Я вижу, что проделано заметно много полезной работы, Вы молодец. То, что объектов немного и декомпозиция идет туго - нормально, поскольку в итоговой работе объектов тоже буде немного. На первый взгляд везде стали лучше выглядеть модели.

Сделайте еще пару объектов, и мы соберемся их обсудить. Сразу несколько замечаний небольших по улучшению:

1) ссылки на https://ned.ipac.caltech.edu/ тоже стоит вставить

2) Цвет маски нормальный, и понятно почему приходится маскировать Х-структуру, но на вычетах хочется видеть именно все, что осталось, поэтому прикрывать там маской куски BPS балджа странно. Думаю стоит сверху справа (там как раз есть место под еще одну картинку) рисовать, где маска, а вычеты давать как есть.

alekskryzh commented 1 year ago

Слегка подправил. Добавлена ссылка на NED и маска теперь не на вычетах нарисована, а на продублированном исходном изображении. https://github.com/alekskryzh/X-galaxies/blob/ff76aa39260eaa94b40e2bb8b16948ec6d2358b2/decomp_results/pictures_plotter_3.ipynb

Amarchuk commented 1 year ago

Замечательно.

Хорошо, если удастся еще 1-2 объекта добить в начале этой недели, и созвониться всем вместе.

alekskryzh commented 1 year ago

Здесь ноутбук суммарно с 6 галактиками, обработанными по-новому: https://github.com/alekskryzh/X-galaxies/blob/543c541bc3aa77d4fa253f5cda4421eff88f9e2f/decomp_results/pictures_plotter0712.ipynb

Архив: https://github.com/alekskryzh/X-galaxies/blob/543c541bc3aa77d4fa253f5cda4421eff88f9e2f/decomp_results/small_samp_0712.zip

Amarchuk commented 1 year ago

Мы обсудили, в целом все очень и очень даже неплохо. А Вы подгоняете все еще без карт ошибок?

Делайте остальные объекты, а по этим улучшить надо будет вот что (попробовать):

r_eff второго серсика попробовать сделать еще меньше или ell=0 (круглый)
у второго n уперся в границу?
центральный серсик (который меньше) надо еще поярче чуть-чуть сделать попытаться
n диска отпустить (а для балджа фиксировать n=1), там у нас фиксирована двойка и диск не подгоняется. Балдж слишком большой тут явно, должно в диск перетянуться. При этом надо тут попробовать еще вот что сделать, если время будет - а) саму картинку сделать больше, чтоб диск было видно дальше б) взять левую часть картинки и отразить, чтобы правую, где засветка, нивелировать (но вычет строить все равно по всей). В наклон диска тут тоже слабо верится, хотя конечно может быть, попробуйте с i=90 начинать.
все ок
то же, что в четвертом - n диска отпустить, у нас диск не подгоняется похоже, и попробовать тоже с incl=90

Еще на последних всех картинках, где срезы, кажется в центр не попадаете часто (и, если можно, там где излом со "ступенькой", отметить на картинке и срезах верт. линиями полупрозрачными где она).

Нам - подготовить код, который прорисовывает максимумы икса.

alekskryzh commented 1 year ago

Да, пока до карт ошибок не добрался. И я правильно понимаю, что сделать декомпозицию вместе с картой ошибок — применить всю процедуру и к карте ошибок? Т.е прогнать через imfit, получить все картинки, включая вычеты и т.д. Просто там с картами ошибок (видно на картинке-отдельное неповёрнутое и необрезанное изображение) есть одна небольшая неясность — прямоугольники, полосы и подобные области с резко отличающимися интенсивностями. Вопрос в том, что с этим делать. Ведь imfit с ума сойдёт от такого. Насколько я помню, когда я разбирался, то все эти прямоугольники и полосы — наложения разных brick'ов, т.е. можно просто усреднить, чтобы получить более-менее равномерные интенсивности.

2 Вполне возможно, что после работы imfit n действительно упёрся в границу, а потом я уже руками в bestfit подгонял. Надо будет ещё раз глянуть на работу imfit'a. Просто у каждой галактики мне всё равно приходится руками bestfit подгонять. 6 Ещё у галактики, кажется, есть пылевая полоса. На исходном изображении в ноутбуке это особо не видно, но на фитсах в ds9 что-то подобное можно увидеть.

В остальном всё понятно, буду работать.

Amarchuk commented 1 year ago

Про ошибки: это значит применить их как веса при декомпозиции - кажется это --weights. Попробуйте, вполне возможно не скажется совсем эта дробность. Единственное что посмотрите описание флагов в мануале, не надо ли там инвертировать эти веса.

Просто у каждой галактики мне всё равно приходится руками bestfit подгонять.

Да, декомпозиция она про это. Но получается ведь!

Ещё у галактики, кажется, есть пылевая полоса.

Да, там в центре что-то такое красное видно, я обратил внимание. Это не должно на внешних областях сказаться.

alekskryzh commented 1 year ago

Продвигаюсь дальше в декомпозиции. Решил ещё 3 галактики обработать: mass_bulge 1354, 1640 и 2007. К mass_bulge 1354 попробовал применить карту ошибок. Сначала немного затупил и начал переводить 1/sigma^2 в просто sigma, но потом заметил, что в imfit'е используется именно 1/sigma^2. В общем, команда с использованием карты ошибок такая:

imfit image.fits -c config3.imfit --loud --psf psf.fits --mask mask3.fits --ftol=1.0e-6 --save-params bestfit3.imfit --save-residual residual3.fits --noise ./invarmap/invvar_r_rotcrop.fits --errors-are-weights

Я убрал -mlr, т.к. это не позволяет использовать карту ошибок (в мануале так написано).

Ноутбук https://github.com/alekskryzh/X-galaxies/blob/d55408b88b7fea6fd44c61f1e4a5d275abbf4b59/decomp_results/pictures%20plotter_3_0601.ipynb

Архив https://github.com/alekskryzh/X-galaxies/blob/d55408b88b7fea6fd44c61f1e4a5d275abbf4b59/decomp_results/small_samp_0601.rar

Amarchuk commented 1 year ago

Отлично, мы их обсудим. Карты стоит сразу для всех использовать, где они есть - будет ошибка лучше считаться.

У первой в центре стало лучше, но в остальном примерно так же периферия осталась. Я бы руками сделал диск другим, излом на -20 секундах и больше I_0 (как было в старой модели).

Вторая хорошо. Балдж, возможно, великоват (по верт. срезу видно), но в целом хорошо кмк.

Последняя мне тоже нравится, как улучшилась.

Срезы "по диагоналям" куда-то пропали, вижу только предыдущие результаты.

alekskryzh commented 1 year ago

Две галактики: hexagons: 1237_50_0_line1676__EON21.856-1.913, EON150.398-2.994.

У центрального Серсика ell=0 и уменьшен r_e.
Даже не знаю, лучше или хуже, но, пожалуй, дальше улучшать уже тяжело и не совсем понятно, как. На эту галактику ушло заметно больше времени, чем на предыдущую. Уже трудно понять, какие параметры подкручивать, чтобы х-структура лучше подсветилась.

Со срезами вдоль х-структуры пока отдельная история. Переделываю функцию, строящую срезы: изначально было так, что положение центра на каждом срезе было немного разное (да и ещё срезы немного разной длины), т.к. срезы строятся в графике "длина среза (ось абсцисс) - значение (ось ординат)". Потом надо ещё повнимательнее посмотреть, чтоб срезы именно через центр галактики проходили.

В ближайшие дни попробую больше продвинуться (включая прогу, прочерчивающую х-структуру).

Ноутбук: https://github.com/alekskryzh/X-galaxies/blob/e69360004ae395db472d307ba0f4202d8182b0f3/decomp_results/pictures%20plotter_3_0118.ipynb

Ссылка на архив: https://disk.yandex.ru/d/QcAPBCqrf5CISg

Amarchuk commented 1 year ago

По срезам не совсем понял, но Вы сделайте, и покажете.

Галактики - первая по мне стала лучше, у второй предыдущая итерация была лучше.

alekskryzh commented 1 year ago

Пока что перестроил срезы вдоль х-структур (отсутствуют пока что 1-2 галактики, до них ещё не добрался, собираюсь добить в начале недели). Переписал функцию: вместо координат концов срезов ввожу координаты центра галактики (через который срезы будут проходить), углы наклона срезов и длина срезов. С одной стороны, срезы, вроде, проходят вдоль х-структуры, с другой стороны, есть ощущение, что у некоторых галактик х-структура не такая уж и ровная, чтоб вдоль неё проводить прямые (т.е. могут быть отклонения от прямых линий, какие-то искажения и т.п.). Не знаю, насколько это будет интересно, но раз мы ещё затрагиваем в соседней теме поиск максимумов, то вдоль этих максимумов, наверное, можно как-то пробовать проводить срезы.

Ноутбук: https://github.com/alekskryzh/X-galaxies/blob/6dbe6fcc6aa7f89384bc4ff7332250c5c550d6b2/decomp_results/pictures%20plotter_3_0122.ipynb

Amarchuk commented 1 year ago

Это вы верно заметили, что Х-структура совсем может быть не ровной. Собственно для этого и есть #11, чтобы обоснованнее посмотреть, где она проходит.

По срезам. Интересно, что есть несколько характерных профилей. Есть еще не вышедшая статья Эрвина на дропбоксе о разных типах профиля, посмотрите ее бегло, там интересно.

alekskryzh commented 1 year ago

Попытался улучшить следующую галактику - iso_beak 732_72_0_line4676. В этот раз я решил попробовать декомпозировать заново. По диску, вроде, стало лучше (уменьшились "уши"), а вот с балджами не сумел добиться успеха, достаточно сложно подобрать параметры. Возможно, лучше вернуться к предыдущей итерации, не трогать диск и работать только с балджами. Но вот с центральным перевычетом в виде кольца и недовычетом внутри кольца я все же пока не понимаю, что делать. В ноутбуке только эта галактика и плюс обновил срезы вдоль х-структуры.

Ноутбук: https://github.com/alekskryzh/X-galaxies/blob/ea0104f643e72894a8c4103d414c0534ba504b27/decomp_results/pictures%20plotter_3_0126.ipynb

Архив: https://github.com/alekskryzh/X-galaxies/blob/ea0104f643e72894a8c4103d414c0534ba504b27/decomp_results/small_samp_0126.zip

Amarchuk commented 1 year ago

Стало лучше, если по вычету судить. А что в срезах изменилось, или просто они еще раз перерисованы?

Статью посмотрите и кратенько попробуйте проанализировать, какие типы срезов получаются у вас в работе.

Amarchuk commented 1 year ago

И еще такая идея: интересно было бы посмотреть на те же срезы, только "без диска" и "на оригинале". Полезно знать на будущее.

alekskryzh commented 1 year ago

-"А что в срезах изменилось, или просто они еще раз перерисованы?" Да, просто ещё раз запустил ячейку, чтобы по галактике iso_beak 732_72_0_line4676 перерисовалось. Остальное понятно, работаю.

alekskryzh commented 1 year ago

Поделал пару галактик - 1720_93_1_line10922 (iso_break) и 2007_19_0_line21884 (mass_bulge). По первой долго возился, но когда добавил второй балдж, стало лучше, хотя ещё, наверное, стоит покрутить балдж с диском. По второй особого успеха не добился, кроме как немного от красноты на картинке избавился. Вообще, чем дальше, тем всё сложнее и сложнее подгонять, т.к. на первый взгляд результат у некоторых галактик довольно неплох.

Теперь про саму тему декомпозиции. Сколько осталось галактик - это и мне интересно. Просто не совсем понятно, когда останавливаться, когда декомпозиция будет достаточно для конкретной галактики, процесс сам итеративный, и с каждом шагом всё сложнее улучшить улучшенное. Изначально у нас было 11 галактик, одну из них -- 1937_45_0_line2281 (mass_bulge) мы ещё в октябре решили оставить на потом из-за сложностей этой галактики, с тех пор я к ней и не притрагивался. По галактике 2015_16_1_line2021 (iso_break) замечания закончились, хотя если очень захотеть, то с ней можно что-то поделать. Галактика 1640_74_0_line13441 (mass_bulge) в целом оценена хорошо. Галактику EON_183.977_6.401 (mass_bulge) ещё в октябре назвали подозрительной, хотя х-структура вроде как прослеживается. По личному ощущению, часть галактик действительно выглядит достойно, но, наверное, с другой частью можно поработать, особенно, где сложности в виде пылевых полос и других особенностей.

Что нового. Я добавил, как Вы и просили, срезы для "оригинала" и для "без диска", это всё в ноутбуке можно посмотреть. Всё ещё не добрался до анализа, но думаю, в следующий раз напишу кратко про это. Насчёт литературы по галактикам понял. Сейчас работа пока больше техническая - добавить, организовать новые картинки, модифицировать ноутбуки, улучшение результатов. До анализа и выводов обязательно доберусь.

Ещё я подумываю перенести все эти срезы в ноутбук с результатами скрипта, чтобы всё подобное было в одном месте. Заодно можно сравнивать.

Архив с двумя галактиками: https://github.com/alekskryzh/X-galaxies/blob/a27c7f1a622a92a8a56ca4167f8cd4cd7fc3b792/decomp_results/small_samp_0209.zip Ноутбук: https://github.com/alekskryzh/X-galaxies/blob/a27c7f1a622a92a8a56ca4167f8cd4cd7fc3b792/decomp_results/pictures%20plotter_3_0209.ipynb (В ноутбуке две галактики и плюс обновлённые срезы)

Amarchuk commented 1 year ago

Хорошо расписано. И правда, надо собрать галактики и оценить. Кажется все, что в той ячейке где срезы - весьма достойны.

В новых моделях интересно - у первой галактики изменились срезы по диагоналям, похоже и правда был не вычтен балдж. Это любопытный результат.

Вторая галактика тоже, судя по срезам, стала лучше.

Остальное жду.

alekskryzh commented 1 year ago

В этот раз собрал всё вместе, всё, что наработано на данный момент. Ноутбук: https://github.com/alekskryzh/X-galaxies/blob/e79c6510bfc2f45b53eaeffd5cbb58d9ea0839cc/decomp_results/pictures%20plotter_3_0227.ipynb Архив со всеми 11 галактиками: https://disk.yandex.ru/d/zkETfq1xR7yjOw

Есть общий вопрос - какие галактики уже достаточно декомпозированы, а с какими ещё нужно повозиться? Т.е. какие галактики я могу уже перестать подгонять (подгонять параметры в бестфите)? Просто сложность в том, что чем дальше улучшаем, тем сложнее становится подгонять параметры, т.е. каждый раз сделать лучше уже труднее, поэтому это начинает забирать больше времени. Собственно, я и собрал (почти) все галактики в один ноутбук и в один архив, чтобы кинуть общий взгляд (осенью мы отложили галактику 1937_45_0_line2281 (mass_bulge) на потом). Она в ноутбуке не приведена, но её можно в архиве посмотреть. Собственно, теперь вопрос, что с ней делать. И нужно ли вообще с ней что-либо сейчас делать.

Кратко по каждой галактике.

1237_50_0_line1676__EON21.856-1.913 (hexagons) Видимо, без второго балджа здесь не обойтись. Думаю, с ней ещё нужно поработать, попытаться синеву (недовычет) в центре минимизировать, играясь с параметрами балджей.

EON150.398-2.994 (hexagons) Видимо, тоже нужно поработать. От центральной красной (перевычет) полоски никуда не деться, там пылевая полоса. Используются два балджа.

732_72_0_line4676 (iso_break) Используются два балджа. Вот здесь я уже колеблюсь, надо ли продолжать. Немного смущает центральный синий (недовычет) бублик, но, может, и так сойдёт.

1720_93_1_line10922 (iso_break) Используются два балджа. Думаю, поиграться здесь ещё можно, но уже сложнее. Чуть смущает лёгкий перевычет (еле заметный) по вертикальному и горизонтальному срезам (если смотреть на двумерную картинку).

2015_16_1_line2021 (iso_break) Используется один балдж. Колеблюсь. С одной стороны, структура хорошо видна, с другой, с диском нужно ещё поработать, т.к. есть некоторый лёгкий перевычет в плоскости диска и лёгкий недовычет вокруг.

804_63_1_line2514 (mass_bulge) Один балдж. Заметна пылевая полоса (как у EON150.398-2.994 (hexagons)). Также колеблюсь. Кажется, здесь не похоже, чтобы был нужен второй балдж. Возможно, с этой галактикой ещё можно поэкспериментровать.

1354_49_0_line6745 (mass_bulge) Два балджа. Х-структура здесь хорошо видна, но я бы ещё поработал. Смотря на оригинальное изображение, кажется, что PA баджа и диска явно различаются, балдж слегка повёрнут по часовой стрелке, диск - против. Судя по вычету здесь явно ещё нужно поработать с PA, чтобы симметричные относительно центра оранжеватые (перевычет) и синеватые (недовычет) области убрать слева и справа от галактики.

1640_74_0_line13441 (mass_bulge) Два балджа. Х-структура явно выделяется. Колеблюсь. Опять же, как и в случае с 732_72_0_line4676 (iso_break) есть центральный синий бублик (дырка еле видна). Лёгкий перевычет о вертикальному срезу.

1937_45_0_line2281 (mass_bulge) Собственно, это та оставленная ещё осенью на потом галактика. Не сказать, что там прям х-структура выделяется, да и галактика какая-то кривоватая.

2007_19_0_line21884 (mass_bulge) Два балджа. Я бы здесь ещё поработал. С центральной синевой (недовычет) явно надо что-то делать, играться с балджами.

EON_183.977_6.401 (mass_bulge) Кажется, новый результат я ещё не показывал. Используется один балдж. Лёгкий недовычет вокруг галактики по большей части исчез. Надо ли дальше улучшать?

Итак, на данный момент я бы точно поработал с 1237_50_0_line1676__EON21.856-1.913 (hexagons), EON150.398-2.994 (hexagons), 1354_49_0_line6745, 2007_19_0_line21884 (mass_bulge) (mass_bulge)

Amarchuk commented 1 year ago

Спасибо за детальный разбор. Думаю стоит уже почти везде остановиться. Мы соберемся и обсудим.

Amarchuk commented 1 year ago

Галактики:

1237_50_0_line1676__EON21.856-1.913: 80 градусов наклон диска - не слишком много? Глазом то не видно (возможно ещё, что наклон получается такой большой, потому что индекс вертикального распределения закреплен и выпал на граничное значение). Отпустить может степень, зафиксировать наклон на 85, дать сойтись, потом опять отпустить и наклон, и степень. Интенсивность второго Серсика опять вышла на границу? Вроде бы, судя по конфигу, нет, но почему тогда в плюс-минусе ноль? Чуть-чуть бы здесь ещё поработать.

EON150.398-2.994: Более-менее ок, не думаю, что нужно дальше возиться.

732_72_0_line4676: Тоже неплохой вычет.

1720_93_1_line10922: Развалилось? Интенсивность у второго балджа на границу вышла. Нужно побольше пределы поставить, наверное. Плюс явно проблемы с наклоном, нет там 80 градусов у диска. Х-ы вон какие симметричные. Фиксируете на 90 лучше, если не получается со свободным. При этом B/PS балдж получается ничего, вроде бы. Эту точно переделать, очень уж хорошая

2015_16_1_line202: Нормально.

804_63_1_line2514: Либо выкидывать, либо отпускать параметры, весь балдж фиксированный - как-то слишком.

1354_49_0_line6745: Да, PA можно отпустить, наклон диска + поворот бара к оси дают различие в PA диска и балджа (с Сашей Мосенковым изучали этот вопрос).

1640_74_0_line13441: В принципе, неплохо. Но что с интенсивностями? Опять пришлось фиксировать? Почему ноль получился?

2007_19_0_line21884: Наверное, выкидываем. Даже после аккуратной декомпозиции Х-ы плохо выделяются.

EON_183.977_6.401: Раньше не обращал внимание, а почему берется такая маленькая область для фита? Практически только B/PS балдж и виден, и масштаб балджа практически такой же как у диска.

Антон

alekskryzh commented 1 year ago

Обновлено: галактика 1354_49_0_line6745

В ноутбуке собраны все галактики, в архиве только указанная галактика.

Ноутбук: https://github.com/alekskryzh/X-galaxies/blob/e50518a7ce0774a26459efd5d1827a917a9805e5/decomp_results/pictures%20plotter_3_0316.ipynb

Архив: https://github.com/alekskryzh/X-galaxies/blob/e50518a7ce0774a26459efd5d1827a917a9805e5/decomp_results/small_samp_0316.zip

Поскольку здесь ещё добавятся вычеты и таблица, хотел бы уточнить один момент - расчёт хи-квадрат для вычета с Легаси. С одной стороны, есть карта хи-квадрат, например, для галактики 1354_49_0line6745 она находится здесь: https://portal.nersc.gov/cfs/cosmo/data/legacysurvey/dr9/south/coadd/080/0801m252/ (файлы legacysurvey-0801m252-chi2). С другой стороны, есть уже повёрнутые и обрезанные изображения, модельные изображения с Легаси и карты ошибок (тоже повёрнутые и обрезанные). Насколько я помню, хи-квадрат = \sum\limits{i=1}^{N} wi(I{m,i} - I{d,i})^2, где I{m,i} - модельные интенсивности, I_{d,i} - исходные интенсивности, w_i = 1/\sigma_m - весы (используется карта ошибок). Наверное, быстрее идти вторым путём, когда изображения и карты ошибок уже повёрнутые и обрезанные, просто применить указанную формулу, т.к. в первом пути (карта хи-квадрат по ссылке) сначала надо обрезать и повернуть, а потом только суммировать.

Ещё одно уточнение. Наверное, для тех галактик, где декомпозиция окончательно закончена, можно в ноутбуке по-другому выстраивать рисунки. Например, исходное изображение, оно же, но с маской, модель балджа (а если два балджа, рисовать суммарный балдж или каждый отдельно?), модель диска, вычет, вычет с Легаси. На данный момент в ноутбуке сравниваются текущая и предыдущая итерации подгонки параметров, для окончательных результатов, наверное, лучше демонтрировать финальные рисунки, а предыдущую итерацию подгонки убрать и сделать так, как написал.

Amarchuk commented 1 year ago

Спасибо.

А что изменилось для 1354_49_0_line6745? PA я вижу все так же фиксировано.

Про хи^2: тут хотя бы сравнить внешне галактики по вычетам (для себя). По вычислению - да, надо идти вторым путем, правда иметь в виду, что мы не всю галактику подгоняем часто, а только ее центральные части.

По последнему согласен, надо завести отдельный ноутбук и фиксировать там те галактики, что уже завершены.

Amarchuk commented 1 year ago

Посмотрел нормальные имена для них:

1237_50_0_line1676__EON21.856-1.913 = NGC560
EON150.398-2.994 = NGC3101
732_72_0_line4676 = ESO486-059
1720_93_1_line10922 = NGC3875
2015_16_1_line2021 = нет хорошего имени
804_63_1_line2514 = ESO545-004
1354_49_0_line6745 = PGC1212349
1640_74_0_line13441 = PGC1470526
2007_19_0_line21884 = PGC070798
EON_183.977_6.401 = NGC4215

В https://arxiv.org/pdf/2007.12121.pdf и в https://ui.adsabs.harvard.edu/abs/2017MNRAS.471.3261S/abstract их нет, так что сравнивать декомпозицию получается не с чем.

alekskryzh commented 1 year ago

Обновлено: 1720_93_1_line10922 (iso_break)

Архив: https://github.com/alekskryzh/X-galaxies/blob/27ecfbd4f5fc35e80f1e1717cd0788fb1d87946b/decomp_results/small_samp_0322.zip

Ноутбук: https://github.com/alekskryzh/X-galaxies/blob/27ecfbd4f5fc35e80f1e1717cd0788fb1d87946b/decomp_results/pictures%20plotter_3_0322.ipynb

В ноутбуке убраны три галактики, для которых декомпозиция завершена (кроме срезов вдоль х-структуры, не знаю, нужны они ещё или тоже убрать из ноутбука, эти срезы потом в ноутбуке с финальными результатами будут).

Amarchuk commented 1 year ago

Обновлено: 1720_93_1_line10922 (iso_break)

Хорошо, но почему убрали второй Серсик? Есть какая-то причина?

В ноутбуке убраны три галактики, для которых декомпозиция завершена

А где они теперь? Или еще не готово?

alekskryzh commented 1 year ago

По Серсику посмотрю, похоже, по случайности старую версию обработал.

Ещё не готово

alekskryzh commented 1 year ago

Обновление: 1720_93_1_line10922 (iso_break).

Архив: https://github.com/alekskryzh/X-galaxies/blob/81fd51a39f481b4497ded03f50735dac78a91f30/decomp_results/small_samp_0327.zip

Ноутбук: https://github.com/alekskryzh/X-galaxies/blob/81fd51a39f481b4497ded03f50735dac78a91f30/decomp_results/pictures%20plotter_3_0327.ipynb

В ноутбуке (в начале, до картинок) добавлена сводная таблица. Немного про хи-квадрат. В отличие от наших имфитовских моделей, модели Легаси учитывают яркие соседние источники (типа яркие звёзды), поэтому на вычетах Легаси этих ярких источников нет, значит, суммарная интенсивность на вычете меньше, значит, меньше хи-квадрат. Т.е., вроде как, у галактик с яркими источниками хи-квадрат для вычета Легаси получился меньше, чем для нашего вычета. Всё же, наверное, стоит уменьшить область суммирования хи-квадрата, чтобы эти источники не попали. Видимо, можно попробовать описать центральную часть галактики каким-нибудь эллипсом и суммировать уже внутри него. Просто я суммировал без подобных масок, по всему кадру.

Также в ноутбуке добавлен вычет от Легаси.

Финальный ноутбук, в котором расположены галактики, для которых декомпозиция завершена: https://github.com/alekskryzh/X-galaxies/blob/81fd51a39f481b4497ded03f50735dac78a91f30/decomp_results/pictures%20plotter_final_0327.ipynb

Здесь та же таблица, рисунки теперь выстроены по-другому (решил в моделях с двумя балджами отдельно показывать два балджа; также добавлен вычет от Легаси), рисунки со срезами тоже по-другому выстроены (для моделей с двумя балджами решил ещё вставить "Изображение минус диск и минус центральный балдж").

Amarchuk commented 1 year ago

Очень хорошо. Наконец получилось сравнить с легаси - видно, насколько отличается, эти картинки явно надо будет показывать.

По 1720_93_1_line10922 - есть еще вопросы, но кмк стало лучше.

По второму: Плохо называть один из балджей BPS, поскольку BPS - это выгнувшийся бар, а Вы фитировали обычные серсиковские балджи. Про хи2 - надо делить на число пикселей (минус количество параметров, но это не сильно важно) как минимум. Про яркие источники я понял, их конечно надо бы замаскировать тоже. Последняя третья часть ноутбука конечно очень грубая (где срезы по диагоналям), но если ее несложно делать - хорошо бы оставить, показательная.

alekskryzh commented 1 year ago

Обновление: (mass_bulge) 804_63_1_line2514, 1354_49_0_line6745, 1640_74_0_line13441, EON_183.977_6.401

Архив: https://disk.yandex.ru/d/LXCfAJhFG9SrDA

Ноутбук: https://github.com/alekskryzh/X-galaxies/blob/c29280dae5e3342d8095a668115d6b0bc628c3a8/decomp_results/pictures%20plotter_3_0403.ipynb

Хотел сказать ещё пару слов про D/T_b1 и D/T_b2, а именно, про их различие. Декомпозиция начиналась у всех галактик с одним модельным балджем, потом в какой-то момент было решено пробовать добавлять второй балдж. После добавления второго балджа продолжались подгоняться параметры диска. D/T_b1 - это для модели с одним балджем, бралась последняя итерация с одним балджем (т.е перед переходом к двум балджам), D/T_b2 - это для модели с двумя балджами, это в принципе самая последняя итерация подгонки параметров. Т.к. после перехода к двум балджам параметры диска продолжались подгоняться, то естественно, что D/T_b1 и D/T_b2 будут разными. Но мы считаем хи-квадрат для обоснования введения второго балджа, как я понимаю, диск в обоих случаях (один балдж, два балджа) должен быть одинаковым. Это можно попытаться реализовать, если весь диск просто зафиксировать. Т.е., например, у какой-то галактики 2 балджа, фиксируем диск, делаем один балдж, подгоняем этот балдж. Это если добиваться равенства D/T_b1 = D/T_b2.

Amarchuk commented 1 year ago

У первой: что за ошибка угла такая 90 # +/- 1.3773e+05?

1354_49_0_line6745 - серсик второй уперся в восьмерку, угол наклона 75?

1640_74_0_line13441 - наклон 84?

EON_183.977_6.401 - разницы никакой с предыдущей. Можете для последней сделать эллипсы пока, а я дождусь остального фидбека.

alekskryzh commented 1 year ago

Насчёт странной ошибки угла 90 # +/- 1.3773e+05, честно говоря, мне и самому интересно, почему она такой вышла. В документации Imfit'а не нашёл ничего про то, как все эти ошибки вычисляются. Наверное, попробую залезть вовнутрь Imfit'a (посмотреть файлы), поискать что-то типа формул, по которым эти вычисления проводятся.

Посмотрел на другие галактики, нашёл такую же странную ошибку: 2015_16_1_line2021: у диска h2 13.7 # +/- 2.0462e+05

Это для самой последней итерации. На предыдущих итерациях тоже большие ошибки проскальзывали у некоторых галактик.

Amarchuk commented 1 year ago

А Вы карты с ошибками используете же? Гляньте - эти две галактики случайно не имеют особенности в распределении ошибок, артефакты?

Сильно не концентрируйтесь, это скорее всего технический момент и для диплома не важно.

alekskryzh commented 1 year ago

Да, карты ошибок использую. Особенностей карт ошибок не заметил. Я, наверное, не буду на это много времени тратить. Если за относительно короткий промежуток времени не пойму идеи таких странных ошибок, то тогда можно забыть про это (спишу условно на странность работы имфита, кажется, мы на созвоне ещё осенью задавались вопросом, насколько корректны и правильны все эти ошибки в бестфите), я тоже думаю, что это технический момент и вряд ли это стоит как-либо описывать в дипломе.

Amarchuk commented 1 year ago

Да, ошибки там скорее некорректны, к сожалению.

Amarchuk commented 1 year ago

1237_50_0_line1676__EON21.856-1.91: Не понял, почему уехал хи-квадрт. И куча нулей в ошибках в последнем результате. Вывалилось на границу опять?

1720_93_1_line10922: нормально. Переносите в сделанные, делайте эллипсы

1354_49_0_line6745: стало чуть лучше, хорошо. Переносите в сделанные, делайте эллипсы

1640_74_0_line13441 Не понял, почему Хи-квадрат не поменялся. Точно по новому файлу строится?

2007_19_0_line21884: все таки выкинуть.

EON_183.977_6.40: Чуть-чуть, вроде бы, параметры балджа поменялись, в остальном все такое же, вроде бы?

alekskryzh commented 1 year ago

Обновлено: 1237_50_0_line1676__EON21.856-1.913 (hexagons), EON_183.977_6.401 (mass_bulge)

Архив: https://disk.yandex.ru/d/KVnHFfnnDJfKsg

Ноутбук: https://github.com/alekskryzh/X-galaxies/blob/76600999ad991bc5a669ccef943ffe143fd696d7/decomp_results/pictures%20plotter_3_0413.ipynb

Ноутбук с завершённой декомпозицией: https://github.com/alekskryzh/X-galaxies/blob/76600999ad991bc5a669ccef943ffe143fd696d7/decomp_results/pictures%20plotter_final_0413.ipynb

Хи-квадрат: теперь яркие фоновые источники замаскированы, добавлено деление на число незамаскированных пикселей. Маска создавалась в ds9, в архиве сохранена как mask_se.fits.

Итак, остались 4 галактики. 1237_50_0_line1676__EON21.856-1.91: Теперь меньше нулей в ошибках. Про хи-квадрат подробнее напишу ниже, после всех галактик.

804_63_1_line2514: Ошибка угла 90 # +/- 1.3773e+05, честно говоря, я так и не нашёл в файлах, как эти ошибки считаются, так что не буду заморачиваться. По этой галактике нужно ещё пытаться делать или можно уже тоже отнести к сделанным?

1640_74_0_line13441: Если я правильно понял, то "Не понял, почему Хи-квадрат не поменялся. Точно по новому файлу строится?" означает, что сравнивались значения Best-fit value, Reduced value в файле bestfit для текущей и предыдущей итерации. Как мне кажется, эти значения в бестфите не имеют большого смысла, т.к. получаются в результате работы имфита (получение первого приближения, когда на вход подаём конфиг), а дальше идёт подгонка параметров в бестфите, после чего, естественно, хи-квадрат поменяется. Так что я всё же лучше хи-квадрат смотрел бы в ноутбуке в табличке. Также вопрос: нужно ещё по этой галактике пытаться или можно уже тоже отнести к сделанным?

EON_183.977_6.40: Ввёл второй балдж. Скажу так: здесь уже достаточно сложно сделать лучше. Наверное, тоже можно закончить с этой галактикой.

Теперь подробнее про хи-квадрат. Первое. Неделю назад (сообщение от 4 апреля) я написал про различие D/T_b1 и D/T_b2. Кратко повторю рассуждения. Считаем хи-квадрат для моделей с 1 и 2 балджами, чтобы обосновать введение второго балджа. Логично предположить, что, чтобы сравнивать модель с 1 балджем и модель с 2 балджами в плане хи-квадрата, нужно, чтобы диск в обоих моделях был одинаковым, тогда будет D/T_b1 = D/T_b2. Однако параметры диска на протяжении всей декомпозиции тоже подгонялись, т.е. диск всё время менялся, поэтому D/T_b1 и D/T_b2 разные. Чтобы всё-таки сравнивать хи-квадрат, можно попробовать как-нибудь отдельно для галактик с двумя балджами зафиксировать диск, убрать второй балдж, подгонять первый балдж. Однако насколько это будет успешно и затратно в плане времени, сложно предугадать. Второе. Вот можно у некоторых галактик заметить, что хи-квадрат поехал, стал побольше и т.п. Например, приведу вычеты для галактики 1640_74_0_line13441. Один вычет для модели с одним балджем, другой вычет для модели с двумя балджами. Хи-квадрат - это грубо разность raw image и model image, т.е это значения пискелей изображения вычета, возвездённые в квадрат, умноженные на соответствующий коэффициент и сумма всех этих значений. На вычете для модели с 2 балджами синевы гораздо больше, но на вычете для модели с 1 балджем есть небольшая краснота, но её не так уж и много. Т.е. суммарно (в смысле сумма квадратов значений пикселей с соответствующим коэффициентом) красноты/синевы на вычете для модели с 1 балджем меньше, поэтому хи-квадрат здесь будет меньше. Это я так пытаюсь объяснить, почему у некоторых галактик хи-квадрат для модели с 2 балджами больше, чем для модели с 1 балджем.

Кстати говоря, после введения маскирования ярких фоновых источников, хи-квадрат нашей декомпозиции везде меньше, чем хи-квадрат для модели из Легаси (chi2_base в табличке), за исключением галактики 1720_93_1_line10922. Там в угол кадра засвечивает звезда, интенсивность которой залезает ещё на саму галактику, поэтому здесь, видимо, маскирование требует повышенной внимательности.

Amarchuk commented 1 year ago

По поводу BIC, что я вчера рассказывал: он записан в результатах фиттинга - собственно например вот BIC: 479.828998

# Best-fit model results for imfit 1.8.0 (OpenMP-enabled)
# Generated on Sat Oct 29 19:26:22 2022 by the following command:
#    imfit image.fits -c config2.imfit --loud --psf psf.fits --mask mask.fits --ftol=1.0e-8 --save-params bestfit2.imfit --save-residual residual2.fits --mlr

# Results of fit:
#   Algorithm: Levenberg-Marquardt: status = 1 -- SUCCESS: Convergence in fit-statistic value.
#   Fit statistic: Poisson-MLR statistic
#   Best-fit value: 344.177534
#   Reduced value: 0.004241
#   AIC: 368.181378
#   BIC: 479.828998

X0      259.5863 # +/- 0.0000
Y0      80.7429 # +/- 0.0000
FUNCTION Sersic
PA      91.2291 # +/- 1.0808
ell         0.44 # +/- 0
n       3.05324 # +/- 0.20711
I_e     1.2801 # +/- 0.055429
r_e     17.476 # +/- 1.2897
FUNCTION BknExp3D
PA      89.8094 # +/- 0.25616
inc     81.2958 # +/- 0.35118
J_0     0.0290161 # +/- 0.0021591
h1      99.6195 # +/- 0
h2      47.1805 # +/- 0
r_break     126.653 # +/- 10.716
n             2 # +/- 0
z_0     0.819895 # +/- 0

alekskryzh commented 1 year ago

Хмм, но ведь дальше идёт подгонка параметров в бестфите руками, а значит, модель меняется, а значит, и хи-квадрат, и BIC, и всё остальное поменяется. Поэтому я бы попытался, как и хи-квадрат, рассчитывать вручную, по формуле. BIC = -2ln(L) + kln(n), где L - максимальное значение функции правдоподобия наблюдаемой выборки, k - число свободных параметров (как я понимаю, это все нефиксированные параметры балджа и диска?), n - кол-во незамаскированных пикселей на изображении.