search

modularml / max

A collection of sample programs, notebooks, and tools which highlight the power of the MAX Platform
https://www.modular.com
Other
336 stars 42 forks source link

[BUG]: llama3 gets "Killed" during Compiling #213

Open GaryLuck opened 1 month ago

GaryLuck commented 1 month ago

Bug description

(max-venv) gary@Gary:~$ cd max (max-venv) gary@Gary:~/max$ cd examples (max-venv) gary@Gary:~/max/examples$ cd graph-api (max-venv) gary@Gary:~/max/examples/graph-api$ cd pipelines (max-venv) gary@Gary:~/max/examples/graph-api/pipelines$ cd llama3 (max-venv) gary@Gary:~/max/examples/graph-api/pipelines/llama3$ mojo ../../run_pipeline.🔥 llama3 --prompt "I believe the meaning of life is" % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:100 1173 100 1173 0 0 6451 0 --:--:-- --:--:-- --:--:-- 6480 0 4692M 0 139k 0 0 360k 0 3:42:06 --:--:-- 3:42: 0 4692M 0 21.9M 0 0 15.3M 0 0:05:05 0:00:01 0:05: 0 4692M 0 38.0M 0 0 15.4M 0 0:05:02 0:00:02 0:05: 1 4692M 1 54.8M 0 0 16.1M 0 0:04:49 0:00:03 0:04: 1 4692M 1 89.3M 0 0 20.3M 0 0:03:50 0:00:04 0:03: 2 4692M 2 131M 0 0 24.3M 0 0:03:12 0:00:05 0:03: 3 4692M 3 170M 0 0 26.7M 0 0:02:55 0:00:06 0:02: 4 4692M 4 208M 0 0 28.2M 0 0:02:46 0:00:07 0:02: 5 4692M 5 250M 0 0 29.8M 0 0:02:37 0:00:08 0:02: 6 4692M 6 288M 0 0 30.7M 0 0:02:32 0:00:09 0:02: 7 4692M 7 329M 0 0 31.7M 0 0:02:27 0:00:10 0:02: 7 4692M 7 369M 0 0 32.4M 0 0:02:24 0:00:11 0:02: 8 4692M 8 410M 0 0 33.1M 0 0:02:21 0:00:12 0:02: 9 4692M 9 452M 0 0 33.7M 0 0:02:18 0:00:13 0:02: 10 4692M 10 481M 0 0 33.3M 0 0:02:20 0:00:14 0:02: 11 4692M 11 519M 0 0 33.7M 0 0:02:18 0:00:15 0:02: 11 4692M 11 561M 0 0 34.2M 0 0:02:16 0:00:16 0:02: 12 4692M 12 601M 0 0 34.5M 0 0:02:15 0:00:17 0:01: 13 4692M 13 640M 0 0 34.8M 0 0:02:14 0:00:18 0:01: 14 4692M 14 676M 0 0 34.8M 0 0:02:14 0:00:19 0:01: 15 4692M 15 715M 0 0 35.0M 0 0:02:13 0:00:20 0:01: 16 4692M 16 753M 0 0 35.2M 0 0:02:13 0:00:21 0:01: 16 4692M 16 794M 0 0 35.4M 0 0:02:12 0:00:22 0:01: 17 4692M 17 835M 0 0 35.7M 0 0:02:11 0:00:23 0:01: 18 4692M 18 875M 0 0 35.8M 0 0:02:10 0:00:24 0:01: 19 4692M 19 905M 0 0 35.6M 0 0:02:11 0:00:25 0:01: 20 4692M 20 944M 0 0 35.7M 0 0:02:11 0:00:26 0:01: 20 4692M 20 983M 0 0 35.9M 0 0:02:10 0:00:27 0:01: 21 4692M 21 1023M 0 0 36.0M 0 0:02:10 0:00:28 0:01: 22 4692M 22 1065M 0 0 36.2M 0 0:02:09 0:00:29 0:01: 23 4692M 23 1107M 0 0 36.4M 0 0:02:08 0:00:30 0:01: 24 4692M 24 1147M 0 0 36.5M 0 0:02:08 0:00:31 0:01: 25 4692M 25 1189M 0 0 36.7M 0 0:02:07 0:00:32 0:01: 26 4692M 26 1231M 0 0 36.8M 0 0:02:07 0:00:33 0:01: 27 4692M 27 1272M 0 0 36.9M 0 0:02:06 0:00:34 0:01: 27 4692M 27 1310M 0 0 37.0M 0 0:02:06 0:00:35 0:01: 28 4692M 28 1352M 0 0 37.1M 0 0:02:06 0:00:36 0:01: 29 4692M 29 1393M 0 0 37.2M 0 0:02:05 0:00:37 0:01: 30 4692M 30 1436M 0 0 37.4M 0 0:02:05 0:00:38 0:01: 31 4692M 31 1475M 0 0 37.4M 0 0:02:05 0:00:39 0:01: 32 4692M 32 1514M 0 0 37.5M 0 0:02:05 0:00:40 0:01: 33 4692M 33 1555M 0 0 37.5M 0 0:02:04 0:00:41 0:01: 33 4692M 33 1593M 0 0 37.5M 0 0:02:04 0:00:42 0:01: 34 4692M 34 1629M 0 0 37.5M 0 0:02:04 0:00:43 0:01: 35 4692M 35 1669M 0 0 37.6M 0 0:02:04 0:00:44 0:01: 36 4692M 36 1708M 0 0 37.6M 0 0:02:04 0:00:45 0:01: 37 4692M 37 1747M 0 0 37.6M 0 0:02:04 0:00:46 0:01: 38 4692M 38 1786M 0 0 37.6M 0 0:02:04 0:00:47 0:01: 38 4692M 38 1815M 0 0 37.5M 0 0:02:05 0:00:48 0:01: 39 4692M 39 1852M 0 0 37.5M 0 0:02:05 0:00:49 0:01: 40 4692M 40 1891M 0 0 37.5M 0 0:02:04 0:00:50 0:01: 41 4692M 41 1935M 0 0 37.6M 0 0:02:04 0:00:51 0:01: 42 4692M 42 1975M 0 0 37.7M 0 0:02:04 0:00:52 0:01: 42 4692M 42 2013M 0 0 37.7M 0 0:02:04 0:00:53 0:01: 43 4692M 43 2051M 0 0 37.7M 0 0:02:04 0:00:54 0:01: 44 4692M 44 2089M 0 0 37.7M 0 0:02:04 0:00:55 0:01: 45 4692M 45 2128M 0 0 37.7M 0 0:02:04 0:00:56 0:01: 46 4692M 46 2166M 0 0 37.7M 0 0:02:04 0:00:57 0:01: 46 4692M 46 2204M 0 0 37.7M 0 0:02:04 0:00:58 0:01: 47 4692M 47 2243M 0 0 37.7M 0 0:02:04 0:00:59 0:01: 48 4692M 48 2281M 0 0 37.7M 0 0:02:04 0:01:00 0:01: 49 4692M 49 2313M 0 0 37.6M 0 0:02:04 0:01:01 0:01: 50 4692M 50 2350M 0 0 37.6M 0 0:02:04 0:01:02 0:01: 50 4692M 50 2389M 0 0 37.6M 0 0:02:04 0:01:03 0:01: 51 4692M 51 2424M 0 0 37.6M 0 0:02:04 0:01:04 0:01: 52 4692M 52 2462M 0 0 37.6M 0 0:02:04 0:01:05 0:00: 53 4692M 53 2499M 0 0 37.6M 0 0:02:04 0:01:06 0:00: 54 4692M 54 2536M 0 0 37.6M 0 0:02:04 0:01:07 0:00: 54 4692M 54 2572M 0 0 37.6M 0 0:02:04 0:01:08 0:00: 55 4692M 55 2611M 0 0 37.6M 0 0:02:04 0:01:09 0:00: 56 4692M 56 2648M 0 0 37.6M 0 0:02:04 0:01:10 0:00: 57 4692M 57 2686M 0 0 37.6M 0 0:02:04 0:01:11 0:00: 58 4692M 58 2727M 0 0 37.6M 0 0:02:04 0:01:12 0:00: 59 4692M 59 2770M 0 0 37.7M 0 0:02:04 0:01:13 0:00: 59 4692M 59 2803M 0 0 37.6M 0 0:02:04 0:01:14 0:00: 60 4692M 60 2839M 0 0 37.6M 0 0:02:04 0:01:15 0:00: 61 4692M 61 2880M 0 0 37.7M 0 0:02:04 0:01:16 0:00: 62 4692M 62 2920M 0 0 37.7M 0 0:02:04 0:01:17 0:00: 63 4692M 63 2958M 0 0 37.7M 0 0:02:04 0:01:18 0:00: 63 4692M 63 2995M 0 0 37.7M 0 0:02:04 0:01:19 0:00: 64 4692M 64 3035M 0 0 37.7M 0 0:02:04 0:01:20 0:00: 65 4692M 65 3070M 0 0 37.7M 0 0:02:04 0:01:21 0:00: 66 4692M 66 3108M 0 0 37.7M 0 0:02:04 0:01:22 0:00: 66 4692M 66 3143M 0 0 37.6M 0 0:02:04 0:01:23 0:00: 67 4692M 67 3178M 0 0 37.6M 0 0:02:04 0:01:24 0:00: 68 4692M 68 3205M 0 0 37.5M 0 0:02:05 0:01:25 0:00: 69 4692M 69 3239M 0 0 37.4M 0 0:02:05 0:01:26 0:00: 69 4692M 69 3273M 0 0 37.4M 0 0:02:05 0:01:27 0:00: 70 4692M 70 3308M 0 0 37.4M 0 0:02:05 0:01:28 0:00: 71 4692M 71 3342M 0 0 37.3M 0 0:02:05 0:01:29 0:00: 71 4692M 71 3376M 0 0 37.3M 0 0:02:05 0:01:30 0:00: 72 4692M 72 3410M 0 0 37.3M 0 0:02:05 0:01:31 0:00: 73 4692M 73 3444M 0 0 37.2M 0 0:02:05 0:01:32 0:00: 74 4692M 74 3481M 0 0 37.2M 0 0:02:05 0:01:33 0:00: 74 4692M 74 3518M 0 0 37.2M 0 0:02:05 0:01:34 0:00: 75 4692M 75 3554M 0 0 37.2M 0 0:02:05 0:01:35 0:00: 76 4692M 76 3583M 0 0 37.1M 0 0:02:06 0:01:36 0:00: 77 4692M 77 3621M 0 0 37.1M 0 0:02:06 0:01:37 0:00: 77 4692M 77 3659M 0 0 37.1M 0 0:02:06 0:01:38 0:00: 78 4692M 78 3696M 0 0 37.1M 0 0:02:06 0:01:39 0:00: 79 4692M 79 3733M 0 0 37.1M 0 0:02:06 0:01:40 0:00: 80 4692M 80 3767M 0 0 37.1M 0 0:02:06 0:01:41 0:00: 81 4692M 81 3804M 0 0 37.1M 0 0:02:06 0:01:42 0:00: 81 4692M 81 3841M 0 0 37.1M 0 0:02:06 0:01:43 0:00: 82 4692M 82 3878M 0 0 37.1M 0 0:02:06 0:01:44 0:00: 83 4692M 83 3915M 0 0 37.1M 0 0:02:06 0:01:45 0:00: 84 4692M 84 3949M 0 0 37.1M 0 0:02:06 0:01:46 0:00: 84 4692M 84 3987M 0 0 37.1M 0 0:02:06 0:01:47 0:00: 85 4692M 85 4028M 0 0 37.1M 0 0:02:06 0:01:48 0:00: 86 4692M 86 4058M 0 0 37.0M 0 0:02:06 0:01:49 0:00: 87 4692M 87 4092M 0 0 37.0M 0 0:02:06 0:01:50 0:00: 87 4692M 87 4128M 0 0 37.0M 0 0:02:06 0:01:51 0:00: 88 4692M 88 4166M 0 0 37.0M 0 0:02:06 0:01:52 0:00: 89 4692M 89 4208M 0 0 37.1M 0 0:02:06 0:01:53 0:00: 90 4692M 90 4247M 0 0 37.1M 0 0:02:06 0:01:54 0:00: 91 4692M 91 4285M 0 0 37.1M 0 0:02:06 0:01:55 0:00: 92 4692M 92 4322M 0 0 37.1M 0 0:02:06 0:01:56 0:00: 92 4692M 92 4362M 0 0 37.1M 0 0:02:06 0:01:57 0:00: 93 4692M 93 4404M 0 0 37.2M 0 0:02:06 0:01:58 0:00: 94 4692M 94 4441M 0 0 37.2M 0 0:02:06 0:01:59 0:00: 95 4692M 95 4473M 0 0 37.1M 0 0:02:06 0:02:00 0:00: 96 4692M 96 4514M 0 0 37.1M 0 0:02:06 0:02:01 0:00: 97 4692M 97 4555M 0 0 37.2M 0 0:02:06 0:02:02 0:00: 97 4692M 97 4595M 0 0 37.2M 0 0:02:06 0:02:03 0:00: 98 4692M 98 4636M 0 0 37.2M 0 0:02:05 0:02:04 0:00: 99 4692M 99 4678M 0 0 37.3M 0 0:02:05 0:02:05 --:--:100 4692M 100 4692M 0 0 37.3M 0 0:02:05 0:02:05 --:--:-- 40.9M Loading tokenizer... Building model... Compiling... Killed (max-venv) gary@Gary:~/max/examples/graph-api/pipelines/llama3$

Steps to reproduce

Shown above

System information

See previous report.  Ubuntu-22.04 under WSL2
ehsanmok commented 1 month ago

Thanks for reporting! so you did manage to fix this install issue?

rainflood commented 1 month ago

It maybe short of memory...

GaryLuck commented 1 month ago

No, I was unable to fix this one. I’m not sure what the “Killed” message means. Could it be a Segmentation Fault using old Unix terminology? I had 9GB allocated to the WSL 2 Virtual Machine.

Sent from my iPad

On Sep 3, 2024, at 1:42 PM, Ehsan M. Kermani @.***> wrote:



Thanks for reporting! so you did manage to fix this install issuehttps://github.com/modularml/max/issues/215?

— Reply to this email directly, view it on GitHubhttps://github.com/modularml/max/issues/213#issuecomment-2327088301, or unsubscribehttps://github.com/notifications/unsubscribe-auth/A3OLKVN24Q3X4Z5T2YGZ4OLZUXYJXAVCNFSM6AAAAABNRJKVHSVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDGMRXGA4DQMZQGE. You are receiving this because you authored the thread.Message ID: @.***>