โ Job 1782548 (task: 0) with path /home/h8/s3811141/test/randomtest_93382/OmniOpt/runs/slurm_in_docker_test/0/single_runs/1782548/1782548_0_result.pkl
has not produced any output (state: TIMEOUT)
No error stream produced. Look at stdout: /home/h8/s3811141/test/randomtest_93382/OmniOpt/runs/slurm_in_docker_test/0/single_runs/1782548/1782548_0_log.out
----------------------------------------
submitit INFO (2025-08-12 15:56:02,066) - Starting with JobEnvironment(job_id=1782548, hostname=i8030, local_rank=0(1), node=0(1), global_rank=0(1))
submitit INFO (2025-08-12 15:56:02,068) - Loading pickle: /home/h8/s3811141/test/randomtest_93382/OmniOpt/runs/slurm_in_docker_test/0/single_runs/1782548/1782548_submitted.pkl
slurmstepd: error: *** JOB 1782548 ON i8030 CANCELLED AT 2025-08-12T15:57:06 DUE TO TIME LIMIT ***
To cancel, press CTRLc, then run 'scancel 1782542'
โ Importing logging...โ Importing warnings...โ Importing argparse...โ Importing datetime...โ Importing dataclass...โ Importing hashlib...โ Importing socket...โ Importing stat...โ Importing pwd...โ Importing signal...โ Importing base64...โ Importing json...โ Importing yaml...โ Importing toml...โ Importing csv...โ Importing ast...โ Importing rich.table...โ Importing rich print...โ Importing rich.pretty...โ Importing rich.prompt...โ Importing types.FunctionType...โ Importing typing...โ Importing ThreadPoolExecutor...โ Importing submitit.LocalExecutor...โ Importing submitit.Job...โ Importing importlib.util...โ Importing inspect...โ Importing platform...โ Importing inspect frame info...โ Importing pathlib.Path...โ Importing uuid...โ Importing traceback...โ Importing cowsay...โ Importing psutil...โ Importing shutil...โ Importing itertools.combinations...โ Importing os.listdir...โ Importing os.path...โ Importing PIL.Image...โ Importing sixel...โ Importing subprocess...โ ดImporting tqdm...โ Importing beartype...โ Importing statistics...โ Trying to import pyfiglet...โ ผImporting helpers...โ Parsing arguments...โ ผImporting torch...โ Importing numpy...โ Importing collections...โ ฆImporting ax...โ Importing ax.core.generator_run...โ Importing Cont_X_trans and Y_trans from ax.modelbridge.registry...โ Importing ax.core.arm...โ Importing ax.core.objective...โ Importing ax.core.Metric...โ Importing ax.exceptions.core...โ Importing ax.exceptions.generation_strategy...โ Importing CORE_DECODER_REGISTRY...โ Trying ax.generation_strategy.generation_node...โ Importing GenerationStep, GenerationStrategy from generation_strategy...โ Importing GenerationNode from generation_node...โ Importing ExternalGenerationNode...โ Importing MaxTrials...โ Importing GeneratorSpec...โ Importing Models from ax.modelbridge.registry...โ Importing get_pending_observation_features...โ Importing load_experiment...โ Importing save_experiment...โ Importing save_experiment_to_db...โ Importing TrialStatus...โ Importing Data...โ Importing Experiment...โ Importing parameter types...โ Importing TParameterization...โ Importing pandas...โ Importing AxClient and ObjectiveProperties...โ Importing RandomForestRegressor...โ Importing botorch...โ Importing submitit...โ Importing ax logger...โ Importing SQL-Storage-Stuff...
Run-UUID: 40fe7790-a8f1-45a9-97f1-a06c96842336
_________________________________________________
/ \
| OmniOpt2 - This is not madness... this is hyperpa |
| rameter tuning! |
\ /
=================================================
\
\
\
\
___-------___
_-~~ ~~-_
_-~ /~-_
/^\__/^\ /~ \ / \
/| O|| O| / \_______________/ \
| |___||__| / / \ \
| \ / / \ \
| (_______) /______/ \_________ \
| / / \ / \
\ \^\\ \ / \ /
\ || \______________/ _-_ //\__//
\ ||------_-~~-_ ------------- \ --/~ ~\ || __/
~-----||====/~ |==================| |/~~~~~
(_(__/ ./ / \_\ \.
(_(___/ \_____)_)
โ Writing worker creation log...
omniopt --partition is_ignored_here --experiment_name=slurm_in_docker_test --mem_gb=1 --time=60 --worker_timeout=1 --max_eval=100000 --num_parallel_jobs=1 --run_program ZWNobyAiUkVTVUxUOiAlKGludF9wYXJhbSklKGludF9wYXJhbV90d28pJShmbG9hdF9wYXJhbSki --parameter int_param range -100 10 int --parameter float_param range -100 10 float --parameter int_param_two range -100 10 int --follow --num_random_steps 2000 --model BOTORCH_MODULAR --auto_exclude_defective_hosts --max_nr_of_zero 3 --show_generate_time_table --show_generation_and_submission_sixel --no_sleep --number_of_generators 5 --live_share --gpus=1
โ Disabling logging...โ Setting run folder...โ Creating folder /home/h8/s3811141/test/randomtest_93382/OmniOpt/runs/slurm_in_docker_test/0...โ Writing revert_to_random_when_seemingly_exhausted file ...โ Writing username state file...โ Writing result names file...โ Writing result min/max file...โ Saving state files...Run-folder: /home/h8/s3811141/test/randomtest_93382/OmniOpt/runs/slurm_in_docker_test/0โ Printing run info...โ Initializing NVIDIA-Logs...โ Writing ui_url file if it is present...โ Writing live_share file if it is present...โ Writing job_start_time file...โ ธWriting git info file...โ Checking max_eval...โ Calculating number of steps...โ Adding excluded nodes...โ Handling random steps...โ Initializing ax_client...
[WARNING 08-12 15:50:45] ax.service.ax_client: Selecting a GenerationStrategy when using BatchTrials is in beta. Double check the recommended strategy matches your expectations.
โ Setting orchestrator...You have 2 CPUs available for the main process.Using CUDA device NVIDIA A100-SXM4-40GB.Generation strategy: SOBOL for 2000 steps and then BOTORCH_MODULAR for 98000 steps.
Run-Program: echo "RESULT: %(int_param)%(int_param_two)%(float_param)"
Experiment parameters
โโโโโโโโโโโโโโโโโณโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโณโโโโโโโโโโโโโ
โName โType โLower boundโUpper boundโType โLog Scale?โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โint_param โrangeโ-100 โ10 โint โNo โ
โfloat_param โrangeโ-100 โ10 โfloatโNo โ
โint_param_twoโrangeโ-100 โ10 โint โNo โ
โโโโโโโโโโโโโโโโโดโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโดโโโโโโโโโโโโโ
Result-Names
โโโโโโโโโโโโโโโณโโโโโโโโโโโโโโ
โResult-NameโMin or max?โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โRESULT โ minโ
โโโโโโโโโโโโโโโดโโโโโโโโโโโโโโ
Failed to start worker 1: sbatch: error: Script arguments not permitted with --wrap optionFailed to start worker 2: sbatch: error: Script arguments not permitted with --wrap optionFailed to start worker 3: sbatch: error: Script arguments not permitted with --wrap optionFailed to start worker 4: sbatch: error: Script arguments not permitted with --wrap optionSee https://imageseg.scads.de/omniax/share?user_id=s3811141&experiment_name=slurm_in_docker_test&run_nr=6 for live-results.
โโโโโโโย โโโโโโโย โโโโโโย ย โย โย โย โโโโโโโ
โย โโโย โย ย โโโย โย โโโย โโโโโโโโโโย โย โโโย โ
โย โโโย โย ย โโโโโโย โโโโโโโโโโย ย โย โย โโโย โ
โโโโโโโย โโโย โโโโโย โย โย โโโโโย โย โโโโโโโ
โโย โโย โย โโโย โย โโโโโย โย โโโโโโโย โโโย ย โโ
โโโโโย โโโย ย ย โย ย โโโย ย โโย โโย โโโโโโย โโโโ
ย โโโโโโย ย โโย โโโโโโโโย ย โโย โโโโย โย โโโโโ
โโโโโโโโโย โโโโโโย ย ย โย โโย ย โย โโโโโโย โโโ
โโโโโย โโโโโโโโโโย โย โโย ย ย โโโโย โโย ย โโโโ
โโโโโโโโโโโโย โโโโย โโย โโโโโโโโย โย โโย ย โ
โโโย โโโโโย โโโย โโโโโโย ย โโโย โโโโโโโโย โโ
ย โโย ย โโย โโโโโย ย โโโโย โย โโโย โโโโโโโโโโโ
โโโโย โโโย ย โโย โโย โย ย ย โย ย โโย โโโโโโโโโโโ
โโโย โโโย โย โโโย โโโย ย โโโย โย ย โโย โย ย โโโโโ
โย ย ย ย ย โโโโย ย โโโโย โย โโโโโย โโย โโโโโโโโย
โโโโโโโย ย โโโย โโโย ย โโโโโโโโย ย โย โย โโโโโ
โย โโโย โย โโโโย ย โโโโโโโย ย โย ย โโโโโโโโโโโ
โย โโโย โย โโโโโย โโโโย ย โโโโย โโย ย โโโโโโโโ
โโโโโโโย โย ย ย โย ย ย ย โย โโย ย โโย ย ย โโโย โโย ย โ
SOBOL, running 1, waiting for 1 job : 0%|โโโโโโโโโโ| 0/100000 [05:31, ?it/s]
โ Job 1782548 (task: 0) with path /home/h8/s3811141/test/randomtest_93382/OmniOpt/runs/slurm_in_docker_test/0/single_runs/1782548/1782548_0_result.pkl
has not produced any output (state: TIMEOUT)
No error stream produced. Look at stdout: /home/h8/s3811141/test/randomtest_93382/OmniOpt/runs/slurm_in_docker_test/0/single_runs/1782548/1782548_0_log.out
----------------------------------------
submitit INFO (2025-08-12 15:56:02,066) - Starting with JobEnvironment(job_id=1782548, hostname=i8030, local_rank=0(1), node=0(1), global_rank=0(1))
submitit INFO (2025-08-12 15:56:02,068) - Loading pickle: /home/h8/s3811141/test/randomtest_93382/OmniOpt/runs/slurm_in_docker_test/0/single_runs/1782548/1782548_submitted.pkl
slurmstepd: error: *** JOB 1782548 ON i8030 CANCELLED AT 2025-08-12T15:57:06 DUE TO TIME LIMIT ***
SOBOL, failed: 1, getting new HP set : 0%|โโโโโโโโโโ| 0/100000 [08:31, ?it/s]
2025-08-12 15:51:12: SOBOL, Started OmniOpt2 run...
2025-08-12 15:52:27: SOBOL, getting new HP set
2025-08-12 15:53:44: SOBOL, requested 1 jobs, got 1, 78.67 s/job
2025-08-12 15:54:26: SOBOL, eval #1/1 start
2025-08-12 15:55:03: SOBOL, starting new job
2025-08-12 15:55:50: SOBOL, running 1, started new job
2025-08-12 15:56:43: SOBOL, running 1, waiting for 1 job
2025-08-12 15:57:40: SOBOL, timeout 1, job_failed
2025-08-12 15:59:01: SOBOL, failed: 1, waiting for 1 job, finished 1 job
2025-08-12 15:59:42: SOBOL, failed: 1, getting new HP set
submitit INFO (2025-08-12 15:56:02,066) - Starting with JobEnvironment(job_id=1782548, hostname=i8030, local_rank=0(1), node=0(1), global_rank=0(1))
submitit INFO (2025-08-12 15:56:02,068) - Loading pickle: /home/h8/s3811141/test/randomtest_93382/OmniOpt/runs/slurm_in_docker_test/0/single_runs/1782548/1782548_submitted.pkl
slurmstepd: error: *** JOB 1782548 ON i8030 CANCELLED AT 2025-08-12T15:57:06 DUE TO TIME LIMIT ***