sge-jobmanager.git
6 years agoBugfix: was not reading configuration file dwm@doc.ic.ac.uk--2006,sge-jobmanager--main--0 master
David McBride [Fri, 10 Mar 2006 12:19:13 +0000]
Bugfix: was not reading configuration file

* Modified sge.in:
  - Fixed loadConfig() to pass the path to read the configuration file from. (!)
git-archimport-id: dwm@doc.ic.ac.uk--2006/sge-jobmanager--main--0--patch-4

6 years agoBug fixes.
David McBride [Mon, 6 Mar 2006 14:35:22 +0000]
Bug fixes.

* Update sge.in:
  - Use h_vmem instead of h_data to constrain job memory (via max_memory RSL
    parameter.)

* Update TODO
  - Removed: Fixed h_data problem.
  - Added:   Incorporate bug fixes developed by AIST.
git-archimport-id: dwm@doc.ic.ac.uk--2006/sge-jobmanager--main--0--patch-3

6 years agoIncremental updates in preperation for release.
David McBride [Wed, 1 Mar 2006 21:53:48 +0000]
Incremental updates in preperation for release.

* Update build-packages.pl script to support differing version
  numbers for individual packages.  This is so that we can relese an updated
  Jobmanager package without having to bump the versions on the other
  (largely unmodified) packages.

* Update other packages to version 1.2 to reflect documentation updates.
  Note that no functional changes have been made to these packages; *only*
  the documentation included in the package has been modified.

* Update version strings in all of the appropriate places for the impending 1.2
  release.  (Was going to be version 1.5; reduced back to 1.2 for simplicity's
  sake.)

* Update release-process to document where all of the appropriate
  places are.

* Add RELEASE-NOTES file containing important user-visible changes for each
  release.

* Add sample files to jobmanager package:
  - vqueues.conf - virtual queue configuration.
  - jobmanager.conf - JobManager configuration.
  - job.preamble, job.postamble - Added to all generated job specs.
    (Before and after calling the main executable, respectively.)

* Update sge.in:
  - Update no-vqueues.conf-file-found warning message to only
    use one warn() invocation.
  - Add job-postamble support (to complement job-preamble).
  - Empty job-preamble definition.  (Most people won't be running
    LCG jobs with our particular volume layout..)
  - Add configuration file support; currently hardcoded to read from
    /etc/sge-jobmanager/jobmanager.conf.  At present, it simply
    specifies where to find the virtual queue map and job pre/postambles.
    (Intention is to later use GetOpt to allow the caller to
    specify the root jobmanager.conf file to use from the commandline.)
  - Remove job preamble, postamble and vqueue path from global scope, and
    install (slightly modified) variants in submit() scope only.
    This will prevent the configuration from being loaded unnecessarily every
    time a Jobmanager instance is created to invoke poll().
  - Additional minor refinements to comments and code layout.
git-archimport-id: dwm@doc.ic.ac.uk--2006/sge-jobmanager--main--0--patch-2

6 years agoMajor update of build system and JobManager implementation.
David McBride [Tue, 28 Feb 2006 18:39:12 +0000]
Major update of build system and JobManager implementation.

* Re-organise source-package layout:
  - Factor out common files and symlink from each package directory.
    Update build-package.pl to dereference symlinks when building packages.
  - Update CREDITS and AUTHORS files.
  - Setup automatic changelog-generation by Arch revision-control.
  - Rename source package trees; update build-package.pl accordingly.

* Add a Changelog file to generated packages.

* Import updated JobManager implementation
  - Developed internally to support LCG site operation.
  - Now the One True GridEngine JobManager with features merged in from other
    locally-developed versions; this will hopefully reduce confusion and
    complexity resulting from many different variants floating about the
    place.
  - Adds:
    - Many tidyups to remove dead code, unused variables, factor common
      code into internal functions, etc.
    - Now operates in 'strict' mode.
    - Lots of comment updates.
    - Virtual queue support.  (Allows modification of the properties of
      submitted jobs based on the name of the queue that was requested --
      which doesn't have to exist on the batch system.)
    - Supports reporting of GRAM_SCRIPT_JOB_ID using different formats. The
      default is to simply report the SGE job ID, but can be reconfigured to
      use a mangled version with STDOUT/STDERR paths to work around a GT3 bug
      or to use the numbering scheme used by the lcgpbs JobManager.
      See $JOBID_FORMAT in sge.in.
  - Add GT3_FAILURE_MESSAGEs to Error responses generated by the JobManager;
    these more-detailed error messages will hopefully explain errors generated
    by the JobManager with much greater precision.  This will only be used by
    Globus Toolkit servers v3 or later, however.
  - Try to clear up old output files more fastidiously.

* Add example /etc/sge-jobmanager/vqueues.conf to jobmanager package.

* Add TODO file to keep track of planned or potential improvements.
git-archimport-id: dwm@doc.ic.ac.uk--2006/sge-jobmanager--main--0--patch-1

7 years agoCorrect licensing details. dwm@doc.ic.ac.uk--2005,sge-gt4--main--0 dwm@doc.ic.ac.uk--2006,sge-jobmanager--main--0--base-0
David McBride [Mon, 9 May 2005 11:31:24 +0000]
Correct licensing details.

All packages:
* Specify that all files (execpt for sge.in) are published under
  the terms of the Globus Toolkit Public License v3.
* Specify that sge.in is published under the terms of the Lesser
  Gnu Public License v2.1.
* Bump the package version number to 1.1.
* Add AUTHORS files to those packages without AUTHORS files.
* Update the CREDITS file for each package as needed.
git-archimport-id: dwm@doc.ic.ac.uk--2005/sge-gt4--main--0--patch-7

7 years agoAdd package-generation script.
David McBride [Tue, 19 Apr 2005 10:42:35 +0000]
Add package-generation script.

* Add build-packages.pl.  This automates the release process for building
  GPT packages from revision-control.
git-archimport-id: dwm@doc.ic.ac.uk--2005/sge-gt4--main--0--patch-6

7 years agoFix SEG reporting of failed jobs
David McBride [Tue, 19 Apr 2005 09:32:33 +0000]
Fix SEG reporting of failed jobs

* Copy the LICENSE* files to each individual tree so that they
  will be included in each individual GPT package.
* Fixed return code check logic error that prevented reporting
  of failed SGE jobs.
git-archimport-id: dwm@doc.ic.ac.uk--2005/sge-gt4--main--0--patch-5

7 years agoFeature complete; minor cleanups.
David McBride [Mon, 18 Apr 2005 13:56:02 +0000]
Feature complete; minor cleanups.

* Added LICENSE file with license constraints. (LGPL).
* Added LICENSE.LGPL with copy of the LGPL.

JobManager:
* Add GT3_FAILURE_MESSAGE values to Jobmanager error returns.
* Remove old pre-GT4 code (that was already commented-out).
* Removed attributions from JobManager file and moved them to
  new AUTHORS and CREDITS files.
* Bumped version of package to 1.0.
* Bumped version of service setup package to 1.0.

SEG Source:
* Remove read optimisation from SEG.  According to http://www-unix.globus.org/toolkit/docs/development/3.9.5/execution/wsgram/developer/scheduler-tutorial-seg.html
  we should not do this.
* Moved attributions from SGE file and moved them to new
  AUTHORS and CREDITS files.
* Bumped version of package to 1.0.
* Bumped version of setup package to 1.0.

git-archimport-id: dwm@doc.ic.ac.uk--2005/sge-gt4--main--0--patch-4

7 years agoFix event parsing, add read optimisation.
David McBride [Thu, 14 Apr 2005 13:06:38 +0000]
Fix event parsing, add read optimisation.

* Event parsing thinko has been fixed.  Now actually returns data!
* Additional trace message points added, existing messages made more clear.
* Re-added read optimisation that allowed a single callback invocation to
  read all data up to an including the EOF.
git-archimport-id: dwm@doc.ic.ac.uk--2005/sge-gt4--main--0--patch-3

7 years agoRemove unnecessary tarball, make find-sge-tools call non-caching.
David McBride [Wed, 13 Apr 2005 16:39:12 +0000]
Remove unnecessary tarball, make find-sge-tools call non-caching.

* An unnecessary sge-source.tar.gz tarball was removed.
* The call to find-sge-tools is now made with --cache-file=/dev/null.
  This prevents subsequent removals and re-installation of the SGE tools
  observant of any changes in the local system configuration.
git-archimport-id: dwm@doc.ic.ac.uk--2005/sge-gt4--main--0--patch-2

7 years agoRemove GT3 hacks.
David McBride [Wed, 13 Apr 2005 14:42:43 +0000]
Remove GT3 hacks.

* Remove GT3 stdout/stderr hacks.
* Incorporate jet.uk improvements for poll().
* Set SGE_ROOT environment variable at startup.
git-archimport-id: dwm@doc.ic.ac.uk--2005/sge-gt4--main--0--patch-1

7 years agoInitial import of SGE GT4 integration code. dwm@doc.ic.ac.uk--2005,sge-gt4--main--0--base-0
David McBride [Tue, 12 Apr 2005 14:16:00 +0000]
Initial import of SGE GT4 integration code.

Initial import.  Contains four subdirectories:
- jobmanager    -- contains the SGE perl jobmanager backend.
- sge-source    -- contains the SGE C SEG code.
- sge-setup     -- configuration package for the SGE SEG.
- service-setup -- configures the SGE WS-GRAM service itself.
git-archimport-id: dwm@doc.ic.ac.uk--2005/sge-gt4--main--0--base-0