Clusters de Linux 

http://clusters.fisica.uson.mx/

¿Qué son los Clusters?

(Presentación Breve ppt)

Clusters de PlayStation2 (ppt)

Antecedentes de los Clusters de Computadoras y la Clase Beowulf

En muchas ramas de las ciencias la complejidad de los problemas que se estudian requieren contar acceso a una supercomputadora, siendo éstas máquinas poderosas que pueden desarrollar varios miles de millones de operaciones por segundo. Las supercomputadoras tradicionales emplean procesamiento en paralelo; contienen arreglos de microprocesadores ultrarrápidos que trabajan en sincronía para resolver problemas complejos como pronósticos numéricos del estado del tiempo, o modelar estructuras complejas de la materia. Los fabricantes de supercomputadoras como Cray, IBM, Silicon Graphics, entre otros, producen modelos por diseño especial y cuestan decenas de millones de dólares - precios que van más allá de los presupuestos de inversión de los grupos de investigación.

En los últimos años, el personal académico de diversas universidades y centros de investigación se han dado a la tarea de aprender a construir sus propias supercomputadoras conectando computadoras personales y desarrollando software para enfrentar tales problemas extraordinarios.

En 1994, se integró el primer cluster de PCs en el Centro de Vuelos Espaciales Goddard de la NASA, para resolver problemas computacionales que aparecen en las ciencias de la Tierra y el Espacio. Los pioneros de este proyecto fueron Thomas Sterling, Donald Becker y otros científicos de la NASA. El cluster de PCs desarrollado tuvo una eficiencia de 70 megaflops (millones de operaciones de punto flotante por segundo). Los investigadores de la NASA le dieron el nombre de Beowulf a este cluster, en honor del héroe de las leyendas medievales, quien derrotó al monstruo gigante Grendel.

En 1996, hubo también otros dos sucesores del proyecto Beowulf de la NASA. Uno de ellos es el proyecto Hyglac desarrollado por investigadores del Instituto Tecnológico de California (CalTech) y el Laboratorio de Propulsión Jet (JPL), y el otro, el proyecto Loki construido en el Laboratorio Nacional de Los Alamos, en Nuevo México. Cada cluster se integró con 16 microprocesadores Intel Pentium Pro y tuvieron un rendimiento sostenido de más de un gigaflop con un costo menor a $50,000 dólares. 

En 1996, en el Laboratorio Nacional de Oak Ridge en Tennessee, se enfrentaban al problema de elaboración de un mapa de las condiciones ambientales del territorio de Estados Unidos. El territorio fue dividido en 7.8 millones de celdas de 1Km. Cada celda contenía la información de 25 variables, desde la precipitación promedio mensual hasta el contenido de Nitrógeno del suelo. Ninguna estación de trabajo o PC podría con esta tarea. Se requería una supercomputadora de procesamiento paralelo. En la actualidad cuentan con un cluster de 130 PCs para trabajar en la elaboración del mapa de eco regiones.

Motivación de la Computación de Alto Rendimiento

• Cómputo de Alto Rendimiento: Introducción a la Programación en Paralelo usando Beowulf. (http://research.esd.ornl.gov/~forrest/osdj-2000-11/)

La computación en paralelo de alto rendimiento, se logra al dividir una tarea enorme y compleja entre varios procesadores. Durante la Segunda Guerra Mundial, antes de la invención de la computadora electrónica, se utilizó una técnica similar para realizar grandes cálculos asociados con el diseño de la bomba atómica para el Proyecto Manhattan. Para reducir enormemente el tiempo para resolver un problema matemático grande, cada parte del problema era resuelto por una persona distinta. A éstas personas se les llamaba computadoras. En la actualidad las computadoras electrónicas pueden trabajar en armonía para resolver problemas científicos que no se soñaba resolver hace más de una década.

• Computación en Paralelo usando Clusters de Linux
  Revisión (1997) de procesamiento en paralelo con Clusters de Linux.

La disponibilidad gratuita, alta confiabilidad y la eficiencia de Linux, ha sido una gran fortuna para las ciencias computacionales desde la década de los 1990s y su popularidad crece cada día en los medios académicos. Los científicos utilizan Linux para convertir PCs en estaciones de trabajo UNIX efectivas para la realización de un gran número de tareas, incluyendo cómputo numérico de modelos complejos. El desarrollo de los clusters de computadoras tipo Beowulf, ha extendido la utilidad del Linux al campo del cómputo paralelo de alto rendimiento. Adicionalmente, la naturaleza de fuente abierta del sistema Linux ha permitido a los programadores, añadir directamente características adicionales al sistema operativo para responder a las necesidades en los clusters de computación.   

• Cluster Computing
  (PDF, 972 Kb) White Paper v. 2.0, Diciembre de 2000, Editor Mark Baker, University of Portsmouth, UK .

Este artículo presenta una revisión de las tecnologías de software y hardware que pueden utilizarse para la construcción de un Cluster. Las tecnologías van desde el nivel de red, a través del sistema operativo y niveles de capas medias, hasta el nivel de las herramientas y aplicaciones.    

Ligas Principales de Computación con Clusters

• IEEE Task Force on Cluster Computing (TFCC), IEEE Computer Society   (http://www.ieeetfcc.org/)
  • Network Technologies  (http://www.ece.arizona.edu/~hpdc/tfcc-network/)
  • Operating Systems Techologies   (http://aggregate.org/)
  • Parallel I/O  (http://www.pri.univie.ac.at/~schiki/research/tfcc/tfcc.htm)
  • Java Technologies  (http://www.javagrande.org/)
  • Algorithms and Applications  (http://www.eece.unm.edu/~dbader/TFCC/tfcc.htm)
  • Analisis and Profiling Tools  (http://www-pablo.cs.uiuc.edu/Collaborations/TFCC/tfcc.htm).
  • Storage Technology  (http://www.csse.monash.edu.au/~rajkumar/tfcc/storage/)
  • High Availability   (http://www.cs.mu.oz.au/~raj/tfcc/high-availability.html)
  • High Throughput Computing   (http://www.cs.wisc.edu/condor/TFCC/HTC.html)
  • Single-System Image   (http://people.ac.upc.es/toni/CCTaskForce/SSI.html)
  • Performance Evaluation  (http://www.csse.monash.edu.au/~rajkumar/tfcc/perfeval.html)
  • Software Engineering  (http://wwwbode.cs.tum.edu/~luksch/tfcc-swe/)
  • Education  (http://www.coe.uncc.edu/~abw/parallel/links.html)
  • Newsletter  (http://www.clustercomputing.org/)
• The Linux Clustering Information Center. (http://lcic.org/).
• Cluster Computing Info Centre. Rajkumar Buyya. (http://www.buyya.com/cluster/).
• BEOWULF. (http://www.beowulf.org/). Proyecto Original de Computación de Alto Rendimiento con Linux.
• Oak Ridge Extreme Linux (http://extremelinux.esd.ornl.gov/)
• Open Scalable Cluster Environment (OpenSCE)  (http://www.opensce.org).
• National Partnership for Advanced Computational Infrastructure (NPACI)  (http://www.npaci.edu).   Proyecto ROCKS
• MOSIX. (http://www.mosix.org). Computación Escalable de Clusters para Linux.
  MOSIX es un paquete de software que mejora el kernel de Linux con capacidades de computación de clusters. El kernel mejorado permite cualquier cluster de estaciones de trabajo y servidores  X86/Pentium/AMD trabajar en coordinadamente como parte de un sólo sistema.
• NOW.  (http://now.cs.berkeley.edu/). Proyecto NOW de la Universidad de California en Berkeley.
  El proyecto NOW consiste en utilizar una red de estaciones de trabajo y que actúe como una supercomputadora distribuida. 
• Parasitic Computing. Transformar el Internet en una computadora distribuida, donde los servidores de Internet realizan operaciones para un nodo remoto. (http://www.nd.edu/~parasite/)
• Linux Virtual Server Project  (http://www.linuxvirtualserver.org/)
• Grid Engine. Modelo de Computación en Malla  (http://gridengine.sunsource.net/)
• Grid Computing Centre  (http://www.gridcomputing.com/)

Artículos de Revistas

• The Do-It-Yourself Supercomputer (http://www.sciam.com/2001/0801issue/0801hargrove.html). Scientific American, August 2001.
• Cluster Computing: Linux Taken to Extreme (http://www.linux-mag.com/1999-05/extreme_01.html). Linux Magazine, Spring 1999.
• Linux Clustering in Depth, (http://www.linux-mag.com/2000-10/clustering_01.html) Linux Magazine, Oct. 2000.
• Extreme Linux, Sección en Linux Magazine.

Proyectos Beowulf Específicos

• The Stone SouperComputer (http://stonesoup.esd.ornl.gov/) Oak Ridge National Laboratories, Tennessee.
• Tennessee Oak Ridge Cluster Project (TORC) (http://www.csm.ornl.gov/torc/) Oak Ridge National Laboratories, Tennessee.
• BioWulf Lobos3 (http://biowulf.nih.gov/) National Institute of Heath.
• CACR (http://www.cacr.caltech.edu/research/beowulf/). Center for Advance Computing Research, California Institute of Technology.
• Bunyip. (http://tux.anu.edu.au/Projects/Bunyip/) Computer Science Dept., Australian National University.
• KLAT2 Kentucky Linux Athlon Testbed 2, (http://aggregate.org/KLAT2/)  Electrical Engineering Dept., University of Kentucky.
• Loki (http://loki-www.lanl.gov/),   |   Avalon (http://cnls.lanl.gov/avalon/), Beowulf Clusters at Los Alamos National Laboratory.
• JazzNet Project (http://math.nist.gov/jazznet/) PC Cluster, NIST.
• Computational Plant (CPlant) (http://www.cs.sandia.gov/cplant/) Sandia National Labs.
• Frankie_B. -- Pequeño Frankenstein. (http://www.fisica.uson.mx/carlos/LinuxClusters/proyecto_frankie.htm) Conglomerado de 8 PCs, armadas de partes de otras PCs "jubiladas". Departamento de Física, Universidad de Sonora.

Herramientas de Software para la Construcción de Clusters

• SourceForge.net Clustering Foundry. (http://clustering.foundries.sourceforge.net/).
• NPACI Rocks
• High Performance Computing Channel (http://hpc.devchannel.org/)
• Atlas Project (http://atlas-64.sourceforge.net/)
• OpenMosix (http://openmosix.sourceforge.net/)
• System Imager (http://systemimager.org/)
• Ganglia (http://ganglia.sourceforge.net/)
• Open Source Cluster Application Resources - Oscar (http://oscar.sourceforge.net/)
• Cluster Command Control C3 (http://www.csm.orn.gov/torc/C3/)
• The Message Passing Interface - MPI standard (http://www-unix.mcs.anl.gov/mpi/)
• LAM / MPI - Parallel Computing (http://www.lam-mpi.org/)
• MPI The Complete Reference Book, M. Snir, S. Otto, S. Huss-Lederman, D. Walker, J. Dongarra. (http://www.netlib.org/utk/papers/mpi-book/mpi-book.html)
• OpenMP - Simple, Portable, Scalable SMP Programming (http://www.openmp.org/)
• Linux Utility for Cluster Installation - LUI (http://oss.software.ibm.com/developerworks/projects/lui/)
• Maui Scheduler (http://supercluster.org/maui/)
• MPICH - A portable implementation of MPI (http://www-unix.mcs.anl.gov/mpi/mpich/)
• OpenSSH (http://www.openssh.com/)
• OpenSSL (http://www.openssl.org/)
• Portable Batch System - PBS (http://www.openpbs.org/)
• RAID and Data Protections for Linux (http://linas.org/linux/raid.html)

Documentación de Linux relacionada con el tema

• Linux Cluster HOWTO

  Explica cómo configurar Clusters de Linux para cómputo de alto rendimiento.
  
  

• Beowulf HOWTO

  Este documento introduce a la arquitectura de una Supercomputadora Beowulf y proporciona la información sobre programación en paralelo, incluyendo ligas a más documentos y páginas Web.
  
  

• Home Supercomputing with Linux Applied Synergetics, Pondermatic IV.
  
  
• Linux Parallel Processing HOWTO

  El procesamiento en paralelo se refiere, al concepto de acelerar el tiempo de ejecución de un programa subdividiéndolo en fragmentos múltiples que pueden ser ejecutados simultáneamente, cada uno en su propio procesador. Un programa que está siendo ejecutado en N procesadores puede correr N veces más rápido que si corriera en un solo procesador.

  Este documento discute los cuatro métodos que se encuentran disponibles para los usuarios de Linux: Sistemas Linux SMP, Clusters de sistemas Linux en red, ejecución en paralelo de instrucciones de multimedia (i.e. MMX), y procesadores (paralelos) adheridos en un sistema Linux.
  
  

• The Software-RAID HOWTO, Jakob Østergaard.
  
  
• Network Boot and Exotic Root HOWTO, Brieuc Jeunhomme.

  Explica como configurar un servidor Linux para proveer las necesidades que requieren para iniciar y operar los clientes sin discos sobre una red IP.
  
  

• Proyecto Etherboot. Paquete de software para crear imágenes ROM que pueden bajar software via una red Ethernet para ser ejecutada en una computadora x386.

Herramientas y Software para Cómputo en Paralelo

• Designing and Building Parallel Programs, Ian Foster. (http://www-unix.mcs.anl.gov/dbpp/)
• NETLIB (http://www.netlib.org/)
• NHSE - National High Performance Exchange (http://www.nhse.org/)
• HPC - Netlib High Performance Math Software (http://www.nhse.org/hpc-netlib/)
• PTLIB - Parallel Tools Library (http://www.nhse.org/ptlib/)
• GSL - GNU Scientific Library (http://www.gnu.org/software/gsl/)
• Página de herramientas para pruebas de rendimiento  (http://www.mfn.unipmn.it/~mino/cluster/benchmarks/)
• Herramientas LINPACK para pruebas de rendimiento  (http://www.netlib.org/benchmark/hpl/)
• Parallel Tools (http://www-unix.mcs.anl.gov/dbpp/tools.html)
• High Performance Fortran (http://www-unix.mcs.anl.gov/dbpp/web-tours/hpf.html)
• Fortran M (http://www-fp.mcs.anl.gov/fortran-m/fm_prog_v2.0/)

Programas de Software de Aplicaciones Científicas

• NAMD Scalable Molecular Dynamics. Biomolecular Structures - Modeling, Structure Analysis, and Structure Databases. Theoretical Biophysics Group, University of Illinois at Urbana-Champaigne and Bekman Group.
• Ver: Software en NPACI.

Noticias sobre Clusters

• Clusters TOP 500 (http://clusters.top500.org/)
• Linux High Performance Computing. (http://www.linuxhptc.com/).
• Beowulf Underground (http://www.beowulf-underground.org/)
• hispaCluster (http://www.hispacluster.org/)
• Clusters en México (http://clusters.unam.mx/)
• Google Usenet News Groups (http://groups.google.com/)
• comp.parallel (MPI, PVM)
• comp.distributed

Congresos, Escuelas y Reuniones

• Grid 2002 (http://www.gridcomputing.org/). Conference on Grid Computing 2002, Baltimore MD.
• CCGrid 2003 (http://www.ccgrid.org/). IEEE International Symposium on Cluster Computing and the Grid, Tokyo, Japan.

Comentarios y/o Observaciones envíelas a:

E-mail: carlos@fisica.uson.mx

Ultima actualización: 28 de Septiembre de 2002