Tutorial Básico de Freej

FreeJ es un mezclador de visiones: un instrumento digital para la manipulación de video en tiempo real y que es usado en la danza, teatro, veejaying, streming online, la visualización médica y la TV.

Ejecuta un motor de video en el cual múltiples layers pueden ser filtrados a través de cadenas de eventos que luego pueden ser mezclados con imágenes, cine, cámaras en vivo, generadores de particulas, texto rotativo y gráficos de vectores.

Toda la mezcla de videos que resulta puede ser proyectada en una pantalla, comprimido como si fuera una película de cine, y también transmitido por internet.

FreeJ puede ser controlado local o remotamente, incluso desde múltiples lugares al mismo tiempo usando su interfaz tipo consola ascii. Las operaciones pueden ser escritas en javascript y lanzadas con un teclado, un mouse, controladores MIDI, joysticks, clientes OSC, Wiimotes y otros dispositivos.

El código fuente de FreeJ está escrito en Portable C y en C++. Funciona en la mayoría de las plataformas soportadas por el compilador C de GNU, incluyendo procesadores para 32 y 64bits, PwerPC y varios formas de ARM.

FreeJ está liberado bajo la Licencia Pública General GNU (v3).

CARACTERÍSTICAS

• lee y renderea layers desde múltiples fuentes: webcams, TV, videos divx/avi, imágenes, archivos de texto plano, y mucho mas
• puede generar video Ogg/Theora, grabarlo a un archivo local y transmitirlo en vivo a un servidor Icecast.

• puede ser controlado remotamente: VJoE -VeeJay en Ethernet

• puede ser escrito usando javascript orientado a objetos
• soporta los plugins de video frei0r y freeframe
• tiene un motor de video muy eficiente con layers anidados
• consola tipo Emacs/Vi con atajos de teclado y autocompletado
• múltiples controladores al mismo tiempo (Midi,Joystick etc.)
• Código 100% Libre y Abierto, código GCC 4 portable y acorde con otros.

HISTORIA

Este software comenzó a ser desarrollado por Jaromil como un instrumento digital para usarlo en performances de danza-teatro. Desde el año 2001 el desarrollo consiguiente tomó inspiración de varios artistas y programadores: Andreas Schiffler, Roberto Paci Dalo', Tom Demeyer, Francescopaolo Isidoro, Kentaro Fukuchi, Luigi Pagliarini, Isabella Bordoni, por nombrar tan solo algunos.

¡Libera el VeeJay! fue el primer slogan de este software.

En 2003 Kysucix se unió al desarrollo contribuyendo con la capacidad para transmitir y ayudando a incluir el parser de javascript. El ha utilizado FreeJ en instalaciones interactivas mientras trabajaba con el Studio Azzurro.

Desde el año 2004 se recibe el apoyo del Netherlands Media Art Insitute.

En el año 2005 Mr. Goil se unió al desarrollo escribiendo controladores programables, revisando el entorno del script y agregándole mas características.

En 2007 la iniciativa austriaca Netculture lab apoyó a Jaromil y Mr.Goil para desarrollar BeTV con lo que se mejora la escritura y el streaming, con una mayor limpieza del código y un soporte más amplio para los plugins de video.

En 2008 Jaromil y Mr.Goil se reunieron regularmente en sesiones de code lo que rápidamente llevó el proyecto hacia el lanzamiento de la versión estable 1.0 del motor FreeJ y del API para javascript. Al mismo tiempo el desarrollador Caedes de Blender2Crystal experimenta con binding para python y usa el motor de FreeJ en un entorno 3d.

Por la primera vez desde su inicio, FreeJ es utilizado en varios performances, instalaciones interactivas y transmisiones de TV en línea, además de que se utiliza en visualizaciones y análisis médicos.

Los desarrolladores están muy interesados en conocer proyectos y propuestas para mantener estas actividades de desarrollo y así poder involucrar a mas desarrolladores. Si te interesa, por favor intégrate a nuestra lista de correos en http://lists.dyne.org y sé parte de nuestra historia.

INICIAR

Para iniciar con FreeJ puedes mirar también los archivos README, INSTALL y otros mas que son distribuidos con otros paquetes del código fuente. También puedes mirar la documentación en línea disponible en http://freej.dyne.org

Los mas poderosos usos de FreeJ envuelven el script para la interacción en vivo con dispositivos externos y con la composición de video.

Most powerful uses of FreeJ involve scripting for live interaction with devices and video compositing, still a first look at the console controller can give an initial picture of how the software works.

Los tutoriales, ejemplos y referencias sobre el script están disponibles en el sitio web junto con el código fuente que se distribuye; los puedes encontrar en los direcotorios /doc y scripts/. Las distribuciones GNU/Linux normalmente empaquetan estos archivos dentro de /usr/share/freej y /usr/doc/FreeJ*

Como las sugerencias acerca del desarrollo son bienvenidas, integrate a la lista de correos http://lists.dyne.org y dejanos saber tus impresiones e ideas.

Objetivos del Manual

En esta sección tu aprenderás:

• a instalar Freej;
• cómo usar FreeJ para mostrar videos e imágenes estáticas;
• cómo usar mas de un video, usando layers;
• cómo mezclar layers unos con otros;
• cómo aplicar efectos visuales a los videos que se muestran;

Para eso asumimos que tu:

• puedes usar una línea de comandos GNU/Linux;
• harás todos los ejercicios de este tutorial -si únicamente lo lees no aprenderás nada. ¡Tienes que poner las manos encima!;
• nos comunicarás cualquier problema, comentario y sugerencia para que podamos mejorar este tutorial.

CONTENIDO

• instalacion

• el primer inicio -- cómo iniciar y detener freej

• intefaz de usuario -- qué es cada cosa en freej

• mostrando videos con freej

• usando layers

• mezclando los videos (comienza la diversión)

• agregando transparencias

• usando efectos -- Básicos

• desabilitando y borrando efectos

INSTALACION

Requirimientos

Para compilar y jecutar FreeJ es necesario tener:

1. un sistema activo GNU/Linux o Darwin/OSX -> mira la documentación en README.OSX

2. librerías SDL http://www.libsdl.org

3. librerías PNG http://www.libpng.org

4. librerías S-LANG http://www.s-lang.org

Algunas otras librerías son opcionales y muy recomendables de tener para aprovechar todas las características implementadas en FreeJ, en particular las librerías Ogg/Vorbis/Theora disponibles en http://www.xiph.org

Cómo instalar

Usuarias GNU/Linux

Existen paquetes Debian y Ubuntu listos para instalar. Las versiones en desarrollo actualizadas con los recientes desarrollos son publicadas también en: http://launchpad.org/~jaromil/+archive

En Gentoo es posible también 'emerge freej'

Usuarias Apple/OSX

Paquetes binarios de FreeJ para OSX deberían estar disponibles en el sitio web http://freej.dyne.org, aunque pueden estar un poco desactualizadas y limitadas. También es posible compilar FreeJ desde las fuentes siguiendo lo que se indica en el archivo README.OSX y usando XCode, MacPorts y Fink.

En caso de que seas una programadora talentosa del OSX por facor considera ponerte en contacto con nosotros para contribuir a mejorar la plataforma para Apple de este software, ya que hay mucho que hacer todavía.

Usuarias Windlows

Ninguno de nosotros tiene ganas de compilar FreeJ en la plataforma M$, pero hay una manera fácil y rápida de experimentar con este software usando el disco en vivo dyne:bolic, que permite probar Freej tener que instalar nada, solo arráncalo.

• dynebolic live CD.

  

Usuarias de consolas de Juego

Se han realizado exitosos experimentos en consolas como GP2SX y NintendoDs. Debería ser posible ejecutar FreeJ en otros dispositivos incrustrados y estamos muy interesados en hacerlo, así que ponte en contacto con nosotros si tu también lo estás

Instalando desde el código fuente

• So yo' smart, huh? I thou' yo' head woul' be biggah! (Idiocracy, Mike Judge, 2006)

x86 PC

Antes que nada asegúrate de tener:

• todas las librerías y herramientas requeridas:

cdbs, libtool, flex, bison, libsdl-dev, libpng-dev, libfreetype6-dev, libfontconfig-dev, libogg-dev, libvorbis-dev, libjpeg-dev, libslang2-dev, libtheora-dev, libavcodec-dev, libavformat-dev, libswscale-dev, libunicap2-dev, libbluetooth-dev, fftw3-dev, libjack-dev, libasound-dev, libhtml-template-perl, python-dev, swig

Si vas a crear paquetes Debian, necesitas tambien debhelper and pkg-config

POR FAVOR FIJATE: SE REQUIERE automake 1.9 - no funciona con una versión diferente (estamos trabajando fuertemente en esto).

• Un sistema activo GNU/Linux con X o framebuffer de video

• liberías SDL http://www.libsdl.org

• liberías PNG (compilar con soporte para _ZLIB_ ) http://libpng.org

• Para tener algunos mas de los filtros optimizados assembler mmx necesitas NASM: NASM netwide assembler compiler http://sf.net/projects/nasm

luego diríjete hacia filters/nasm-x86 y tecela

make

copia a mano los filtros *.so filters en el directorio ~/.freej/ de tu home y estarás listo para el rock'n roll!

Ahora, descarga la versión estable reciente de freej desde

http://ftp.dyne.org/freej

extrae el archivo fuente y compilalos:

   $ tar xvfz freej.tar.gz
   $ cd freej
    (si estás leyendo este archivo desde las fuentes, comienza desde aquí)
   $ ./configure
   $ make
   $ sudo make install

esto instalará:

• los plugins de efectos en /usr/local/lib/freej/
• los binarios de freej en /usr/local/bin/

(o cualquier otro prefijo que configures en vez de la ubicación predeterminada /usr/local)

Para prenderlo solo teclea

freej

¡y es todo!

Darwin/OSX

Por favor lee el archivo README.OSX

desde paquetes debian

Asumiendo que puedes

apt-get install freej

y tener un FreeJ precompilado, lo mejor que puedes hacer para exprimir lo mejor de tu maldita compu es compilar el software con optimizaciones específicas para la máquina!

El script de configuración adivinará las mejores optimizaciones al compilar flags para tu CPU.

Los siguientes comandos son entonces necesarios para completar tu entorno. Desde adentro del directorio de las fuentes de freej tienes que hacer:

sudo apt-get install autoconf automake1.9
sudo apt-get build-dep freej
dpkg-buildpackage -rfakeroot

INSTALAR DESDE EL REPOSITORIO GIT

• (I know shit's bad right now with all that starvin' bullshit. And the dust storms. And we runnin' out of French Fries and burrito coverings. But I got a solution. - Idiocracy, Mike Judge, 2006)

Asumiendo que cuentas con una distribución Debian/Ubuntu (para otras distros puede haber algunas diferencias) con todas las herramientas necesarias y todas las librerías de desarrollo instaladas, por ejemplo build-essential, las librerías indicadas arriba, etc.) :

Necesitas instalar git:

apt-get install git-core

Luego tienes el código:

git clone git://code.dyne.org/freej.git

Luego de esto tu tendrás un directorio "freej". Entra y haz esto:

./autogen.sh

Lo que creará todos archivos de configuración necesarios (puede ser que tengas que instalar algunas librerías faltantes o instalar la versión requerida de automake 1.9). Al mismo tiempo esto ejecuta el script "configure".

Si necesitas activar/desactivar algo, relazna "configure" usando tus opciones favoritas.

Y cuando termines:

make && sudo make install 

¡Eso es todo!

Si quieres experimentar con video en vivo, asegúrate de tener una cámara trabajando y activarla desde la configuración del BIOS (así es por ejemplo para eeepc 701), de otra manera no funcionará

Los primeros pasos

Crea un directorio, por ejemplo "freej_tmp". Vamos a colocar algunas imágenes, videos, etc en este directorio y jugaremos dentro:

 mkdir freej_tmp
 cd freej_tmp

Descarga esta imagen al directorio freej_tmp. Ahora lanza freej:

 freej ipernav.png 

Como resultado, freej comienza y muestra la imágen ipernav.png.

Interfaz de usuaria

Freej consiste en dos ventanas:

• ventana de salida – es esta la ventana de lo que estamos mostrando, o sea nuestros videos, imágenes, etc.

• ventana de consola – esta es la ventana que se usa para interactuar con freej – darle comandos, cargar imágenes, videos, etc

  

Desde la ventana de consola teclea ctrl-h. Verás una lista de atajos.

Como puedes ver, [ctrl+c] significa salir. Presiona [ctrl+c]. Se te pedirá confirmar que realmente quieres salir. Teclea yes [enter]

un poco mas de diversión – videos

Hace poco usamos solamente imágenes estáticas, no muy divertido. Pero del mismo modo podemos usar un video.

Descarga este video al directorio freej_tmp. Luego inicia freej:

 freej kury.avi

Como resultado, freej comienza y muestra el video kury.avi.

ahora termina freej (¿recuerdas? [ctrl+c]).

Mas layers

Podemos cargar tanto con imágenes estáticas como con imágenes en movimiento o videos.

Comienza freej con una de cada una:

 freej kury.avi ipernav.png 

Como puedes ver, solo el video es visible y la imágen estática - el archivo ipernav.png- es invisible. Vamos entender porqué...

En FreeJ cuando tenemos abiertas dos imágenes (una estática y otra en movimiento), tenemos dos layers.

Puedes ver la lista de layers en la consola. Como puedes ver, estos layers son llamados VID (que significa: video layer) y IMG (layer de imágen estática).

La lista de layers también se muestra en la ventana de salida. Como puedes ver en la siguiente ilustración, el layer del video está por encima del layer de la imágen estática. Por eso es que no podemos ver la imágen.

Mira la ventana de la consola. Como puedes ver, uno de los layers (VID) está resaltado. Ese es layer activo. Puedes encontrar información mas detallada sobre cada layer arriba de la ventana de consola.

Allí puedes ver el nombre del archivo (kury.avi) y algunos datos mas, los cuales analizaremos después.

Fíjate que current layer no significa layer superior o el layer que ahora es visible. Current layer significa solo layer actual.

Estando en la ventana de consola, puedes usar las flechas izquierda y derecha para cambiar el layer actual. Presiona la tecla de flecha derecha para cambiar el layer actual hacia el layer IMG. Fíjate que ahora en la parte superior de la ventana de consola puedes ver mas detalles del layer de imágen estática.

Estando en la ventana de consola, puedes usar las teclas page up y page down para posicionar los layers uno encima de otro. Por lo tanto, cuando el layer actual es IMG presiona page up. Como puedes ver la imágen estática se coloca arriba, dejando la imágen estática visible en tanto que el video del pollito se vuelve invisible.

Cierra freej (con ctrl+c, como recordarás).

algunas palabras acerca de los comandos, los parámetros y el autocompletado

Algunos de los comandos de consola (p.e. CTRL-B, CTRL-E) pueden aceptar parámetros. Para mostrarlos usa el acompletado con tan solo presionar TAB.

Por ejemplo, presionando CTRL-B tienes:

 [*] select Blit mode for the selected Layer - press TAB for completion:

y asi, presionando TAB, obtienes:

 [*] List available blits starting with ""
 RGB    ADD     SUB     MEAN
 ABSDIFF        MULT    MULTNOR DIV
 MULTDIV2       MULTDIV4        AND     OR
 XOR    RED     GREEN   BLUE
 REDMASK        GREENMASK       BLUEMASK        NEG
 ADDB           ADDBH   SUBB    SHL
 SHLB   SHR     MULB    BIN
 SDL    ALPHA   SRCALPHA        CHROMAKEY

Cuando eliges algo, como un filtro (presionando CTRL-E), puedes también usar el autocompletado con TAB:

 [*] add new Effect - press TAB for completion:
 3dflippo       Brightness      bw0r    Cartoon
 Contrast0r     delay0r Distort0r       Equaliz0r
 Flippo Gamma   Glow    Hueshift0r
 Invert0r       Mask0Mate       nosync0r        pixeliz0r
 rotozoom       Saturat0r       scanline0r      Sobel
 Squareblur     TehRoxx0r       Threshold0r     Twolay0r
 Vertigo        Water

Esto te dará la lista de todos los efectos.

mezclando dos videos

Como dijimos anteriormente, freej es para mezclar imágenes. Ahora vamos hacer eso.

Descarga otro video en el directoriofreej_tmp y luego levanta freej:

 freej kury.avi term.avi 

y tenemos como resultado que el video kury.avi está en el layer superior y visible. term.avi está en el layer inferior y por eso está invisible.

Ahora presiona CTRL-B y escribe red en la ventana de salida. El efecto debería verse así:

Con esto hacemos un red blit en el layer activo, puedes ver mas sobre esto en los detalles del layer en la parte superior de la ventana de consola.

Como sabes cada imágen en una pantalla de computadora tiene 3 canales: rojo, verde y azul. Red blit significa que solo el canal rojo del layer kury.avi es visible. Los canales verde y azul de este layer se vuelven transparente, por lo tanto podemos ver:

• el canal rojo de kury.avi

• el canal verde de term.avi

• el canal azul de term.avi

De manera similar podemos usar blits verdes o azules tan solo eligiendo green o blue respectivamente como parámetros para CTRL-B. Incluso puedes intentar usar otros blits de la lista. ¡Juega a prenderlos y apagarlos!