Pregunta Error: jarfile no válido o dañado sbt / sbt-launch-0.13.5.jar


He estado tratando de instalar la chispa usando el tutorial y cada vez que ejecuto el comando sbt / sbt assembly, aparece el error "Error: jarfile no válido o dañado sbt / sbt-launch-0.13.5.jar"

He intentado todo: por separado, agregué el archivo sbt a la carpeta sbt en la carpeta de chispa, instalé sbt individualmente, comprobé la descarga y la reinstalé de nuevo, pero fue en vano. ¿Algún consejo sobre lo que estoy haciendo mal? Gracias.


9
2017-07-23 18:05


origen


Respuestas:


Ok, después de jugar un rato finalmente lo conseguí y espero que esto también funcione para ti. Ese tutorial genera chispa, donde proporcionan binarios preconstruidos. Estoy usando Spark 1.2.0 al igual que una nota (1.4.1 no funcionaría para mí)

Esto está en Ubuntu 15.04 pero debería funcionar en 14.04 de la misma

1) Elimine las siguientes líneas de su bashrc

export SCALA_HOME=/usr/local/src/scala/scala-2.10.4
export PATH=$SCALA_HOME/bin:$PATH

2) Retire y vuelva a instalar Scala

sudo rm -rf /usr/local/src/scala
# The following line is only needed if you installed scala another way, if so remove the #
# sudo apt-get remove scala-library scala
wget http://www.scala-lang.org/files/archive/scala-2.11.7.deb
sudo dpkg -i scala-2.11.7.deb
sudo apt-get update
sudo apt-get install scala

3) Descargar Preconstruido Chispa y extracto

wget http://d3kbcqa49mib13.cloudfront.net/spark-1.2.0-bin-hadoop2.4.tgz
tar -xzvf spark-1.2.0-bin-hadoop2.4.tgz 

4) Ejecutar chispa-shell

cd spark-1.2.0-bin-hadoop2.4/
./bin/spark-shell

Fuentes (básicamente donde he leído, esta solución ha sido de prueba y error)

https://chongyaorobin.wordpress.com/2015/07/01/step-by-step-of-installing-apache-spark-on-apache-hadoop/
https://gist.github.com/visenger/5496675


32
2017-07-23 20:19



Si ha descargado el paquete de chispas de http://d3kbcqa49mib13.cloudfront.net/spark-1.1.0.tgz luego verifique el archivo - "sbt / sbt-launch-0.13.5.jar". Si solo contiene contenido html pequeño (5-6 líneas), entonces necesita descargar el archivo jar manualmente. Este archivo html solo indica que no se encontró el archivo jar requerido. Puede seguir los siguientes pasos para centos:

  1. Descargue jar de forma manual:
    wget http://dl.bintray.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.1/sbt-launch.jar ./sbt/sbt-launch-0.13.5.jar 
  2. Impedir la descarga automática del archivo jar:
    sed -i '47,68s/^/#/' sbt/sbt-launch-lib.bash
  3. Instalar chispa de nuevo:
    sbt/sbt assembly 

Funcionó para mí sin alterar la instalación scala. Espero eso ayude.


2
2017-09-20 07:31



La secuencia de comandos sbt no se descarga correctamente sbt-launch-0.13.5.jar porque debe haber algún problema con las URL que está utilizando. Como resultado, el archivo que descarga contiene solo un encabezado HTML (marchita 400 o 302 códigos). Hasta que se encuentre disponible una mejor solución, como solución alternativa, descargaría manualmente sbt-launch-0.13.5.jar de antemano.


1
2017-08-04 19:52



En el SPARK_HOME / sbt / sbt-launch-lib.bash script reemplazar la línea 53 a la línea 57 con siguiente

if hash curl 2>/dev/null; then
  (curl --fail --location --silent ${URL1} > ${JAR_DL} ||\
   (rm -f "${JAR_DL}" && curl --fail --location --silent ${URL2} > ${JAR_DL})) && \
   mv "${JAR_DL}" "${JAR}"
elif hash wget 2>/dev/null; then
  (wget --quiet ${URL1} -O ${JAR_DL} ||\
   (rm -f "${JAR_DL}" && wget --quiet ${URL2} -O ${JAR_DL})) &&\
   mv "${JAR_DL}" "${JAR}"
else

Luego intente de nuevo, ejecute el comando sbt assembly

sbt/sbt assembly

El método más sencillo es instalar sbt manualmente de la siguiente manera

descargar el archivo sbt deb

wget http://dl.bintray.com/sbt/debian/sbt-0.13.5.deb

Entonces corre

sudo dpkg -i sbt-0.13.5.deb
sudo apt-get update
sudo apt-get install sbt

luego construye usando sbt assembly en lugar de sbt/sbt assembly desde la carpeta de inicio de chispa


0
2017-08-06 07:07



@Frozenfire, no estoy seguro de si es posible, pero el Documentación de Spark dice :

Para la API de Scala, Spark 1.4.1 usa Scala 2.10. Necesitarás usar un   versión compatible de Scala (2.10.x).

Y me pregunto si sería la razón por la que tienes este problema:

Estoy usando Spark 1.2.0 al igual que una nota (1.4.1 no funcionaría para mí)

Porque lo haces:

sudo dpkg -i scala-2.11.7.deb

que descarga e instala scala-2.11.7.

¡No lo sé, pero esto podría ser una pista!

PS1: esto es más un comentario a la respuesta de Frozenfire, pero no puedo comentar debido a la falta de reputación y quería compartir esto.

PS2: Edificio para Scala 2.11


0
2017-09-03 11:06