Tecnología, Internet y juegos
255 meneos
3626 clics

Planificador del kernel de Linux: una década de procesadores desaprovechados [ENG]

Se publican los parches para el kernel de Linux que solucionan los problemas descritos en el paper “The Linux Scheduler: a Decade of Wasted Cores” (www.ece.ubc.ca/~sasha/papers/eurosys16-final29.pdf 365 KB), donde se describen los problemas que tiene el planificador (scheduler) del kernel Linux al desaprovechar el tiempo de proceso teniendo hilos en la cola de espera mientras hay procesadores libres.

| etiquetas: planificador , scheduler , linux kernel , kernel , procesador desaprovechado
116 139 4 K 382
87 comentarios
116 139 4 K 382
Comentarios destacados:                    
  1. tul #1 tul
    se sabe cuando (o si) llegaran a la rama oficial?
    3 K 37
  2. mr_b #2 mr_b
    #1 No sé qué tal le habrá sentado el paper a Linus Torvalds… :troll:
    4 K 43
  3. kumo #3 kumo
    Cores, que no procesadores. Puede inducir a error.
    13 K 108
  4. tul #4 tul
    #2 alguien ha confirmado la mejora del rendimiento con el parche este? si no he leido mal los ficheros llevan en github un mes y no habia escuchado nada hasta el momento. tu lo has probado?
    1 K 24
  5. mr_b #5 mr_b
    #4 En teoría es el propio paper el que lo “demuestra”. Claro que ahora faltaría la revisión por pares.
    4 K 59
  6. tul #6 tul
    #4 hombre a eso me referia, si habia pruebas realizadas por terceros no vinculados al paper.
    1 K 24
  7. mr_b #7 mr_b
    #6 Pues no lo sé. Habrá que investigar más.
    0 K 17
  8. #8 --280860-- *
    Por una vez que windows lo hace mejor pero en windows 8 en adelante el win 7 los micros AMD FX de 8 nucleos no iban muy finos que digamos hasta un linux los usaba mejor.
    Esto es los fabricantes de harware que quieren vender.
    5 K 31
  9. eli_baley #9 eli_baley
    #8 He tenido que releer tu comentario, y aún así creo que no lo entiendo.
    Pon signos de puntuación, hombre...
    14 K 107
  10. #10 --280860-- *
    #9 Digo que el uso de los multi cores en windows hasta hace nada era peor incluso, solo windows 8 y 10 mejoraron ese aspecto.
    3 K 40
  11. #11 --491879--
    #4 tengo el kernel 4.4 hace tiempo, ¿yo ya lo tengo?
    1 K 17
  12. #12 quatrox4
    han puesto en github un borrador del código,
    no han subido los programas de test y además hay un error garrafal en el parche
    missing_sched_domains_linux_4.1.patch
    en un procedimiento declaran una variable y la usan en otra parte que no tiene ninguna relación,

    si quieren contribuir al código libre deberían probar el código y presentar algo que ya esté bastante bien
    4 K 45
  13. #13 --109791--
    Tampoco parece que este siendo un problema muy grave viendo las mejoras que consiguen.
    Ahora bien, entiendo que esto llevará a un mejor soporte multicore en las distribuciones y que para los que tenemos equipos potentes no supondra un avance notable en el rendimiento.

    Con ssd y 8gb de ram que puede ir mas rapido todo? Medio segundo? Ni me entero.
    1 K 18
  14. #14 --324102--
    #13 No es tanto la herramienta que tengas, sino el problema al que te enfrentas con esa herramienta.
    0 K 8
  15. #15 --127714--
    No lo creo, con lo potente que es Linux.
    0 K 11
  16. briarreos #16 briarreos *
    #13 No te enteras hasta que has de hacer 100000 operaciones en las que cada una tarda "medio segundo más". Lo cual supone 14 horas más.
    15 K 126
  17. mangrar #17 mangrar
    #13 Hombre con SSD mejora el rendimiento mucho mas que medio segundo, son varios segundos, comprobado por mi mismo cuando le puse una SSD a mi Mac Mini de 2009.
    4 K 39
  18. #18 --76095--
    Entre la terminología técnica y vuestra sintaxis no me he enterado de una puta mierda.
    1 K 15
  19. angelitoMagno #19 angelitoMagno
    No entiendo. ¿Linux no estaba aprovechando las ventajas de tener varios cores? Me resulta difícil de creer que en 10 años nadie hubiera corregido esto.
    0 K 16
  20. mangrar #20 mangrar
    Propongo cambiar el título de la notícia para que llegue a destacada:

    Planificador del kernel de Linux: una década de procesadores inutilizados que Podemos aprovechar [ENG] :troll:
    4 K 11
  21. #21 --282617--
    #2 Me siento honrado de ser quien ponga esto en este hilo. Un clásico.  media
    7 K 68
  22. cosmonauta #22 cosmonauta
    #10 Hace ya unos años que existe windows8....
    0 K 10
  23. #23 --35057--
    Debe ser errónea, estamos hablando de Linux, el SO tan perfecto que solo pudo ser traído por los dioses.
    2 K -9
  24. Rubenix #24 Rubenix
    Si eso implica que todavía puede ir más rápido, entonces es una muy muy buena noticia.

    Es lo bueno del código abierto, no es que sea perfecto, pero que se pueda auditar y mejorar lo hace mejor.
    9 K 85
  25. #25 --23457--
    #3 Cierto, el título original habla de núcleos. Pero si el planificador no les asigna los hilos pendientes también se puede hablar de procesadores desaprovechados ;)
    3 K 41
  26. PauMarí #26 PauMarí
    #11 ayer puse 4.5.1 de Arch y me dió la impresión que el KDE iba más fino pero no me preocupé en mirar las novedades, la vedad.
    1 K 17
  27. #27 --23457--
    #13 No es una cuestión de transferencia de datos, sino de cálculo. En aplicaciones que realizan cálculos intensivos puede suponer una diferencia enorme.
    2 K 30
  28. #28 --23457-- *
    #18 Resumiendo:

     media
    14 K 124
  29. #29 --125581--
    #19 Antes ya se cargaron el "big SMP lock".
    2 K 35
  30. parrita710 #30 parrita710
    #23 Linux no es un SO.
    11 K 84
  31. yusavi #31 yusavi
    #21 Es realmente interesante cómo el gesto refleja realmente el sentimiento interno del muchacho. Yo cuando lo hago no consigo darle esa fuerza y vigor que transmite.
    3 K 24
  32. fusta #32 fusta
    #17 acabo de cambiar el chip de mi Mini de 2006 al ultimo que le puedo poner (Core 2 Duo T7200, 15€ en ebay!), y un SSD de 64Gb que me ha costado 30€, y parece que tengo máquina nueva, acabada de salir de la fábrica...
    2 K 25
  33. mangrar #33 mangrar
    #32 si, es brutal lo de los SSD. La verdad es que ya me iba lento con El Capitan, pero con el SSD, vuela.
    0 K 10
  34. PauMarí #34 PauMarí *
    #18 que según los papeles un coche tiene 6 cilindros y 220 CV pero resulta que sólo utiliza efectivamente 5 cilindros por tanto resulta que solo tiene, pongamos, 180 CV efectivos, más que suficientes para su uso normal.
    Sobre la sintaxis no puedo ayudar, ya ves lo que hay.
    4 K 36
  35. zeioth #35 zeioth
    #24 Ademas es cojonudo, no solo lo ha investigado, sino que ademas ha desarrollado herramientas para ayudar a los programadores del kernel a mejorar el rendimiento. Se puede ser mas majete? xD
    3 K 32
  37. Rubenix #37 Rubenix
    #35 Ahora a esperar que Linus dé el visto bueno para integrarlo en el kernel. Mi Mint está esperando un nuevo parche. :-)
    1 K 27
  38. #38 GoDie
    #12 ¿alguien puede enlazar los insultos de linus al respecto ? :troll:
    11 K 89
  39. joffer #39 joffer
    #17 Pienso que no tiene nada que ver la mejora en acceso de dato a medio físico que el planificador de tareas.
    1 K 13
  40. #40 GoDie *
    #13 poco tiene que ver el SSD o la ram :palm:
    2 K 28
  41. #41 --449180--
    #13 En el ordenador de tu casa no lo notas, en la NASA verás la pechá de reír cuando se enteren de que los cálculos para el lanzamiento de la sonda se retrasan una semana. O que los resultados de ese mega estudio conjunto sobre física de partículas se retrasan meses.
    2 K 33
  42. #42 --507156--
    Bah. Esto con GNU/hurd no pasa :troll:
    1 K 25
  43. #43 --89888--
    #41 Pues supongo que el parche en cuestión conseguirá hacer que vuele el empleo de los cores, pero debe haber algún motivo por el que el top500 esté ya plagado de linux.
    1 K 19
  44. #44 --125581--
    #42 Cuidado con Hurd que puede ser el futuro. Hace 24 años decian lo mismo de Linux contra los Unix comerciales.
    3 K 36
  45. #45 GoDie *
    #19 Si que los utiliza, tiene que ver con un supuesto bug en el scheduler, que es el encargado de tratar los threads encolados y darles paso a los cores libres y otras cosas relativas a planificaciones de tareas, supuestamente en aplicaciones intensivas había un bug que provocaba un 13% de latencia en el que permanecían cores en estado idle durante y el scheduler no daba paso a esos threads encolados.


    La mejora de rendimiento para el usuario común serán cercana a un inmenso 0 muy posiblemente
    cc #4 #11 #26


    Dicho bug no quiere decir que funcionara mejor que windows, por que habría que ver que tal van dichas aplicaciones intensivas en windows, y dado que normalmente se utiliza linux en aplicaciones científicas debido a su mejor rendimiento, podemos deducir que aun con el bug seguramente fuera mejor dichas herramientas que windows xD cc #8
    10 K 102
  46. mangrar #46 mangrar
    #39 no, nada tiene que ver.
    0 K 10
  47. #47 --449180--
    #43 No he dicho en ningún momento que Linux no merezca estar ahí, mas bien he señalado el alcance que tiene en cosas muy grandes.
    0 K 11
  48. Dovlado #48 Dovlado
    #10 El problema es que el 8 tiene serios problemas en su gestión de red y el 10 se come la ram de forma absurda y misteriosa.

    En términos generales el 7 rinde mucho mejor. Y te lo digo yo que usa los tres ahora mismo con hardware creciente proporcionalmente a la versión :troll:
    3 K 46
  49. Dovlado #49 Dovlado
    Con Kolivas, propuso unos cambios en el planificador que mejoraban mucho su rendimiento. La respuesta del acomplejado de Linus, fue echarlo del proyecto.
    4 K 38
  50. #50 --125581--
    #49 Iba bien en multimedia, no en servidor.
    1 K 17
  51. #51 xosevp
    #44 Hurd es un zombi
    0 K 6
  52. mr_b #52 mr_b
    #50 Y por eso por defecto estaba el planificador que tiene ahora y en versiones de escritorio se ponía el otro. No entiendo por qué esos parches no están en el mainline.

    /cc #49
    0 K 18
  53. #53 --125581--
    #52 Porque simplemente usando un mejor planificador para E/S que para la CPU era suficiente en muchos casos.
    algo.ing.unimo.it/people/paolo/disk_sched/
    1 K 18
  54. #54 fayser
    #19 no es que no los aprovechase, es que en ciertas circunstancias no conseguía hacer uso del 100% de la capacidad de todos los cores, dejando tareas paradas durante algunos milisegundos cuando podían ser ejecutadas por algún core que estaba sin hacer nada.

    Como dice #45, no esperéis notarlo en el escritorio. Para llegar a esas circunstancias hace falta tener todos los cores al 100% y que además el planificador se quede "atascado", y con el parche hablan de mejoras de rendimiento en esos casos concretos de orden del 20%. En resumen, nada que vayas a notar.
    4 K 51
  55. jbko #55 jbko *
    #5 Habrá que esperar al paper de verdad, por ahora pone que lo envían a un proceeding de una conferencia, los cuales suelen tener una revisión más laxa que una revista científica.
    1 K 26
  56. jbko #56 jbko
    #8 Oye, ¿dónde dice que Windows lo hace mejor? la comparación la hacen con respecto al kernel sin parchear.
    0 K 8
  57. #57 --226642--
    #9 No eres lector multicore por lo que veo, que desaprovechao.
    0 K 7
  58. #58 lestat
    ¿Todavía seguís usando el Kernel de Linux?
    Yo cogí la primera versión y lo tunee, mejoré y recompilé y es el que uso desde hace años... xD

    </fantasma nivel 1990 como mínimo>
    0 K 7
  59. #59 GoDie *
    #54 el readme del git habla de segundos! no ms.

    Aunque me extraña un poco un bug de parones de segundos no descubierto e igual erraron ellos en el readme
    0 K 11
  60. fusta #60 fusta *
    #33 bueno el mío el pobre lo limitan al OS 10.7, pero vaya, puedo instalarle casi cualquier cosa. Pero vaya, va a estar conectado a la tele.. aguantará espero hasta que los contenido en UHD (y una nueva tele) sean el estándar :shit:
    0 K 6
  61. #61 quatrox4
    #38 lo puedo decir más claro,
    este código es un esquema de lo que ellos dicen que debería hacerse pero está tan mal que ni siquiera debe compilar,

    De ello se pueden deducir dos cosas:
    - O bien son unos incompetentes y no saben hacerlo mejor,
    - O quizás esperan que alguien les pague por liberar las modificaciones que han hecho sobre un código que ellos están usando gratis.
    Puede ser que ambas sean válidas,

    no creo que se hayan atrevido a mandarlo a los desarrolladores del kernel porque les hubieran banneado de por vida.

    Esto no es un insulto, es una suposición de lo que pasaría basada en anteriores historias de este mismo estilo.
    2 K 16
  62. #62 --89954--
    Luego el hosting te limita a un Centos 6 con kernel 2.6...
    0 K 7
  64. #64 --125581--
    #62 kernel 2.6 con parches de la rama 3.x .
    0 K 11
  65. #65 GoDie *
    #45 Definitivamente 0 por que el bug solo se da en supercomputadoras NUMA

    cc #4 #26
    0 K 11
  66. PauMarí #66 PauMarí
    #65 mmmm no es mi fuerte la arquitectura de CPUs pero además del i5, que no lo és, tengo algunos xeon que ahora mismo ni puñetera idea de como los ve el sistema como npi de si solo afecta o máquinas multi procesadores pero lo que tengo claro es que notarse dudo que se notaría, solo era una respuesta subjetiva.
    0 K 6
  67. cosmonauta #67 cosmonauta
    #62 Si el hosting te limita, cambia de hosting. Que para algo pagas.
    2 K 28
  68. #68 --375108--
    #65 Hay equipos de trabajo incluso domésticos con arquitecturas NUMA, por ejemplo cualquier equipo con una placa biprocesadora
    0 K 10
  69. ochoceros #69 ochoceros
    #32 Me extraña que no le puedas subir todavía más de procesador. Yo acabo de cambiar en mi portátil un T7200 por el T9500 y también tirado de precio. Y la diferencia en rendimiento se nota bastante, no ya por cache sino también por velocidad.
    0 K 8
  70. #70 --375108--
    #19 Si las usaba, pero siempre se puede mejorar. Por eso sale una versión nueva del kernel cada pocos meses
    1 K 17
  71. #71 rafael90 *
    #42 GNU/hurd no pasa (punto)
    0 K 9
  72. #72 GoDie *
    #68 Claro algo comun en computadoras personales. ?( :palm:

    que tengas un ordenador para computaciones de alto rendimiento en casa o sea domestico no quiere decir que sea un sistema de escritorio, solo que eres muy posiblemente gilipollas.
    7 K -19
  73. #73 --125581--
    #71 GuixSD va a integrar Hurd próximamente en su sistema. Considera GuixSD la distro FSF "de facto" de GNU/Linux, al integrar Guile y mucha de la filosofía de Stallman.
    0 K 11
  74. #74 --375108-- *
    #72 Primero el insulto te lo podías haber ahorrado, yo no te he insutado a ti, y segundo, que tu no lo uses no quiere decir que el resto de gente no lo use, no es algo raro un sistema biprocesador en ámbitos profesionales. Por ejemplo, cualquier Mac pro por decir un ordenador "conocido" lo puedes configurar con dos procesadores
    0 K 10
  75. #75 GoDie *
    #74 Yo no te he insultado xD si no sabes leer es tu problema.

    (salvo que seas de los que tengas un ordenador de varios procesadores en casa para navegar por internet y cascarte peras con youporn, entonces si, aunque yo no lo llamaría insulto tampoco
    si no un adjetivo para describirte)

    Yo estaba hablando de ordenadores personales o de escritorio analfabeto (ahora si) que ganaría 0. No para cálculos o temas específicos de empresa. :palm:

    Aprende a leer antes de entrar a comentar campeon.
    6 K -4
  76. #76 --375108--
    #75 la perra gorda para ti. Paso de tener debates con gente con la educacion en la punta del cipote, como es tu caso. ¿Sabes que es lo peor? Que mayormente llevas razon, es cierto que los sistemas NUMA no so demasiado habituales, pero tus asquerosas formas te pierden
    3 K 26
  77. javicid #77 javicid
    #5 #55 Es el EuroSys de este año. Una conferencia bastante buena. En informática los journals no tienen por qué tener una revisión más dura ni tener más prestigio que muchas conferencias.
    2 K 27
  78. #78 GoDie *
    #76 Tu comprensión lectora es el problema y el no saber reconocerlo.

    No necesito ganar ninguna "perra gorda"
    6 K -15
  81. Pepitorl #81 Pepitorl
    #79 El problema de los hosting es que si buscas algo barato (estilo ramnode, digitalocean o similares) para poner 4 mierdas, muchas veces son máquinas virtualizadas con openvz donde no puedes actualizar el kernel.

    Tengo algunas máquinas de ese estilo:
    Linux ------ 2.6.32-042stab102.9 #1 SMP Fri Dec 19 20:34:40 MSK 2014 x86_64 GNU/Linux
    0 K 6
  83. mangrar #83 mangrar
    #60 Yo cuando me limiten el mío, le pondré una distro de linux.
    0 K 12
  84. Pepitorl #84 Pepitorl
    #82 14$ 1 año de una máquina, ya de por si es muy barato, eso si, poca ram, poco hdd, pero para una web o un team speak va que chuta, y la red funciona mil veces mejor que la de algunos servidores dedicados que tengo en OVH
    0 K 6
  86. Pepitorl #86 Pepitorl
    #85 Ostias, han subido muchísimo los precios en ramnode, igualmente, código de descuento: 10% OFF ANY NEW SSD VPS! Coupon: SSD10

    www.ramnode.com/vps.php

    Tienen servers en NL
    0 K 6
  87. Pepitorl #87 Pepitorl
    #85 Se me olvidaba, tienen 1gbps y la verdad, va muy bien:
    www.speedtest.net/result/5271005143.png
    0 K 6
comentarios cerrados

menéame