[linux] 단일 호스트의 여러 glibc 라이브러리

설정 1 : 전용 GCC없이 자신의 glibc를 컴파일하여 사용하십시오

이 설정은 전체 GCC 툴체인을 다시 컴파일하지 않고 glibc로 빠르게 작동 할 수 있습니다.

그것뿐만 호스트 C 런타임 객체는 사용하지만 이는 신뢰성없는 crt1.o, crti.o그리고 crtn.oglibc에 의해 제공. : 이것은에서 언급 https://sourceware.org/glibc/wiki/Testing/Builds?action=recall&rev=21#Compile_against_glibc_in_an_installed_location 일이 멋진 추락하면 나는 놀라지 않을 것이다, 그래서 그 객체가, glibc는가에 의존 초기 설정을 놀랍도록 미묘한 방법.

보다 안정적인 설정은 아래의 설정 2를 참조하십시오.

glibc를 빌드하고 로컬로 설치하십시오.

export glibc_install="$(pwd)/glibc/build/install"

git clone git://sourceware.org/git/glibc.git
cd glibc
git checkout glibc-2.28
mkdir build
cd build
../configure --prefix "$glibc_install"
make -j `nproc`
make install -j `nproc`

설정 1 : 빌드 확인

test_glibc.c

#define _GNU_SOURCE
#include <assert.h>
#include <gnu/libc-version.h>
#include <stdatomic.h>
#include <stdio.h>
#include <threads.h>

atomic_int acnt;
int cnt;

int f(void* thr_data) {
    for(int n = 0; n < 1000; ++n) {
        ++cnt;
        ++acnt;
    }
    return 0;
}

int main(int argc, char **argv) {
    /* Basic library version check. */
    printf("gnu_get_libc_version() = %s\n", gnu_get_libc_version());

    /* Exercise thrd_create from -pthread,
     * which is not present in glibc 2.27 in Ubuntu 18.04.
     * /programming/56810/how-do-i-start-threads-in-plain-c/52453291#52453291 */
    thrd_t thr[10];
    for(int n = 0; n < 10; ++n)
        thrd_create(&thr[n], f, NULL);
    for(int n = 0; n < 10; ++n)
        thrd_join(thr[n], NULL);
    printf("The atomic counter is %u\n", acnt);
    printf("The non-atomic counter is %u\n", cnt);
}

다음과 test_glibc.sh같이 컴파일하고 실행하십시오 .

#!/usr/bin/env bash
set -eux
gcc \
  -L "${glibc_install}/lib" \
  -I "${glibc_install}/include" \
  -Wl,--rpath="${glibc_install}/lib" \
  -Wl,--dynamic-linker="${glibc_install}/lib/ld-linux-x86-64.so.2" \
  -std=c11 \
  -o test_glibc.out \
  -v \
  test_glibc.c \
  -pthread \
;
ldd ./test_glibc.out
./test_glibc.out

프로그램은 다음을 예상합니다.

gnu_get_libc_version() = 2.28
The atomic counter is 10000
The non-atomic counter is 8674

명령에서 적응 https://sourceware.org/glibc/wiki/Testing/Builds?action=recall&rev=21#Compile_against_glibc_in_an_installed_location 하지만 --sysroot그것은 실패했다 :

cannot find /home/ciro/glibc/build/install/lib/libc.so.6 inside /home/ciro/glibc/build/install

그래서 제거했습니다.

ldd출력 ldd은 방금 빌드 한 및 라이브러리가 실제로 예상대로 사용되고 있음을 확인합니다 .

+ ldd test_glibc.out
        linux-vdso.so.1 (0x00007ffe4bfd3000)
        libpthread.so.0 => /home/ciro/glibc/build/install/lib/libpthread.so.0 (0x00007fc12ed92000)
        libc.so.6 => /home/ciro/glibc/build/install/lib/libc.so.6 (0x00007fc12e9dc000)
        /home/ciro/glibc/build/install/lib/ld-linux-x86-64.so.2 => /lib64/ld-linux-x86-64.so.2 (0x00007fc12f1b3000)

gcc이전에 언급,하지만 난 그것을 해결할 방법을 알고하지 않는 나쁜 나의 호스트 런타임 개체가 사용 된 것을 컴파일 디버그 출력 쇼, 예를 들어, 그것은 포함 :

COLLECT_GCC_OPTIONS=/usr/lib/gcc/x86_64-linux-gnu/7/../../../x86_64-linux-gnu/crt1.o

설정 1 : glibc 수정

이제 glibc를 다음과 같이 수정하자 :

diff --git a/nptl/thrd_create.c b/nptl/thrd_create.c
index 113ba0d93e..b00f088abb 100644
--- a/nptl/thrd_create.c
+++ b/nptl/thrd_create.c
@@ -16,11 +16,14 @@
    License along with the GNU C Library; if not, see
    <http://www.gnu.org/licenses/>.  */

+#include <stdio.h>
+
 #include "thrd_priv.h"

 int
 thrd_create (thrd_t *thr, thrd_start_t func, void *arg)
 {
+  puts("hacked");
   _Static_assert (sizeof (thr) == sizeof (pthread_t),
                   "sizeof (thr) != sizeof (pthread_t)");

그런 다음 glibc를 다시 컴파일하고 다시 설치하고 프로그램을 다시 컴파일하고 다시 실행하십시오.

cd glibc/build
make -j `nproc`
make -j `nproc` install
./test_glibc.sh

hacked예상대로 몇 번 인쇄 된 것을 볼 수 있습니다.

이것은 우리가 실제로 컴파일 한 glibc를 호스트가 아닌 glibc를 사용했음을 확인합니다.

우분투 18.04에서 테스트되었습니다.

설정 2 : crosstool-NG 초기 설정

이 설정 1의 대안이며, 그것은 내가 지금까지 달성 한 가장 올바른 설정입니다 : 모든 것을 내가 C 런타임과 같은 개체를 포함하여 관찰 할 수있는만큼 지금까지 올바른지 crt1.o, crti.o그리고 crtn.o.

이 설정에서는 원하는 glibc를 사용하는 완전한 전용 GCC 툴체인을 컴파일합니다.

이 방법의 유일한 단점은 빌드 시간이 더 오래 걸린다는 것입니다. 그러나 나는 더 적은 것을 가진 생산 체제의 위험을 감수하지 않을 것입니다.

crosstool-NG 는 GCC, glibc 및 binutils를 포함하여 소스의 모든 것을 다운로드하고 컴파일하는 스크립트 세트입니다.

예. GCC 빌드 시스템이 너무 나빠서 별도의 프로젝트가 필요합니다.

crosstool-NG는 여분의 -Wl플래그 없이 실행 파일을 빌드하는 것을 지원하지 않기 때문에 완벽 하지 않습니다 . GCC 자체를 빌드 한 이후로 이상하게 느껴집니다. 그러나 모든 것이 작동하는 것처럼 보이므로 이는 불편한 일입니다.

crosstool-NG를 가져 와서 구성하고 빌드하십시오.

git clone https://github.com/crosstool-ng/crosstool-ng
cd crosstool-ng
git checkout a6580b8e8b55345a5a342b5bd96e42c83e640ac5
export CT_PREFIX="$(pwd)/.build/install"
export PATH="/usr/lib/ccache:${PATH}"
./bootstrap
./configure --enable-local
make -j `nproc`
./ct-ng x86_64-unknown-linux-gnu
./ct-ng menuconfig
env -u LD_LIBRARY_PATH time ./ct-ng build CT_JOBS=`nproc`

빌드에는 약 30 분에서 2 시간이 걸립니다.

내가 볼 수있는 유일한 필수 구성 옵션은 올바른 커널 헤더를 사용하기 위해 호스트 커널 버전과 일치시키는 것입니다. 다음을 사용하여 호스트 커널 버전을 찾으십시오.

uname -a

그것은 나를 보여줍니다 :

4.15.0-34-generic

그래서 menuconfig나는 :

• Operating System
  • Version of linux

그래서 나는 선택합니다 :

4.14.71

첫 번째 동일하거나 이전 버전입니다. 커널은 이전 버전과 호환되므로 이전 버전이어야합니다.

설정 2 : 옵션 구성

.config우리는 생성하는 것이 ./ct-ng x86_64-unknown-linux-gnu있다 :

CT_GLIBC_V_2_27=y

이를 변경하려면 다음을 menuconfig수행하십시오.

• C-library
• Version of glibc

를 저장하고 .config빌드를 계속하십시오.

또는 최신 git의 glibc를 사용하기 위해 자신의 glibc 소스를 사용하려면 다음 과 같이 진행 하십시오 .

• Paths and misc options
  • Try features marked as EXPERIMENTAL: true로 설정
• C-library
  • Source of glibc
    • Custom location: 예라고
    • Custom location
      • Custom source location: glibc 소스를 포함하는 디렉토리를 가리 킵니다.

glibc는 다음과 같이 복제되었습니다.

git clone git://sourceware.org/git/glibc.git
cd glibc
git checkout glibc-2.28

설정 2 : 테스트

원하는 툴체인을 구축했으면 다음을 사용하여 테스트하십시오.

#!/usr/bin/env bash
set -eux
install_dir="${CT_PREFIX}/x86_64-unknown-linux-gnu"
PATH="${PATH}:${install_dir}/bin" \
  x86_64-unknown-linux-gnu-gcc \
  -Wl,--dynamic-linker="${install_dir}/x86_64-unknown-linux-gnu/sysroot/lib/ld-linux-x86-64.so.2" \
  -Wl,--rpath="${install_dir}/x86_64-unknown-linux-gnu/sysroot/lib" \
  -v \
  -o test_glibc.out \
  test_glibc.c \
  -pthread \
;
ldd test_glibc.out
./test_glibc.out

올바른 런타임 객체가 사용되었다는 점을 제외하고는 모든 것이 설치 1에서와 같이 작동하는 것 같습니다.

COLLECT_GCC_OPTIONS=/home/ciro/crosstool-ng/.build/install/x86_64-unknown-linux-gnu/bin/../x86_64-unknown-linux-gnu/sysroot/usr/lib/../lib64/crt1.o

설정 2 : 효율적인 glibc 재 컴파일 시도 실패

아래 설명과 같이 crosstool-NG에서는 불가능한 것 같습니다.

방금 재건한다면;

env -u LD_LIBRARY_PATH time ./ct-ng build CT_JOBS=`nproc`

그런 다음 사용자 정의 glibc 소스 위치에 대한 변경 사항이 고려되지만 처음부터 모든 것을 빌드하므로 반복 개발에 사용할 수 없습니다.

우리가 할 경우 :

./ct-ng list-steps

빌드 단계에 대한 훌륭한 개요를 제공합니다.

Available build steps, in order:
  - companion_tools_for_build
  - companion_libs_for_build
  - binutils_for_build
  - companion_tools_for_host
  - companion_libs_for_host
  - binutils_for_host
  - cc_core_pass_1
  - kernel_headers
  - libc_start_files
  - cc_core_pass_2
  - libc
  - cc_for_build
  - cc_for_host
  - libc_post_cc
  - companion_libs_for_target
  - binutils_for_target
  - debug
  - test_suite
  - finish
Use "<step>" as action to execute only that step.
Use "+<step>" as action to execute up to that step.
Use "<step>+" as action to execute from that step onward.

따라서 우리는 glibc 단계가 여러 GCC 단계와 얽혀 있으며, 가장 주목할만한 것은 libc_start_files이전 단계이며 cc_core_pass_2, 이는 아마도 가장 비싼 단계 일 것입니다 cc_core_pass_1.

한 단계 만 만들려면 먼저 .config초기 빌드에 대해 “중간 단계 저장”옵션을 설정해야합니다 .

• Paths and misc options
  • Debug crosstool-NG
    • Save intermediate steps

그리고 당신은 시도 할 수 있습니다 :

env -u LD_LIBRARY_PATH time ./ct-ng libc+ -j`nproc`

그러나 불행히도 https://github.com/crosstool-ng/crosstool-ng/issues/1033#issuecomment-424877536에+ 언급 된대로 필요합니다.

그러나 중간 단계에서 다시 시작하면 설치 디렉토리가 해당 단계 동안의 상태로 재설정됩니다. 즉, libc를 다시 빌드 할 수 있지만이 libc로 빌드 된 최종 컴파일러는 없습니다 (따라서 libstdc ++와 같은 컴파일러 라이브러리도 없음).

기본적으로 여전히 재 구축이 너무 느려 개발에 적합하지 않으며 crosstool-NG를 패치하지 않고 이것을 극복하는 방법을 알지 못합니다.

또한 libc단계 부터 시작하여에서 소스를 다시 복사하지 않아이 Custom source location방법을 사용할 수 없게되었습니다.

보너스 : stdlibc ++

C ++ 표준 라이브러리에 관심이 있다면 보너스 : GCC libstdc ++ C ++ 표준 라이브러리 소스를 편집하고 다시 작성하는 방법?

답변

ImportError: /lib64/libc.so.6: version `GLIBC_2.16' not found (required by /home/

mkdir ~/glibc-install; cd ~/glibc-install
wget http://ftp.gnu.org/gnu/glibc/glibc-2.17.tar.gz
tar -zxvf glibc-2.17.tar.gz
cd glibc-2.17
mkdir build
cd build
../configure --prefix=/home/myself/opt/glibc-2.17  # <-- where you install new glibc
make -j<number of CPU Cores>  # You can find your <number of CPU Cores> by using **nproc** command
make install

[myself@nfkd ~]$ patchelf --set-interpreter /home/myself/opt/glibc-2.17/lib/ld-linux-x86-64.so.2 --set-rpath /home/myself/opt/glibc-2.17/lib/ /home/myself/miniconda3/envs/tensorflow/bin/python