EleutherAI lanserar Common Pile v0.1: 8TB öppen textdata

Vad har hänt

EleutherAI, en forskningsgrupp inom artificiell intelligens, har offentliggjort Common Pile v0.1. Detta är en omfattande dataset som innehåller 8 terabyte textdata. Datamängden består av material från allmän egendom och källor som är publicerade under öppna licenser, vilket möjliggör fritt användande och studium.

Varför det spelar roll

Utvecklingen av stora språkmodeller kräver tillgång till enorma mängder träningsdata. Genom att tillhandahålla Common Pile v0.1 vill EleutherAI underlätta för forskare och utvecklare att träna nya modeller utan de begränsningar som ofta associeras med proprietära datamängder. Detta kan bidra till en mer transparent och tillgänglig AI-forskning.

Vem påverkas

Främst påverkas forskare och utvecklare av artificiell intelligens, särskilt de som arbetar med stora språkmodeller och maskininlärning. Målet är att ge dem tillgång till högkvalitativa och etiskt källbelagda dataset.

EU-status

Common Pile v0.1 är globalt tillgänglig. Eftersom datamängden består av öppet licensierat material och data från allmän egendom, underlättas användningen inom EU utan att direkt beröras av specifika EU-regelverk för datainsamling på samma sätt som personuppgifter skulle. Det är dock alltid viktigt att granska licensvillkoren noggrant.

Mer att veta

Common Pile v0.1 är den första versionen i en serie planerade datamängder från EleutherAI. Genom att fokusera på allmän egendom och öppet licensierat material vill EleutherAI bland annat undvika de juridiska och etiska utmaningar som uppstått med tidigare datamängder.