o Ûñh`tã@s˜ddlZzddlZWneydZYnwddlZddlmZejj Z dddœZzddlm Z Wney<dZ Ynwdˆdd„ZGdd „d eƒZejd ddd „ƒZejd ddd„ƒZejd dd‰dd„ƒZejd dd‰dd„ƒZejd ddd„ƒZejd ddd„ƒZejd ddd„ƒZejd ddd„ƒZejd ddd„ƒZejd ddd„ƒZejd dd d!„ƒZejd dd"d#„ƒZejd dd$d%„ƒZejd dd&d'„ƒZejd dd(d)„ƒZ d*dd+œd,d-„Z!d.d/„Z"d0d1„Z#d2d3„Z$d4d5„Z%d6d7„Z&d8d9„Z'd:d;„Z(dd?„Z*d@dA„Z+dBdC„Z,dDdE„Z-dFdG„Z.dHdI„Z/dJdK„Z0dLdM„Z1dNdO„Z2dPdQ„Z3dRdS„Z4dTdU„Z5dVdW„Z6dXdY„Z7dZd[„Z8d\d]„Z9d^d_„Z:d`da„Z;dbdc„Zdhdi„Z?ejjdjdk„ƒZ@ejjdldm„ƒZAdndo„ZBdpdq„ZCejjdrds„ƒZDejjdtdu„ƒZEejjdvdw„ƒZFejjdxdy„ƒZGdzd{„ZHd|d}„ZIejjd~d„ƒZJejjd€d„ƒZKejjLd‚dƒ„ƒZMejjLd„d…„ƒZNejjLd†d‡„ƒZOdS)ŠéN)ÚcomputeÚ©ÚsummaryÚdescriptioné cCsddlm}|t ¡|ƒS)Nr)Ú_get_udf_context)Úpyarrow._computerÚpaÚdefault_memory_pool)Úbatch_lengthr©r úJ/var/www/vscode/kcb/lib/python3.10/site-packages/pyarrow/tests/test_udf.pyÚmock_udf_context)src@seZdZdS)ÚMyErrorN)Ú__name__Ú __module__Ú__qualname__r r r rr.srÚsession)ÚscopecCó6dd„}d}t}t |||dt ¡it ¡¡||fS)z4 Register a unary aggregate function (mean) cWst t |¡¡S©N)r ÚscalarÚnpÚnansum)ÚctxÚxÚargsr r rÚfunc7óz"sum_agg_func_fixture..funcÚsum_udfr)Ú empty_udf_docÚpcÚregister_aggregate_functionr Úfloat64©rÚ func_nameÚfunc_docr r rÚsum_agg_func_fixture2sÿúr(cCr)NcSótdƒ‚)NÚOops)ÚRuntimeErrorr rÚlen©rrr r rrJóz(exception_agg_func_fixture..funcúy=exception_len(x)r©r!r"r#r Úint64r%r r rÚexception_agg_func_fixtureHsÿúr2cCó6dd„}d}t}t |||dt ¡it ¡¡||fS)NcSst t|ƒt ¡¡Sr)r rr,Úint32r-r r rr^sz1wrong_output_dtype_agg_func_fixture..funcúy=wrong_output_dtype(x)rr0©rrr&r'r r rÚ#wrong_output_dtype_agg_func_fixture\óÿúr7cCr3)NcSst|ƒSr)r,r-r r rrqr.z0wrong_output_type_agg_func_fixture..funcúy=wrong_output_type(x)rr0r6r r rÚ"wrong_output_type_agg_func_fixtureor8r:cCóBdd„}d}dddœ}t |||t ¡t ¡dœt ¡¡||fS)z, Register a binary scalar function. cSstjd||g|jdS)NÚmultiply©Úmemory_pool©r"Ú call_functionr>)rÚmrr r rÚbinary_function‡sÿz,binary_func_fixture..binary_functionzy=mxzfind y from y = mxr)rAr©r"Úregister_scalar_functionr r1)rBr&Ú binary_docr r rÚbinary_func_fixture‚sÿÿúrFc CsHdd„}dddœ}d}t |||t ¡t ¡t ¡dœt ¡¡||fS)z- Register a ternary scalar function. cSs,tjd||g|jd}tjd||g|jdS)Nr<r=Úaddr?)rrArÚcÚmxr r rÚternary_functionœsÿÿz.ternary_func_fixture..ternary_functionzy=mx+czfind y from y = mx + cr)Úarray1Úarray2Úarray3rC)rJÚternary_docr&r r rÚternary_func_fixture—sÿýø rOcCr;)zI Register a varargs scalar function with at least two arguments. cWs(|}|D] }tjd||g|jd}q|S)NrGr=r?)rÚfirstÚvaluesÚaccÚvalr r rÚvarargs_functionµsÿz.varargs_func_fixture..varargs_functionz z=ax+by+czfind z from z = ax + by + cr)rKrLrC)rTr&Úvarargs_docr r rÚvarargs_func_fixture°sÿþùrVcCs4dd„}dddœ}d}t |||it ¡¡||fS)z- Register a nullary scalar function. cSótjdg|jt ¡|jdS©Né*©Útyper>©r Úarrayrr1r>©Úcontextr r rÚnullary_funcÏóÿz*nullary_func_fixture..nullary_funcúrandom functionúgenerates a random valuerÚtest_nullary_funcrC©r`r'r&r r rÚnullary_func_fixtureÊsþürfcCs0dd„}dddœ}d}t |||it ¡¡|S)z¸ Register a nullary scalar function with an ephemeral Python function. This stresses that the Python function object is properly kept alive by the registered function. cSrWrXr\r^r r rr`èraz4ephemeral_nullary_func_fixture..nullary_funcrbrcrÚtest_ephemeral_nullary_funcrCrer r rÚephemeral_nullary_func_fixtureásþürhcCó<dd„}d}i}t ¡}dddœ}t |||||¡||fS)zi Register a scalar function which returns something that is neither a Arrow scalar or array. cSsdS)NrYr ©rr r rÚwrong_output_typeóz9wrong_output_type_func_fixture..wrong_output_typeÚtest_wrong_output_typezreturn wrong output typerr©r r1r"rD)rkr&Úin_typesÚout_typeÚdocr r rÚwrong_output_type_func_fixtureúóþ ÿrrcCsDdd„}d}dt ¡i}t ¡}dddœ}t |||||¡||fS)zq Register a scalar function whose actual output DataType doesn't match the declared output DataType. cSót d|dg¡S©NrGé©r"r@)rr]r r rÚwrong_output_datatyperzAwrong_output_datatype_func_fixture..wrong_output_datatypeÚtest_wrong_output_datatyper]zreturn wrong output datatyperr)r r1Úint16r"rD)rxr&rorprqr r rÚ"wrong_output_datatype_func_fixturesþ ÿr{cCri)z> Register a scalar function with the wrong signature. cSstjdt ¡dS)Nrv©r[)r rr1r r r rÚwrong_signature*sz5wrong_signature_func_fixture..wrong_signatureÚtest_wrong_signaturezUDF with wrong signaturerrrn)r}r&rorprqr r rÚwrong_signature_func_fixture$rsrcCs4dd„}d}dddœ}t |||it ¡¡||fS)zE Register a scalar function which raises a custom exception. cSr))Núerror raised by scalar UDF)rrjr r rÚraising_func>r.z*raising_func_fixture..raising_funcÚ test_raisezraising functionrrrC)rr&rqr r rÚraising_func_fixture9sþ ÿrƒcCr)z$ Register a vector function cSst | ¡ ¡jdd¡S)NT)Úpct)r r]Ú to_pandasÚcopyÚrankr-r r rÚpct_rankOsz+unary_vector_func_fixture..pct_rankú y=pct_rank(x)r)r!r"Úregister_vector_functionr r$)rˆr&rqr r rÚunary_vector_func_fixtureJs ÿÿr‹c Csbdd„}d}t}t |||t ¡t ¡t ¡dœt dt ¡fdt ¡fdt ¡fg¡¡||fS)z@ Register a vector function that returns a struct array cSsBtjj|||ggd¢d ¡}|jdddd ¡}tj |¡ ¡S)N©ÚkÚvrH©ÚnamesrHrŽr)ÚcolumnsrQÚindex)r ÚRecordBatchÚfrom_arraysr…ÚpivotÚreset_indexÚfrom_pandasÚto_struct_array)rrrŽrHÚdfÚdf_pivotr r rr•`sz)struct_vector_func_fixture..pivotú y=pivot(x)rŒrÚv1Úv2)r!r"rŠr r1r$Úutf8Ústruct)r•r&rqr r rÚstruct_vector_func_fixture[s&ýr T©Úrun_in_datasetrcCsü|\}}|durd}|D]}t|tjƒrd}t|ƒ}q|rd}t |¡}|j|ks+J‚tj|||d} |t|ƒg|¢RŽ} | | ksCJ‚|rzdd„|Dƒ}tj ||¡}t |¡} dd„|Dƒ}| j dt d ¡ ||¡id }| d¡jd| ks|J‚dSdS)NTFrv©ÚlengthcSsg|] \}}d|›‘qS)Úfieldr )Ú.0r’Úin_arrr r rÚ ‡sz)check_scalar_function..cSsg|]}t |¡‘qSr )Údsr¥)r¦Ú field_namer r rr¨ŠsÚresultr)r‘r)Ú isinstancer ÚArrayr,r"Úget_functionÚnamer@rÚTabler”r©ÚdatasetÚto_tabler¥Ú_callÚcolumnÚchunks)Úfunc_fixtureÚinputsr¢rÚfunctionr¯Ú all_scalarÚargrr«Úexpected_outputÚfield_namesÚtabler±Ú func_argsÚresult_tabler r rÚcheck_scalar_functionps4€ ÿùrÀcCs t|t ddgt ¡¡gƒdS)Nré©rÀr r]r1)Úunary_func_fixturer r rÚtest_udf_array_unarysÿÿrÄcCs2t|t ddgt ¡¡t ddgt ¡¡gƒdS)NrrÁéérÂ)rFr r rÚtest_udf_array_binary˜s þÿrÇc CsDt|t ddgt ¡¡t ddgt ¡¡t ddgt ¡¡gƒdS)NrrÁrÅrÆérÂ)rOr r rÚtest_udf_array_ternary¡sýÿrÉcCsht|t ddgt ¡¡t ddgt ¡¡t ddgt ¡¡t ddgt ¡¡t ddgt ¡¡gƒdS)NrÅérrÁéérÈrÂ)rVr r rÚtest_udf_array_varargs«sûÿrÍcCs†dddœ}dt ¡i}t ¡}dd„}t t¡t |d|||¡Wdƒn1s,wYtjtddt dd |||¡Wdƒn1sLwYd }tjt|dt |d||d¡Wdƒn1snwYd}tjt|dt |d |d|¡Wdƒn1swYt |d|i|¡d}tjt|dt |d|i|¡WdƒdS1s¼wYdS)Nztest udf inputzparameters are validatedrrcSst dg¡S)Nr)r r]r^r r rÚtest_reg_functionÀóz3test_registration_errors..test_reg_functionzfunc must be a callable©ÚmatchÚtest_none_functionú)DataType expected, got Útest_output_functionz)in_types must be a dictionary of DataTypeÚtest_input_functionrÎz?Already have a function registered with name: test_reg_function)r r1ÚpytestÚraisesÚ TypeErrorr"rDÚKeyError)rqrorprÎÚ expected_exprr r rÚtest_registration_errors·sTþþÿÿÿþÿþÿþþ"ÿrÛcCsN|\}}d}tjt|dt |dg¡WdƒdS1s wYdS)Nz9VarArgs function 'z=ax\+by\+c' needs at least 2 argumentsrÐrY)rÖr×Ú ValueErrorr"r@)rVÚ_r&Ú error_msgr r rÚ test_varargs_function_validationés "ÿrßcCs²dt ¡i}t ¡}ddi}dd„}tjtddt |d|||¡Wdƒn1s-wYd d i}tjtddt |d|||¡WdƒdS1sRwYdS) NrrÚdesccSrtrurw)rrr r rÚ add_constürz/test_function_doc_validation..add_constz#Function doc must contain a summaryrÐÚtest_no_summaryrztest summaryz'Function doc must contain a descriptionÚtest_no_desc)r r1rÖr×rÜr"rD)rorpr'rár r rÚtest_function_doc_validationòs.ÿÿþþÿÿþ"þräcCst|gddddS)NFrvr¡)rÀ)rfr r rÚtest_nullary_functions ÿråcCs*|}tj|gdd}| ¡dgksJ‚dS)Nrvr£rY)r"r@Ú to_pylist)rhr¯r«r r rÚtest_ephemeral_functionsrçcCóL|\}}tjtddtj|gddWdƒdS1swYdS)NzUnexpected output type: intrÐrvr£©rÖr×rØr"r@)rrrÝr&r r rrmsÿ"þrmcCsX|\}}d}tjt|dt |t ddg¡g¡WdƒdS1s%wYdS)NzDExpected output datatype int16, but function returned datatype int64rÐrÁrÌ)rÖr×rØr"r@r r])r{rÝr&rÚr r rry&s "ÿrycCsP|\}}d}tjt|dtj|gddWdƒdS1s!wYdS)Nz@wrong_signature takes 0 positional arguments but 1 was givenrÐrvr£ré)rrÝr&rÚr r rr~0s "ÿr~cCsldd„}d}dt ¡i}i}dddœ}tjtdd t |||||¡WdƒdS1s/wYdS) NcSó|Srr ©rrSr r rÚidentity;rlz1test_wrong_datatype_declaration..identityÚtest_wrong_datatype_declarationr]ztest output valueztest outputrz%DataType expected, got rÐ©r r1rÖr×rØr"rD©rìr&rorprqr r rrí:sþÿÿ"þrícCsldd„}d}ddi}t ¡}dddœ}tjtdd t |||||¡WdƒdS1s/wYdS) NcSrêrr rër r rrìLrlz3test_wrong_input_type_declaration..identityÚ!test_wrong_input_type_declarationr]ztest invalid input typezinvalid input functionrrÓrÐrîrïr r rrðKsþÿ ÿ"þrðcCs„t t ¡¡}|\}}tj|tjdgdt ¡dg|d}|tjdgdt ¡dks.J‚| ¡dks6J‚d}| ¡dks@J‚dS)Nrvéèr|r=rÅé@r)r Úproxy_memory_poolrr"r@r]r1Úbytes_allocated)rÃÚ proxy_poolrÝr&Úresr r rÚtest_scalar_udf_context\sþ r÷cCrè)Nr€rÐrvr£)rÖr×rr"r@)rƒrÝr&r r rÚtest_raising_funcks"ÿrøcCs2|\}}t |t d¡g¡}|t d¡ksJ‚dS)Nré)r"r@r r)rÃr¸r&rör r rÚtest_scalar_inputqsrúcCs†|\}}t t ¡¡}| ¡dksJ‚tjdgdt ¡|d}| ¡dks(J‚t ||g¡| ¡dks7J‚d}| ¡dksAJ‚dS)NrrvrñrZrò)r rórrôr]r1r"r@)rÃr¸r&rõrŽr r rÚtest_input_lifetimewsrûcs&‡fdd„t|ƒDƒ}tjj|ˆdS)Ncs(g|]\}}tjt|ƒˆ|jd‘qS©r|)r r]Úlistr[)r¦ÚirŽ©Úschemar rr¨‡sÿz,_record_batch_from_iters..©Úarraysr)Ú enumerater r“r”)rÚitersrr rÿrÚ_record_batch_from_iters†s ÿrcCs$t|t||dƒt|d|dƒƒS)Nrrvrù)rÚrange)rÚnr r rÚ_record_batch_for_rangeŒsþrcs‡‡fdd„}|S)NcsG‡‡fdd„dƒ}|ƒS)Ncs"eZdZdd„Z‡‡fdd„ZdS)z,make_udt_func..udf_func..UDTcSs d|_dSr)Úcaller©Úselfr r rÚ__init__•ó z5make_udt_func..udf_func..UDT.__init__cshz|jdurˆ|ƒjd|_}| |¡}W| ¡Sty3dd„ˆDƒ}tjj|ˆd}Y| ¡Sw)NcSsg|] }tjg|jd‘qSrü)r r]r[)r¦r¥r r rr¨žsÿzImake_udt_func..udf_func..UDT.__call__..r)r ÚsendÚ StopIterationr r“r”r˜)rrÚbatchr©Ú batch_genrr rÚ__call__˜s ûÿÿûz5make_udt_func..udf_func..UDT.__call__N©rrrrrr rr rÚUDT”srr )rrrr rÚudf_func“szmake_udt_func..udf_funcr )rrrr rrÚ make_udt_func’srcs$tƒ‰G‡fdd„dƒ‰‡fdd„S)zA short datasetcs eZdZdd„Z‡fdd„ZdS)z%datasource1_direct..GeneratorcSs d|_dS)NrÊ)rr r r rr¬r z.datasource1_direct..Generator.__init__cs@|jdkrtˆggƒ}| ¡S|jd8_tˆ|jƒ}| ¡S)Nrrv)rrrr˜)rrrrÿr rr¯s þz.datasource1_direct..Generator.__call__Nrr rÿr rÚ Generator«srcsˆƒSrr rj)rr rÚ¶sz$datasource1_direct..)Údatasource1_schemar r )rrrÚdatasource1_direct§srcótƒ‰‡fdd„}tˆ|ƒS)Nc3s(tdddƒD] }tˆ|dƒVqdS)NrÊréÿÿÿÿrv)rr©rrrÿr rr¼s€þz(datasource1_generator..batch_gen©rr©rr rÿrÚdatasource1_generator¹s r!cr)Nc3s,tdddƒD] }tˆ|dƒVqtdƒ‚)NrÊrrrvÚdatasource1_exception)rrr+rrÿr rrÆs€z(datasource1_exception..batch_genrr r rÿrr"Ãs r"cCst dt ¡fdt ¡fg¡S)Nr)r rr4r r r rrÎsrcCs@|›dddœ}i}t dt ¡fdt ¡fg¡}|||||fS)Nz UDTztest {func_name} UDTrr)r rŸr4)rr&r'rorpr r rÚdatasource1_argsÒsÿr#cCsXtƒ}|ƒ}|j}t||ƒ}tj|Žd}t |¡D]}|d8}|t||ƒks)J‚qdS)NrÊrv)rrr#r"Úregister_tabular_functionÚcall_tabular_functionr)Ú func_makerrrr&r¾rÚitemr r rÚ_test_datasource1_udtÚs þr(cCóttƒdSr)r(rr r r rÚtest_udt_datasource1_directærÏr*cCr)r)r(r!r r r rÚtest_udt_datasource1_generatorêrÏr+cCs<tjtdd ttƒWdƒdS1swYdS)Nr"rÐ)rÖr×r+r(r"r r r rÚtest_udt_datasource1_exceptionîs "ÿr,cCs<t gd¢t ¡¡}t d|g¡}t d¡}||ksJ‚dS)N©g$@g4@ç>@gD@gI@Úmean_udfr.)r r]r$r"r@r)Úunary_agg_func_fixtureÚarrr«Úexpectedr r rÚtest_scalar_agg_basicós r3cCsTt gt ¡¡}tjtjddt d|g¡WdƒdS1s#wYdS)Nzempty inputsrÐr/)r r]r$rÖr×ÚArrowInvalidr"r@)r0Úemptyr r rÚtest_scalar_agg_emptyûs"ÿr6cCóXt gd¢t ¡¡}tjtjddt d|g¡WdƒdS1s%wYdS)N©rrÁrÌé(é2úoutput datatyperÐr5©r r]r1rÖr×ÚArrowTypeErrorr"r@)r7r1r r rÚ"test_scalar_agg_wrong_output_dtypeó"ÿr>cCr7)Nr8úoutput typerÐr9r<)r:r1r r rÚ!test_scalar_agg_wrong_output_type r?rAcCsRt gd¢t ¡¡}t gd¢t ¡¡}t d||g¡}t d¡}||ks'J‚dS)Nr8)çð?ç@ç@ç@g@Úsum_meang€@@)r r]r1r$r"r@r)Úvarargs_agg_func_fixtureÚarr1Úarr2r«r2r r rÚtest_scalar_agg_varargssÿ rJcCsVt gd¢t ¡¡}tjtddt d|g¡WdƒdS1s$wYdS)N)rrÁrÌr9r:é<r*rÐr/)r r]r1rÖr×r+r"r@)r2r1r r rÚtest_scalar_agg_exceptions"ÿrLc CsÔt gd¢t ¡¡}t gd¢t ¡¡}t gd¢t ¡¡}t gd¢t ¡¡}tj||gddgd}tj||gddgd}t ||g¡}| d¡ dg¡}| d¡ d g¡ dd g¡} | d¡| d¡kshJ‚dS)Nr-©rÆrÅrvrÅrv)gN@g€Q@gT@g€V@gY@)rÈrvrvrÆrvÚidÚvaluer©rOr/)rOÚmeanÚvalue_mean_udf) r r]r$r4r½Ú concat_tablesÚgroup_byÚ aggregateÚrename_columnsÚsort_by) r0rHrIÚarr3Úarr4Útable1Útable2r½r«r2r r rÚtest_hash_agg_basic#s ÿ ÿr\cCs†t gt ¡¡}t gt ¡¡}tj||gddgd}| d¡ dg¡}tjt gt ¡¡t gt ¡¡gddgd}||ksAJ‚dS)NrNrOrrPrR)r r]r$r4r½rTrU)r0rHrIr½r«r2r r rÚtest_hash_agg_empty6sÿÿr]cCó†t gd¢t ¡¡}t gd¢t ¡¡}tj||gddgd}tjtjdd| d¡ dg¡WdƒdS1st dgt ¡¡}t d|g¡}|dd|ƒ}||ksJ‚dS)Nrvr‰rrkrlr r rÚtest_vector_emptyzsrncCsjt gd¢t ¡¡}t gd¢t ¡¡}t gd¢¡}t d|||g¡}|dd|||ƒ}||ks3J‚dS)N)rvrvrÅrÅ)rBrCrDrE)rœrrœrr›r)r r]r1r$r"r@)r rrŽrHr«r2r r rÚtest_vector_struct‚sÿÿÿro)r)r)PrÖÚnumpyrÚImportErrorÚpyarrowr rr"Úmarkr±Ú pytestmarkr!Úpyarrow.datasetr©rr+rÚfixturer(r2r7r:rFrOrVrfrhrrr{rrƒr‹r rÀrÄrÇrÉrÍrÛrßrärårçrmryr~rírðr÷rørúrûrrrrr!r"rr#r(r*r+r,r3r6r>rArJrLr\r]r`rarbrjÚpandasrmrnror r r rÚsÔÿ ÿ ý 2